Enhver blogger med respekt for sin blog og sin PR (pagerank) har en robots.txt. Denne fil bestemmer hvad googlebot osv. må indexere når de kommer ind på din hjemmeside. Men det kan godt være svært at sammensætte en god robots.txt – Derfor har jeg kigget i nogle af de “store” bloggers robots.txt for at se hvordan de har lavet deres. Ud fra dette er det jo helt op til dig selv hvordan du vil have din.

Shoemoney.com / PR6 / Alexa 2,988 – Jeremy er en fantastisk dygtigt mand indenfor internet marketing/blogging. Hans blog er meget populær og han ved hvad han taler om.

Hans robots.txt ser ud som følgende:

User-agent: GooglebotDisallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /sitemap.xml
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-Agent: Googlebot
Disallow: /link.php
Disallow: /gallery2
Disallow: /gallery2/
Disallow: /category/
Disallow: /page/
Disallow: /pages/
Disallow: /feed/
Disallow: /feed

Det eneste jeg ville stille spørgsmålstegn ved på hans liste er at han har nægtet adgang til sitemap.xml – Dette er der rigtig nogen mening i da det skader hans blog mere end det gavner.

Problogger.net / PR6 / Alexa 2,600 – Problogger er en af mine personlige ynglings blog’s. Han har utrolig meget viden indefor blogging og det at tjene penge på det. Hans robots.txt er derimod rimelig simpel, han tillader alt. Dette er ikke noget jeg har overvejet før, men man kan se på størrelsen af hans blog og læserskare at han ved hvad han gør.

Darren’s robots.txt:

User-agent: *
Disallow:

MattCutts.com / PR7 / Alexa 5,059 – Matt har efterhånden arbejdet for Google i otte år og han er pt. chef for deres webspam hold. Så jeg tror godt at vi kan stole på han ved lidt om hvad han gør. Ligesom Darren, skjuler Matt ikke noget for googlebot andet end den mappe der hedder files.

Matt’s robots.txt:

User-agent: *
Disallow: /files/

Min egen robots.txt fil er også ganske simpel, den er helt magen til Darren’s.

User-agent: *
Disallow:

Jeg tænkte at jeg ville prøve hans tilgang til dette, og se det an, ellers må jeg jo ændre den med tiden.

Men hvordan ser din robots.txt ud? og har du overhovedet en? og hvis ikke hvorfor? Jeg glæder mig til at se hvad folks holdning til dette er.