Enhver blogger med respekt for sin blog og sin PR (pagerank) har en robots.txt. Denne fil bestemmer hvad googlebot osv. må indexere når de kommer ind på din hjemmeside. Men det kan godt være svært at sammensætte en god robots.txt – Derfor har jeg kigget i nogle af de “store” bloggers robots.txt for at se Continue reading →