Testa robots.txt på nätet

Japp, det går att testa robots.txt på nätet och söka efter fel eller bara se om allt fungerar som det ska. Det finns många som är bra på robots.txt, vet precis hur allt kan blockeras från sökmotorer som Google och kan enkelt upptäcka fel. Men sen finns det även de som är lite mindre kunniga när det kommer till just robots.txt, en normal människa brukar inte vara inne i den så ofta. Som standard så brukar robots.txt tillåta alla sökrobotar att indexera allt på sajten, det andra alternativet är att helt förbjuda sökroboterna från att indexera sajten. Det som är mindre vanligt är att blockera utvalda filer och mappar, kategorier och sidor.

Jag upptäckte ett problem i Google Webmaster Tools precis efter en liten uppdatering i robots.txt, använde disallow på flera oönskade sidor som behövde plockas bort från Google. Google blockerades från att indexera några av sidorna som jag ville verkligen ha tillgänglig för alla. Testverktyget i Google visar felet men inte vad som orsakar det.

Här kan du testa robots.txt

frobee.com/robots-txt-check
frobee.com/robots-txt-check

Här är en sida (frobee.com/robots-txt-check) där du kan testa din robots.txt, det unika med sajten är att man kan se vilken rad och kommando som blockerar en utvald sida som du testar i verktyget. Man kan få ut mer detaljerad information helt enkelt, har du problem med att få en sida att bli indexerad av Google? Står det i Google Webmaster Tools att Google inte kan indexera en sida på grund av robots.txt? Ja men då är det bara att testa den önskade URL:en med verktyget.

Det går även att välja User Agent att testa robots.txt med, t.ex. Googlebot, Yahoo Slurp, Myrobot..

 

Andra robots.txt testverktyg på nätet

Det finna även andra, kanske mindre bra, alternativ som låter dig att testa robots.txt på nätet helt gratis.

Google Webmaster Tools (Googles egna verktyg, här kan du se om Google Bots kan indexera sidor eller har upptäckt tekniska problem)

Searchenginepromotionhelp.com (Följ länken, här kan du testa rena textkommander eller testa källan “URL” där robots.txt kan hittas)

SeoBOOK Tools (Robots.txt Analyzer låter dig också testa robots.txt gratis online)

 

Du hittar mer information om robots.txt på Googles egna hjälpsidor.

  • Alex

    Frobees robots.txt checker funkar super bra! Kommer att ersätta andra verktyg eller inkluderas i listan tillsammans med andra verktyg som är användbara för sökmotoroptimering.