Robots.txt-test
Visa en webbplats robots.txt och testa om en sökväg är tillåten för Googlebot, Bingbot eller GPTBot.
Om verktyget
robots.txt är en textfil i webbplatsens rot som talar om för sökrobotar vilka delar de får läsa. Filen gäller per domän, så exempel.se och www.exempel.se kan ha olika filer.
Verktyget hämtar filen och visar innehållet. Du kan sedan skriva en sökväg och välja robot för att se om sökvägen är tillåten eller blockerad, och vilken regel som avgör. Reglerna tolkas som Google gör: den längsta regeln som passar gäller, och vid lika vinner Allow.
Tänk på att robots.txt bara styr vad robotarna läser, inte vad som visas i sökresultatet. Vill du att en sida inte ska synas i Google använder du noindex i stället, och då måste Google få läsa sidan.
Vanliga frågor
Måste jag ha en robots.txt?
Nej. Saknas filen får alla robotar läsa allt. En fil behövs bara om du vill stänga ute något eller peka ut din sitemap.
Hur stoppar jag AI-robotar som GPTBot?
Lägg till en grupp med User-agent: GPTBot och Disallow: /. Robotar som följer reglerna slutar då läsa sajten. Det finns inget tvång, så alla robotar respekterar inte filen.
Varför syns en blockerad sida ändå i Google?
Google kan visa adressen om andra sajter länkar dit, även utan att ha läst sidan. Ta bort blockeringen och lägg noindex på sidan i stället.