Skapa och redigera robots.txt

Filen robots.txt talar om för sökmotorer vilka delar av webbplatsen de får besöka. Den ligger i webbplatsens rotmapp och nås på mittforetag.se/robots.txt.

Ett fel i robots.txt kan göra att hela webbplatsen försvinner från Google. Spara en kopia av den gamla filen innan du ändrar något.

Så redigerar du filen

1. Logga in i DirectAdmin via kundpanelen. Se Hur loggar jag in i min kontrollpanel?
2. Gå till System Info & Files och välj File Manager.
3. Öppna mappen med ditt domännamn och sedan mappen public_html.
4. Finns filen robots.txt, dubbelklicka för att öppna den. Annars skapar du en ny fil med det namnet.
5. Gör ändringarna och klicka på Save File.

Du kan också ladda upp filen med ett FTP-program, se Använda FTP-program (FileZilla).

En bra grund för WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://mittforetag.se/sitemap_index.xml

Byt adressen på raden Sitemap mot din egen, se Skicka in en sitemap till Google.

Finns det ingen robots.txt i public_html skapar WordPress en enkel version själv. Laddar du upp en egen fil är det den som gäller.

Vanliga misstag

• Disallow: / under User-agent: * stänger ute alla sökmotorer från hela webbplatsen. Raden används ibland medan en sida byggs och glöms sedan kvar.
• Robots.txt tar inte bort sidor som redan finns i Google. För det används taggen noindex på sidan.
• Filen skyddar inte hemliga sidor. Den är en anvisning som seriösa sökmotorer följer, men vem som helst kan läsa den.

Kontrollera efter ändringen att filen ser rätt ut på mittforetag.se/robots.txt. I Google Search Console kan du se om Google har hämtat den nya versionen.

Robots.txt i andra publiceringsverktyg

Joomla

1. Öppna filhanteraren i DirectAdmin och mappen public_html.
2. Joomla levereras med filen robots.txt.dist. Finns ingen robots.txt, byt namn på den till robots.txt.
3. Öppna filen och lägg till en rad med din sitemap längst ner, till exempel Sitemap: https://mittforetag.se/sitemap.xml.
4. Spara filen.

Drupal

Drupal har en färdig robots.txt i webbplatsens rotmapp, ofta public_html eller public_html/web. Redigera den i filhanteraren på samma sätt. Tänk på att filen kan skrivas över när Drupal uppdateras. Gör du många ändringar finns modulen RobotsTxt, som sparar innehållet i databasen i stället.

Wix, Squarespace och Shopify

• Wix: robots.txt redigeras under SEO-inställningarna, i robots.txt-redigeraren.
• Squarespace: filen skapas automatiskt och går inte att redigera. Sidor döljs i stället med inställningen för sökmotorer på varje sida.
• Shopify: filen skapas automatiskt. Den kan ändras genom att lägga till mallen robots.txt.liquid i temat, men det kräver kunskap om Shopify-teman.

Wix, Squarespace och Shopify körs på respektive leverantörs egna servrar, inte på webbhotellet. Menyernas namn ändras ibland, så sök i deras hjälpcenter om du inte hittar inställningen.

Menyerna i Joomla och Drupal heter oftast samma sak på engelska och svenska. Ser din kontrollpanel annorlunda ut kan det bero på versionen.