Waarvoor staat robots.txt
Betekenis
Het robots.txt bestand is een publiek toegankelijk tekstbestand dat op de root van je website staat. Het is een belangrijk bestand, want het geeft instructies aan zoekmachines over welke pagina’s of secties van de website ze wel of net niet mogen crawlen. Op die manier helpt dit bestand om ongewenste inhoud uit de zoekresultaten te houden. Wanneer er geen robots.txt bestand is, zal de zoekmachine de gehele website crawlen.
Voorbeeld
Als je een pagina hebt met vertrouwelijke informatie, kun je in je robots.txt-bestand opnemen dat zoekmachines deze pagina niet mogen crawlen, bijvoorbeeld door te schrijven: Disallow: /geheim/. Hierdoor wordt deze pagina niet geïndexeerd door zoekmachines.
Gerelateerde SEO-termen
SitemapGeeft zoekmachines een overzicht van belangrijke pagina’s op je website.Canonical URLGeeft aan welke paginaversie zoekmachines als voorkeur moeten gebruiken.On-page SEOOptimalisatie van inhoud, titels en structuur op de pagina zelf.SEOOptimalisatie om een website beter zichtbaar te maken in zoekmachines.