Waarvoor staat robots.txt
Betekenis
Het robots.txt bestand is een publiek toegankelijk tekstbestand dat op de root van je website staat. Het is een belangrijk bestand, want het geeft instructies aan zoekmachines over welke pagina’s of secties van de website ze wel of net niet mogen crawlen. Op die manier helpt dit bestand om ongewenste inhoud uit de zoekresultaten te houden. Wanneer er geen robots.txt bestand is, zal de zoekmachine de gehele website crawlen.
Voorbeeld
Als je een pagina hebt met vertrouwelijke informatie, kun je in je robots.txt-bestand opnemen dat zoekmachines deze pagina niet mogen crawlen, bijvoorbeeld door te schrijven: Disallow: /geheim/. Hierdoor wordt deze pagina niet geïndexeerd door zoekmachines.