Wat is een Robots.txt bestand?

Wat is een Robots.txt bestand?

Betekenis Robots.txt bestand:

Robots.txt is een bestand dat aangeeft hoever de zoekmachine robots door de site mogen crawlen. Dit bestand moet ontwikkeld worden. Een klantenpagina is een voorbeeld van een webpagina die niet door een zoekmachine robot gecrawld (bezocht) hoeft te worden.

In het robots.txt bestand kan ook een URL naar de XML sitemap worden opgenomen.

Het robots.txt bestand geeft geen garantie dat pagina’s niet naar voren komen in de zoekresultaten. Als je niet wilt dat een pagina opgenomen wordt in de zoekmachine kun je het beste op de pagina zelf aangeven dat deze niet geïndexeerd mag worden.