Wat is een robots.txt?

Met de robots.txt geef je aan welke pagina’s door de Google-robot mogen worden gevolgd of juist niet. Met de Disallow: /voorbeeldmap/  tag kunnen categorieën, tags, parameters of enkele pagina’s worden uitgesloten.

Check of er een robots.txt actief is en of dat deze de juiste informatie bevat. Dit kun je checken door naar je eigen website te gaan en achter de website URL robots.txt te plaatsen. Voorbeeld:

https://allesovermarketing.nl/robots.txt

Sitemap in robots.txt

Vermeld in de robots.txt ook de locatie van je sitemap zoals je in mijn .txt bestand ziet staan. Hiermee help je Google ook weer om jouw website beter te indexeren. Een win-win situatie dus.