Die robots.txt ist eine einfache Textdatei im Root einer Domain, die Suchmaschinen-Crawlern per Robots Exclusion Protocol mitteilt, welche Bereiche sie crawlen dürfen. Typische Direktiven sind Allow, Disallow und Verweise auf die Sitemap.
Wichtig: robots.txt ist kein Sicherheitsmechanismus – sie ist öffentlich lesbar und wird von bösartigen Bots ignoriert. Für sensible Bereiche braucht es Authentifizierung oder noindex.
Wir pflegen robots.txt mit Blick auf Crawl-Effizienz und Staging-Schutz – Teil unserer SEO-Leistungen.
