Erstelle eine robots.txt Datei für deine Website mit diesem einfachen Werkzeug.
Konfiguriere deine Website-Einstellungen
Füge Regeln für Suchmaschinen-Bots hinzu
Generiere und kopiere den Code für deine robots.txt
Website-Einstellungen
Gib hier die URL deiner Sitemap an, damit Suchmaschinen alle Seiten deiner Website finden können. Dies ist meistens https://deinewebsite.de/sitemap.xml
Vorlagen
Mit einer Vorlage starten: Ein Klick setzt passende Regeln, danach kannst du sie anpassen. Prüf jeden Pfad gegen die echten URLs deiner Seite.
Website: Erlaubt alles. Passt für die meisten Websites ohne Shop.
Online-Shop: Sperrt Warenkorb, Kasse, Kundenkonto, interne Suche und Sortier-Parameter.
WordPress: Sperrt den Admin-Bereich mit Ausnahme für admin-ajax.php und die interne Suche.
KI-Training sperren: Ergänzt deine Regeln um Sperren für die Trainings-Crawler von OpenAI, Anthropic, Google, Apple, Common Crawl und Meta. Die Such-Crawler von ChatGPT, Claude und Perplexity und die Google-Suche bleiben offen.
Regeln hinzufügen
Wichtig: Die robots.txt steuert das Crawlen, nicht die Indexierung. Hat ein Crawler eine eigene Gruppe, gelten für ihn die Regeln unter * nicht mehr. Wiederhole wichtige Sperren deshalb in seiner Gruppe.
Wähle den Crawler, für den die Regel gilt. * gilt für alle Crawler ohne eigene Gruppe. Abrufe auf Nutzeranfrage halten sich laut den Anbietern nicht immer an die robots.txt.
„Verbieten“ sperrt den Pfad für das Crawlen. „Erlauben“ macht eine Ausnahme in einem gesperrten Bereich. Bei Google gewinnt die längere Regel, bei Gleichstand Allow.
Pfade beginnen mit / und wirken als Präfix: /sale sperrt auch /salewa-rucksack. * steht für beliebige Zeichen, $ für das Ende der URL. Groß- und Kleinschreibung zählt.
Häufig verwendete Pfade:
Gesamte Website
Warenkorb
Kasse
Kundenkonto
Interne Suche
Sortier-Parameter
WordPress-Admin
Alle PDF-Dateien
Zusätzliche Anweisungen (optional)
Deine Robots.txt Datei
Wie geht es weiter? Speichere die Datei als robots.txt im Hauptverzeichnis deiner Website, also unter /robots.txt. Prüfe danach im robots.txt-Bericht der Search Console, ob Google die neue Version abgerufen hat.