robots.txt: Was reingehört, mit Vorlagen für Shops und KI-Crawler

Die robots.txt ist die erste Datei, die Googlebot, Bingbot oder die Crawler von OpenAI und Anthropic auf deiner Domain abrufen. Sie legt fest, welche URLs sie crawlen dürfen. Über den Google-Index entscheidet sie nicht, und sie schützt keine Daten.

Hier bekommst du die Regeln nach Google und RFC 9309, fertige Vorlagen für Shops, Shopify, Shopware 6 und WordPress und eine Übersicht der KI-Crawler, Stand September 2026. Ich betreue Online-Shops auf Shopify und Shopware und nutze auf seorado.de selbst eine bewusst schlanke Datei.

Was die robots.txt ist und was sie nicht ist

Die robots.txt ist eine Textdatei nach dem Robots Exclusion Protocol, seit 2022 als RFC 9309 standardisiert. Bevor ein seriöser Crawler Seiten abruft, lädt er diese Datei und sucht die Regeln, die für ihn gelten.

Google nennt zwei Zwecke: Serverlast durch Crawler begrenzen und Crawler von unwichtigen oder sehr ähnlichen Seiten fernhalten. In Shops sind das vor allem Warenkorb, Checkout, Kundenkonto, interne Suche und Filterkombinationen.

Was die Datei nicht kann:

• Zugriff sperren. Crawler befolgen die Regeln freiwillig. Laut RFC 9309 sind sie keine Zugriffskontrolle. Private Bereiche brauchen Passwort oder Login.
• Geheimnisse wahren. Die Datei ist öffentlich. Wer dort geheime Pfade einträgt, macht sie erst bekannt.
• Indexierung verhindern. Das ist der wichtigste Punkt.

Crawlen ist nicht Indexieren

Sperrst du eine URL, ruft Google sie nicht ab. Kennt Google sie aber aus Links, kann sie trotzdem im Index landen, laut Google dann ohne Beschreibung. In der Search Console heißt dieser Status „Indexiert, obwohl durch robots.txt-Datei blockiert“.

Gegen Indexierung hilft noindex, als Meta-Tag im HTML oder als HTTP-Header, der auch für PDFs funktioniert:

<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Speicherort, Format und Größe

• Ort und Name: https://www.dein-shop.de/robots.txt, klein geschrieben, im Root des Hosts. In einem Unterordner ignoriert Google die Datei.
• Gültigkeit: Die Regeln gelten nur für den Host, das Protokoll und den Port, unter dem die Datei liegt. Jede Subdomain braucht ihre eigene, pro Host gibt es genau eine.
• Format: Reiner Text in UTF-8. Schreib die Datei im Texteditor, nicht in Word.
• Größe: Google liest höchstens 500 KiB. Alles dahinter wird ignoriert.

Was bei Fehlern und Statuscodes passiert

Wie Google reagiert, hängt vom HTTP-Status der robots.txt ab. Im Cache hält Google die Datei in der Regel bis zu 24 Stunden.

Eine fehlende Datei ist also kein Problem, ein Serverfehler auf der robots.txt bremst dagegen die ganze Website. RFC 9309 hat dieselbe Grundlogik: 4xx heißt alles erlaubt, 5xx heißt vorerst alles gesperrt.

Aufbau und Syntax mit Beispielen

Eine robots.txt besteht aus Gruppen. Jede beginnt mit einer oder mehreren User-agent-Zeilen, danach folgen die Regeln im Muster Feld, Doppelpunkt, Wert. Kommentare beginnen mit #.

# Gruppe 1: gilt für alle Crawler ohne eigene Gruppe
User-agent: *
Disallow: /warenkorb/
Disallow: /kasse/

# Gruppe 2: gilt für zwei Crawler gemeinsam
User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://www.dein-shop.de/sitemap.xml

Die Felder im Überblick

Pfade beginnen mit / und sind case-sensitive: Disallow: /Kasse/ sperrt /kasse/ nicht. Außerdem wirkt jede Regel als Präfix. Disallow: /sale sperrt auch /salewa-rucksack. Für den Ordner allein schreibst du Disallow: /sale/.

Platzhalter * und $

Google, Bing und RFC 9309 kennen zwei Platzhalter. * steht für beliebig viele Zeichen, auch für keins. $ markiert das Ende der URL. Ein * am Ende ist überflüssig, /kasse/* wirkt wie /kasse/.

Welche Gruppe und welche Regel gewinnt

Google entscheidet in zwei Schritten. Zuerst nimmt jeder Crawler die Gruppe mit dem spezifischsten passenden User-agent, für Googlebot-News also erst googlebot-news, dann googlebot, dann *. Mehrere Gruppen für denselben Crawler fasst Google zusammen.

Eine eigene Gruppe ersetzt die *-Gruppe aber komplett. Google kombiniert die beiden nicht:

User-agent: *
Disallow: /warenkorb/

User-agent: Googlebot
Disallow: /intern/

Hier darf Googlebot /warenkorb/ crawlen. Soll die Sperre auch für ihn gelten, wiederholst du sie in seiner Gruppe. Bingbot verhält sich laut Bing genauso.

Danach vergleicht Google die Regeln der Gruppe. Es gewinnt die spezifischste, gemessen an der Länge des Pfads. Bei Gleichstand gewinnt die am wenigsten einschränkende, also Allow. So sieht es auch RFC 9309 vor. Die Reihenfolge der Zeilen spielt keine Rolle.

Zwei Sonderfälle: Googles AdsBot-Crawler, die Zielseiten von Anzeigen prüfen, fallen nicht unter * und müssen namentlich genannt werden. Und nennt deine Datei Applebot nicht, aber Googlebot, folgt Applebot laut Apple den Googlebot-Regeln.

Was Google ignoriert: Crawl-delay und noindex

Google unterstützt nur user-agent, allow, disallow und sitemap. Crawl-delay hat Google nie unterstützt. Bing wertet es aus, laut Bing als Zeitfenster von 1 bis 30 Sekunden, in dem Bingbot nur eine Seite abruft. Auch ClaudeBot und CCBot beachten Crawl-delay laut ihren Anbietern. noindex in der robots.txt ignoriert Google seit dem 1. September 2019.

Mit dem Generator unten stellst du deine eigene robots.txt zusammen. Vorlagen für die gängigen Systeme folgen direkt danach.

Vorlagen für Website, Shop, Shopify, Shopware und WordPress

Die Vorlagen sind Startpunkte. Prüf jeden Pfad gegen deine echten URLs und ersetze dein-shop.de durch deine Domain.

Einfache Website

Ohne Shop reicht meist eine Datei, die alles erlaubt und die Sitemap nennt. So sieht die robots.txt von seorado.de aus:

User-agent: *
Allow: /

Sitemap: https://seorado.de/sitemap.xml

Allow: / ist nicht zwingend, macht die Absicht aber auf einen Blick klar.

Online-Shop allgemein

Diese Vorlage deckt die typischen Shop-Bereiche ohne Suchwert ab. Die Pfade heißen in jedem System anders, also passe sie an.

# Online-Shop: Pfade an dein Shopsystem anpassen
User-agent: *
# Transaktion und Kundenbereich
Disallow: /warenkorb
Disallow: /kasse
Disallow: /checkout
Disallow: /mein-konto
# Interne Suche (sperrt alles, was mit /suche beginnt)
Disallow: /suche
# Sortierung, Ansicht, Session
Disallow: /*?*sort=
Disallow: /*?*order=
Disallow: /*?*view=
Disallow: /*?*sessionid=

Sitemap: https://www.dein-shop.de/sitemap.xml

Produkte, Kategorien, Bilder, CSS und JavaScript bleiben offen. Google braucht CSS und JavaScript, um Seiten richtig zu rendern. Bei WooCommerce ergänzt du etwa Disallow: /*?*add-to-cart=.

Filter und Sortierung: sperren oder nicht?

Filter erzeugen schnell Tausende URL-Varianten. Google empfiehlt, Filter-URLs per robots.txt zu sperren, wenn sie nicht in den Index sollen. Ein Canonical senkt das Crawling dieser Varianten laut Google nur mit der Zeit und wirkt langfristig meist schwächer.

Die Sperre hat ihren Preis: Google liest die Seite nicht mehr. Ein Canonical zur Hauptkategorie, ein noindex und die Links auf der Filterseite bleiben unsichtbar. Schon indexierte Filter-URLs können als „Indexiert, obwohl durch robots.txt-Datei blockiert“ im Index bleiben.

Die Faustregel: Sortierungen, Ansichten und Filter ohne Suchnachfrage sperrst du. Filter mit Nachfrage, etwa „Damen Sneaker rot“, werden echte Landingpages mit sauberer URL und eigenem Text und bleiben crawlbar. Leere Filterkombinationen sollten laut Google 404 liefern. Sind Filter-URLs schon im Index, setzt du erst noindex und sperrst, sobald sie verschwunden sind. Mehr dazu unter SEO für Online-Shops.

Shopify

Shopify erzeugt für jeden Shop automatisch eine robots.txt. Sie sperrt unter anderem Admin, Warenkorb, Checkout, Bestellungen, Kundenkonto, Sortier-URLs und kombinierte Filter in Kollektionen und enthält eine eigene Gruppe für adsbot-google. Shopify aktualisiert diese Regeln regelmäßig. Prüf also zuerst, was dein Shop gerade unter /robots.txt ausliefert.

Eine eigene Datei hochladen kannst du nicht. Anpassungen laufen über die Theme-Vorlage robots.txt.liquid: Onlineshop > Themes > Code bearbeiten > Neue Vorlage hinzufügen > robots. Laut Shopify ist das eine nicht unterstützte Anpassung, bei der der Support nicht hilft. Löschst du die Vorlage, gilt wieder der Standard.

{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}

  {%- if group.user_agent.value == '*' -%}
    {{ 'Disallow: /*?q=*' }}
  {%- endif -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

# Optional: KI-Training ausschließen
User-agent: GPTBot
Disallow: /

Die Schleife gibt alle Standardregeln aus und ergänzt in der *-Gruppe eine Regel aus Shopifys Doku. Alles danach wird eine eigene Gruppe. Mit diesen Liquid-Objekten statt festem Text bekommst du Updates der Standardregeln weiter mit.

Shopware 6

Bis Version 6.7.0 bringt Shopware 6 keine robots.txt mit, du legst sie selbst im Ordner public ab. Seit 6.7.1.0 erzeugt Shopware sie automatisch, und du pflegst die Regeln pro Domain in der Administration unter Einstellungen > Allgemein > Stammdaten. Prüf nach dem Update, welche Version unter /robots.txt ankommt, besonders wenn noch eine alte Datei in public liegt.

# Shopware 6: vor 6.7.1 als Datei in public/, ab 6.7.1 in der Administration
User-agent: *
Disallow: /account/
Disallow: /checkout/
Disallow: /widgets/
Disallow: /navigation/
Disallow: /search
Disallow: /suggest
# Sortierung und Filter im Listing
Disallow: /*?*order=
Disallow: /*?*properties=
Disallow: /*?*manufacturer=
Disallow: /*?*min-price=
Disallow: /*?*max-price=

Sitemap: https://www.dein-shop.de/sitemap.xml

Die Vorlage weicht an zwei Stellen vom Beispiel der Shopware-Doku ab. Dort stehen Regeln wie Disallow: */account/, Google verlangt aber Pfade mit / am Anfang. Mit Sprachpräfixen wie /en/ ergänzt du in der Datei Disallow: /*/account/. Pflegst du die Regeln ab 6.7.1 in der Administration, setzt Shopware den Pfad der Domain, etwa /en/, selbst davor. Und statt Disallow: */? sperrt sie nur Sortier- und Filterparameter, denn die Pauschalsperre träfe auch die Seitennummerierung mit ?p=. Plugins nutzen teils eigene Parameter.

WordPress

WordPress erzeugt eine virtuelle robots.txt, solange keine echte Datei im Hauptverzeichnis liegt. Sie sperrt /wp-admin/ außer admin-ajax.php und nennt seit Version 5.5 die Sitemap wp-sitemap.xml. Bei Yoast und Rank Math liegt die Sitemap meist unter /sitemap_index.xml.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Interne Suche
Disallow: /?s=
Disallow: /search/

Sitemap: https://www.deine-domain.de/wp-sitemap.xml

Sperr nicht /wp-content/ oder /wp-includes/, dort liegen CSS, JavaScript und Bilder. Die Option „Suchmaschinen davon abhalten, diese Website zu indexieren“ setzt seit WordPress 5.3 ein noindex statt Disallow: /. Das ist richtig so, denn das noindex kann Google lesen.

KI-Crawler in der robots.txt: zulassen oder sperren?

KI-Anbieter schicken mehrere Crawler mit verschiedenen Aufgaben. Für deine Entscheidung zählen drei Arten:

• Such-Crawler bauen den Index für KI-Suchen wie ChatGPT, Claude oder Perplexity.
• Trainings-Crawler und Token sammeln Inhalte für künftige Modelle oder regeln deren Nutzung.
• Nutzer-Abrufe holen eine Seite, weil jemand im Chat danach fragt. Dafür gilt robots.txt oft nicht.

Die Tabelle zeigt, was die Anbieter selbst dokumentieren, Stand September 2026. Die Beispielregel zeigt jeweils die Sperre.

Dazu kommen OAI-AdsBot für Anzeigen in ChatGPT und Googles Nutzer-Fetcher wie Google-Agent, die robots.txt laut Google meist ignorieren.

Was du gewinnst und was du verlierst

Such-Crawler zulassen ist die Voraussetzung, um in KI-Antworten als Quelle mit Link aufzutauchen. Sperrst du OAI-SearchBot, erscheinst du laut OpenAI nicht mehr in ChatGPT-Suchantworten. Anthropic warnt bei Claude-SearchBot vor weniger Sichtbarkeit. Für einen Shop ist so eine Sperre fast immer ein Eigentor.

Trainings-Crawler sperren signalisiert, dass deine Inhalte nicht in künftige Modelle einfließen sollen. Bereits Gesammeltes holst du nicht zurück. Ob die Sperre deine Sichtbarkeit in KI-Antworten verändert, dokumentiert kein Anbieter. Du wägst Kontrolle über deine Texte gegen breite Präsenz ab.

Nutzer-Abrufe steuerst du per robots.txt kaum, dafür bräuchte es Regeln auf dem Server.

Auf seorado.de lasse ich alle Crawler zu, auch die für das Training. Für einen Dienstleister, der in KI-Antworten genannt werden will, ist das naheliegend. Mehr dazu unter GEO und KI-Sichtbarkeit.

Google-Extended betrifft nicht die Google-Suche

Google-Extended ist kein Crawler, sondern ein Token. Google crawlt weiter mit den bekannten Crawlern. Laut Google beeinflusst Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking. Die KI-Übersichten und der KI-Modus gehören zur Suche und hängen an Googlebot. Dort steuerst du über nosnippet, data-nosnippet, max-snippet oder noindex. Als Link erscheinen kann laut Google nur eine indexierte Seite, die mit Snippet angezeigt werden darf.

Beispiel: KI-Suche erlauben, Training sperren

Die Such-Crawler fallen hier unter die *-Gruppe und bekommen bewusst keine eigene. Sonst gälten die Sperren für Warenkorb, Kasse und Konto für sie nicht mehr.

User-agent: *
Disallow: /warenkorb
Disallow: /kasse
Disallow: /mein-konto

# KI-Training ausschließen
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

Sitemap: https://www.dein-shop.de/sitemap.xml

Und die llms.txt?

Die llms.txt ist ein Vorschlag von Jeremy Howard aus dem September 2024: eine Markdown-Datei unter /llms.txt, die Sprachmodellen einen kuratierten Überblick über deine wichtigsten Seiten gibt. Sie sperrt nichts und ersetzt die robots.txt nicht. seorado.de hat beide Dateien. Was die llms.txt bringt, ordne ich in KI-Suchmaschinen und llms.txt ein.

Testen und häufige Fehler

So testest du deine robots.txt

1. Aufrufen. Öffne die Datei im privaten Browserfenster und prüf den Status, etwa mit curl -I https://www.dein-shop.de/robots.txt. Erwartet ist 200.
2. robots.txt-Bericht. In der Search Console unter Einstellungen. Er zeigt die Dateien der 20 wichtigsten Hosts deiner Property, den letzten Abruf sowie Warnungen und Fehler. Nach dringenden Änderungen forderst du hier ein erneutes Crawling an. Verfügbar für Domain-Properties und URL-Präfix-Properties ohne Pfad.
3. URL-Prüfung. Sie zeigt für einzelne URLs, ob Googlebot sie crawlen darf. Mehr dazu in URL in der Google Search Console eintragen.
4. Seitenindexierung. Prüf die Listen „Durch robots.txt-Datei blockiert“ und „Indexiert, obwohl durch robots.txt-Datei blockiert“. Stehen dort Produkte oder Kategorien, stimmt eine Regel nicht.
5. Lokal testen. Google stellt seinen robots.txt-Parser als Open Source bereit.

Google übernimmt Änderungen in der Regel innerhalb von 24 Stunden, OpenAI und Perplexity nennen ähnliche Zeiträume.

Die häufigsten Fehler

• Disallow: / vom Testsystem. Die Staging-Sperre geht mit live, typisch beim Website-Relaunch. Testsysteme schützt du besser per Passwort.
• CSS und JavaScript gesperrt. Google rendert die Seite dann nicht richtig.
• Eigene Gruppe ohne Wiederholung. Für diesen Crawler gelten die *-Regeln nicht mehr.
• Präfix und Schreibweise. /sale trifft auch /salewa-rucksack, /Kasse trifft /kasse nicht.
• 5xx auf der robots.txt. Prüf, ob Firewall oder Bot-Schutz den Abruf durch Crawler stören.
• Relative Sitemap-URL. Die Zeile braucht Protokoll und Domain.

Aus der Praxis: 410 statt Sperre für alte Pfade

Beim Umbau von seorado.de im September 2026 fielen alte WordPress-Pfade wie /wp-admin/ weg. Statt sie in der robots.txt zu sperren, liefert der Server dafür den Status 410. Eine Sperre hätte Google nur vom Abruf abgehalten, die alten URLs wären bekannt geblieben. 410 sagt klar, dass die Adresse dauerhaft entfernt ist. Genau das empfiehlt Google auch für dauerhaft entfernte Seiten. Die Faustregel: Was es nicht mehr gibt, bekommt 404 oder 410. Die robots.txt ist für Bereiche da, die existieren, aber nicht gecrawlt werden sollen.

Blockiert deine robots.txt vielleicht Umsatzseiten? Im kostenlosen Shop-Check prüfe ich Rankings, KI-Sichtbarkeit und Technik deines Shops persönlich, dazu gehören Crawling und Filterseiten.

Häufige Fragen

Brauche ich überhaupt eine robots.txt?

Pflicht ist sie nicht. Liefert der Server für /robots.txt einen 404, crawlt Google ohne Einschränkungen. Sinnvoll ist sie für den Sitemap-Verweis und sobald du Warenkorb, interne Suche oder Filter vom Crawlen ausnehmen willst.

Kann ich mit der robots.txt eine Seite aus Google entfernen?

Nein. Dafür setzt du noindex auf einer crawlbaren Seite. Gibt es die Seite nicht mehr, lieferst du 404 oder 410. Schneller, aber nur vorübergehend, hilft das Entfernen-Tool der Search Console.

Sollte mein Shop GPTBot sperren?

Das hängt davon ab, ob deine Inhalte ins Training künftiger Modelle einfließen sollen. Für die ChatGPT-Suche ist OAI-SearchBot zuständig, nicht GPTBot. Laut OpenAI sind beide Einstellungen unabhängig. Sperr also nie pauschal alle OpenAI-Crawler, wenn du in ChatGPT gefunden werden willst.

Verschwinde ich aus den KI-Übersichten, wenn ich Google-Extended sperre?

Nein. Google-Extended betrifft Gemini-Training und Grounding in Gemini-Apps und Vertex AI. Die KI-Übersichten und der KI-Modus nutzen Googlebot, dort steuerst du über nosnippet, max-snippet oder noindex.

Gilt die robots.txt auch für Subdomains?

Nein. Sie gilt nur für den Host, das Protokoll und den Port, unter dem sie liegt. blog.dein-shop.de braucht also eine eigene Datei.