Blog · 10.08.2026 · Josef Wilhelm · 9 Min.

robots.txt: was die Datei steuert und was nicht

Die robots.txt ist die einflussreichste Datei auf deiner Website, gemessen an ihrer Größe. Drei Zeilen können sämtliche Seiten aus der Google-Suche nehmen, und der Fehler fällt oft wochenlang niemandem auf, weil die Website für Besucher völlig normal aussieht. Gleichzeitig kann sie weniger, als die meisten glauben: Sie steuert das Crawlen, nicht das Indexieren. Dieser Unterschied entscheidet darüber, ob du sie richtig einsetzt oder dir damit schadest.

Quick Answer

Die robots.txt liegt unter deine-domain.de/robots.txt und sagt Crawlern, welche Bereiche sie abrufen dürfen. Sie steuert ausschließlich den Zugriff, nicht die Aufnahme in den Index. Für die meisten Websites reichen drei Zeilen: alles erlauben und die Sitemap angeben. Gefährlich wird die Datei nur, wenn ein Disallow aus der Entwicklungsphase stehen bleibt.

Was steht überhaupt in der Datei?

Die robots.txt ist eine reine Textdatei mit sehr wenigen Befehlen. Der typische Aufbau sieht so aus:

User-agent: *
Allow: /

Sitemap: https://deine-domain.de/sitemap.xml

User-agent bestimmt, wen die folgenden Regeln betreffen. Der Stern gilt für alle Crawler; statt dessen kann dort auch Googlebot oder GPTBot stehen. Allow und Disallow erlauben oder verbieten Pfade. Und Sitemap verweist auf deine XML-Sitemap, damit Crawler sie sicher finden.

Für die allermeisten kleinen Websites ist das oben schon die vollständige, richtige Datei. Du brauchst keine ausgeklügelten Regeln, solange du keine Bereiche hast, die aktiv stören.

Warum hält ein Disallow eine Seite nicht aus dem Index?

Hier liegt das Missverständnis, das die meisten Fehler verursacht. Ein Disallow sagt: Ruf diese Seite nicht ab. Es sagt nicht: Nimm sie nicht in den Index auf.

Findet Google die Adresse über einen Link von außen, kann es die URL trotzdem in den Suchergebnissen zeigen, dann eben ohne Beschreibungstext, weil es den Inhalt ja nicht lesen durfte. Das Ergebnis ist das Gegenteil dessen, was du wolltest: Die Seite ist sichtbar und sieht auch noch kaputt aus.

Für „soll wirklich nicht in die Suche" gibt es genau ein richtiges Werkzeug, und das ist ein noindex im Seitenkopf. Der entscheidende Haken dabei: Google muss die Seite abrufen dürfen, um das noindex überhaupt zu sehen. Wer beides kombiniert, also Disallow plus noindex, hebelt sich selbst aus. Was die verschiedenen Meldungen dazu in der Search Console bedeuten, steht in Google indexiert meine Seite nicht.

Die drei Fehler, die ganze Websites unsichtbar machen

Das vergessene Disallow: /. In der Entwicklungsphase steht die Website auf komplett gesperrt, damit die Baustelle nicht in der Suche landet. Beim Livegang denkt niemand daran, die Zeile zu entfernen. Die Seite läuft, sieht gut aus und ist für Google nicht existent. Wenn deine Website ohne erkennbaren Grund unsichtbar ist, prüf diese eine Zeile zuerst. Sie erklärt erstaunlich viele Fälle.

Gesperrte CSS- und JavaScript-Ordner. Ein Rat aus alten SEO-Zeiten lautete, Systemverzeichnisse pauschal zu sperren. Das ist heute schädlich: Google rendert deine Seite wie ein Browser. Kommt es nicht an Stylesheets und Skripte, bewertet es unter Umständen eine zerschossene Version. Sperr nie pauschal Ordner, in denen Design- oder Skriptdateien liegen.

Die Datei liegt am falschen Ort. Sie muss im Wurzelverzeichnis stehen, also direkt unter deine-domain.de/robots.txt. In einem Unterordner wird sie ignoriert. Und jede Subdomain braucht eine eigene: blog.deine-domain.de erbt nichts von der Hauptdomain.

Wie prüfst du deine robots.txt?

Der schnellste Check dauert zehn Sekunden: Ruf deine-domain.de/robots.txt im Browser auf und lies sie. Die Datei ist bei normalen Websites kurz genug, dass du jede Zeile verstehen kannst. Achte auf jedes Disallow und frag dich bei jedem, ob der gesperrte Bereich wirklich gesperrt sein soll.

Der gründlichere Weg führt über die Search Console. Sie meldet im Seiten-Bericht, welche URLs wegen robots.txt nicht gecrawlt wurden, und sie zeigt, ob Google die Datei überhaupt abrufen konnte. Dieser zweite Punkt wird unterschätzt: Liefert dein Server beim Abruf der robots.txt einen Fehler, kann Google im Zweifel vorübergehend das Crawlen ganz einstellen. Eine nicht erreichbare robots.txt ist schlechter als gar keine.

Was gehört wirklich gesperrt?

Bei einer normalen Website: sehr wenig. Typische sinnvolle Kandidaten sind interne Suchergebnisseiten, die endlos viele URL-Varianten erzeugen, sowie Warenkorb-, Konto- und Checkout-Bereiche in Shops. Beides bringt keine Sucheinstiege und verbraucht nur Crawl-Kapazität.

Was du dagegen nicht sperren solltest, ist alles, was ranken soll oder zum Rendern gebraucht wird. Und ein Punkt, der oft falsch gemacht wird: Sperr keine Seiten, nur weil sie dünn sind. Wenn eine Seite zu schwach ist, gehört sie überarbeitet, zusammengelegt oder auf noindex gesetzt, nicht vor dem Crawler versteckt. Warum dünne Seiten überhaupt zum Problem werden, steht in der Diagnose-Checkliste.

Und was ist mit den KI-Crawlern?

Seit KI-Antwortmaschinen relevant geworden sind, taucht eine neue Frage auf: Soll man GPTBot, ClaudeBot, PerplexityBot und Verwandte aussperren? Technisch geht das genau wie bei Google, mit einem eigenen User-agent-Block.

Eine allgemeingültige Antwort gibt es nicht, deshalb die ehrliche Abwägung. Sperrst du sie aus, schützt du deine Texte davor, ohne Gegenleistung als Antwortmaterial zu dienen. Du gibst damit aber auch die Sichtbarkeit in genau den Systemen auf, in denen gerade neue Nachfrage entsteht. Für kleine Websites, die überhaupt erst gefunden werden müssen, überwiegt Stand 2026 in aller Regel der Sichtbarkeitsvorteil. Wie du für diese Systeme schreibst, steht in Generative Engine Optimization, und die verwandte Frage nach der Datei llms.txt ist in llms.txt behandelt.

Wichtig ist nur: Diese Crawler halten sich freiwillig an die robots.txt. Sie ist eine Bitte, keine technische Sperre. Wer Inhalte wirklich schützen muss, braucht eine Zugangsbeschränkung, keine Textdatei.

Was du dir merken solltest

Die robots.txt ist ein Verkehrsschild, kein Schloss. Sie lenkt Crawler, die sich daran halten wollen, und sie tut das gut. Für die überwiegende Mehrheit kleiner Websites lautet die richtige Antwort: alles erlauben, Sitemap eintragen, fertig. Jede zusätzliche Zeile ist eine Gelegenheit, sich versehentlich selbst auszusperren.

FAQ

← Alle Artikel