robots.txt Beispiel: saubere Datei für kleine Websites

Eine robots.txt steuert per Textdatei im Website-Root, welche Crawler welche Bereiche einer Website abrufen dürfen. Für kleine Websites reicht meist eine kurze Datei mit User-agent, Disallow für gesperrte Pfade und einem Sitemap-Verweis. Wichtiger als viele Regeln sind Klarheit, korrekte Pfade und regelmäßige Prüfung.

Eine robots.txt ist eine Textdatei im Website-Root, mit der Suchmaschinen-Crawler festlegen, welche Bereiche einer Website durchsucht werden dürfen und welche nicht. Wer sich mit SEO Sichtbarkeit beschäftigt, braucht eine robots.txt vor allem für klare Crawl-Steuerung, nicht als Ranking-Werkzeug.

Was ist eine robots.txt und wofür wird sie genutzt?

Eine robots.txt gibt Crawlern Anweisungen für den Abruf von URLs. Sie blockiert Bereiche wie Admin-Pfade, Filterseiten oder interne Testordner. Sie ersetzt keine Zugriffskontrolle, sondern steuert nur das Crawling. Googlebot und andere Crawler lesen die Datei beim Aufruf der Domain zuerst mit.

Die robots.txt gehört in das Stammverzeichnis einer Domain, also in den Website-Root. Ein typischer Pfad ist https://beispiel.de/robots.txt. Suchmaschinen werten die Datei als Standard, wenn sie unter diesem Pfad erreichbar ist. Fehlt die Datei, crawlen Crawler grundsätzlich ohne diese Datei-Steuerung weiter.

Wichtig ist die Abgrenzung zum robots meta tag. Die robots.txt wirkt auf ganze Pfade, der robots meta tag wirkt auf einzelne Seiten im HTML-Head. Für eine einzelne Unterseite ist der robots meta tag präziser. Für ganze Verzeichnisse ist die robots.txt das passende Werkzeug.

Wie sieht ein einfaches robots.txt Beispiel für kleine Websites aus?

Ein kleines robots.txt Beispiel braucht nur wenige Zeilen. Für eine überschaubare Website reicht oft eine freigebende Standardregel plus Sperren für interne Bereiche. Die XML-Sitemap gehört als Zeile mit hinein, damit Crawler die wichtigsten URLs schneller finden.

Beispiel:

User-agent: *
Disallow: /admin/
Disallow: /login/
Allow: /
Sitemap: https://beispiel.de/sitemap.xml

Die Zeile User-agent: * richtet sich an alle Crawler. Disallow: /admin/ sperrt den Ordner /admin/. Allow: / signalisiert, dass der Rest der Website zugänglich bleibt. Der Sitemap-Hinweis verweist auf die XML-Sitemap, meist unter /sitemap.xml.

Für kleine Websites gilt: Wenige Regeln sind besser als viele Ausnahmen. Wer nur einen Shop, einen Blog oder eine einfache Firmenwebsite betreibt, braucht selten komplexe Muster. Eine saubere Datei ist kurz, lesbar und widerspruchsfrei.

Welche Regeln und Direktiven gehören in eine saubere robots.txt?

Eine saubere robots.txt nutzt vor allem User-agent, Disallow, Allow und Sitemap. Mehr braucht eine kleine Website oft nicht. Die Direktiven müssen exakt geschrieben sein, denn Crawler lesen Pfade und Syntax sehr streng.

User-agent benennt den Crawler. Disallow sperrt einen Pfad oder einen Ordner. Allow hebt eine Sperre für konkrete Unterpfade wieder auf. Sitemap verweist auf die XML-Sitemap. Googlebot folgt diesen Signalen, interpretiert sie aber immer im Kontext der gesamten Datei.

Direktive	Funktion	Beispiel
User-agent	Ziel-Crawler festlegen	User-agent: *
Disallow	Pfad sperren	Disallow: /intern/
Allow	Unterpfad erlauben	Allow: /intern/oeffentlich/
Sitemap	XML-Sitemap melden	Sitemap: https://beispiel.de/sitemap.xml

Für große Websites kann eine robots.txt zusätzliche Regeln für bestimmte Crawler enthalten. Für kleine Websites bringt diese Trennung meist keinen Vorteil. Klarer ist eine kurze globale Regel für alle Crawler und ein sauberer Sitemap-Verweis.

Wichtig bleibt die technische Einordnung: robots.txt verhindert kein Öffnen einer URL im Browser. Wer sensible Inhalte schützen will, braucht Server-Login, Authentifizierung oder andere Zugriffsbeschränkungen. Die robots.txt ist kein Sicherheitsmechanismus.

Welche Fehler sollte man bei der robots.txt unbedingt vermeiden?

Die häufigsten Fehler sind zu breite Sperren, falsche Pfade und widersprüchliche Regeln. Eine einzige falsche Zeile kann das Crawling wichtiger Seiten bremsen. Besonders riskant sind Sperren des gesamten Root-Verzeichnisses und versehentlich blockierte CSS- oder JavaScript-Pfade.

Ein typischer Fehler ist Disallow: /. Diese Zeile blockiert praktisch die gesamte Website für Crawler. Ein anderer Fehler ist ein falscher Ordnername, etwa /admin statt /admin/, wenn die Website-Struktur den abschließenden Slash braucht. Auch Tippfehler bei Sitemap führen dazu, dass die XML-Sitemap ignoriert wird.

Ein weiterer Irrtum betrifft den Unterschied zwischen Crawling und Indexierung. Eine per robots.txt gesperrte URL kann unter Umständen trotzdem im Index auftauchen, wenn andere Seiten darauf verlinken. Wer eine Seite sicher aus dem Index halten will, nutzt meist den robots meta tag mit noindex und sorgt dafür, dass die Seite nicht blockiert ist, damit Suchmaschinen das Signal lesen können.

Auch doppelte oder widersprüchliche Regeln erzeugen Probleme. Wenn eine robots.txt denselben Pfad einmal sperrt und später wieder erlaubt, entsteht schnell Unklarheit. Sauber ist eine klare Struktur: erst globale Regeln, dann gezielte Ausnahmen, dann die Sitemap.

Wie überprüft und pflegt man eine robots.txt im Alltag?

Eine robots.txt sollte nach jeder Änderung an Website-Struktur, Navigation oder CMS geprüft werden. Die Datei gehört in den Root der Domain und muss per Browser direkt abrufbar sein. Nach Änderungen hilft ein Test gegen typische Crawler-Szenarien, vor allem für Googlebot.

Im Alltag prüft man drei Punkte: Ist die Datei erreichbar, sind die Pfade korrekt, und verweist die Datei auf die aktuelle XML-Sitemap? Wer neue Verzeichnisse anlegt, sollte die robots.txt mitdenken. Wer Seiten löscht oder verschiebt, sollte die Datei ebenfalls aktualisieren.

Eine einfache Pflegeroutine reicht oft aus: neue interne Verzeichnisse dokumentieren, Sperren auf das Nötigste beschränken und die Sitemap aktuell halten. Die robots meta tag-Regeln auf Seitenebene sollten zur robots.txt passen, damit keine widersprüchliche Signallage entsteht. Genau diese Abstimmung spart Crawling-Ressourcen und hält die Website-Struktur sauber.

Bei kleinen Websites ist die beste robots.txt meist die kleinste sinnvolle Datei. Sie blockiert interne Bereiche, lässt öffentliche Inhalte offen und nennt die XML-Sitemap. Wer diese Grundregel beachtet, vermeidet die meisten SEO- und Technikfehler schon im Vorfeld.

Mehr zum Thema im Bereich SEO & Sichtbarkeit · Passend dazu: Longtail Keywords finden: So findest du Suchbegriffe mit echter Suchintention · XML-Sitemap aktualisieren: Wann sich das Update lohnt und wie es geht