Eine robots.txt lesen: Pfade, Bots und Indexierung
Die Datei liegt direkt unter /robots.txt. In einer Gruppe benenntUser-agent den Crawler, Disallow einen gesperrten Pfad undAllow eine erlaubte Ausnahme. Sitemap nennt die vollständige Adresse Ihrer XML-Sitemap. Die Datei schützt keine vertraulichen Inhalte: Dafür brauchen Sie einen Zugangsschutz.
Fiktives Beispiel für eine Website mit öffentlichem Angebot und interner Suche:
User-agent: *
Disallow: /suche/
Sitemap: https://example.com/sitemap-index.xml
Diese Regel sperrt den Abruf unter /suche/. Sie entfernt bereits bekannte URLs nicht zuverlässig aus dem Suchindex. Soll eine öffentlich erreichbare Seite verschwinden, setzen Sie dort noindex und lassen den Abruf zu, damit der Crawler die Anweisung lesen kann. Ein Canonical löst wiederum eine andere Aufgabe: Er benennt die bevorzugte Version ähnlicher Inhalte. Die Unterschiede erklärt der Ratgeber zum Canonical Tag.
Vor dem Hochladen: diese vier Prüfungen
- Vorhandene Datei sichern und Regeln aus Plugins oder dem Shop berücksichtigen.
- Startseite, Hauptleistungen und benötigte CSS- und JavaScript-Dateien dürfen nicht versehentlich gesperrt werden.
- Den Sitemap-Link öffnen: Er muss zu Ihrer tatsächlichen XML-Sitemap führen, die der Sitemap-Checker auslesen kann.
- Nach dem Upload die öffentliche robots.txt und den robots.txt-Bericht in der Search Console prüfen.
Grundlage: Googles Einführung zu robots.txt. Der Generator erstellt Regeln; er simuliert keinen Crawler und ersetzt die Prüfung Ihrer Live-Website nicht.
Der häufigste Fehler
Ein Disallow: / aus der Testumgebung geht mit live und sperrt die komplette Website aus. Prüfen Sie nach jedem Relaunch als Erstes Ihre robots.txt – das ist der schnellste Weg, einen Sichtbarkeitseinbruch zu erklären.
KI-Crawler: Suche und Training unterscheiden
Google-Extended steuert die Nutzung für Gemini-Training und bestimmte Gemini-Funktionen. Es steuert nicht die Aufnahme in die Google Suche oder ihre AI Overviews. Dafür gelten Googlebot und die Steuerelemente für Suchvorschauen. Eine Sperre von Google-Extended ist deshalb kein Ausschluss aus den KI-Antworten der Google Suche.
Quelle: Google-Extendedund KI-Funktionen der Google Suche. Die Tokens verschiedener Anbieter haben unterschiedliche Zwecke; die Auswahl im Tool ersetzt keine Prüfung der jeweiligen Anbieterregeln. Für die ChatGPT-Suche erklärt der Artikel ChatGPT SEO die getrennten Crawler.
So arbeitet der Generator
Der robots.txt Generator läuft vollständig in Ihrem Browser: Domain und Pfade werden nicht an einen Server geschickt, und es gibt kein Nutzungslimit. Aus Ihren Eingaben entsteht zuerst eine Gruppe User-agent: * mit Allow: / und je einer Disallow-Zeile pro gesperrtem Pfad; fehlt der Schrägstrich am Anfang, ergänzt das Tool ihn.
Für GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended schreibt der Generator jeweils eine eigene Gruppe: Disallow: /, wenn der Bot ausgesperrt ist, sonst Allow: / plus Ihre gesperrten Pfade. Die Pfade stehen dort ein zweites Mal, weil ein Crawler mit eigener Gruppe die Regeln unterUser-agent: * nicht mehr liest. Am Ende folgt die ZeileSitemap: mit Ihrer Domain.
Grenzen des Tools
Das Tool erstellt eine neue robots.txt, es prüft keine bestehende: Es ruft Ihre Website nicht auf und testet nicht, ob eine bestimmte URL gesperrt ist. Der Sitemap-Eintrag lautet immer /sitemap-index.xml; heißt Ihre Sitemap anders, passen Sie die Zeile vor dem Hochladen an. Platzhalter wie *oder $ in Pfaden übernimmt der Generator unverändert, ohne sie zu prüfen. Andere Crawler als die fünf KI-Bots, etwa Bingbot oder Bytespider, und Angaben wieCrawl-delay müssen Sie von Hand ergänzen.
Danach
Datei ins Wurzelverzeichnis legen, unter ihre-domain.de/robots.txtaufrufen und in der Search Console mit dem robots.txt-Bericht prüfen. Ergänzend beschreibt die llms.txt, worum es auf Ihrer Website inhaltlich geht.