Was KI-Crawler sind
Ein Crawler ist ein Programm, das Websites automatisch besucht und ihre Inhalte liest. Suchmaschinen wie Google nutzen Crawler seit jeher. Inzwischen schicken auch KI-Anbieter eigene Crawler los, etwa OpenAI für ChatGPT, Anthropic für Claude oder Perplexity für die gleichnamige Suche.
Jeder Crawler meldet sich mit einem Namen, dem sogenannten User-Agent. An diesem Namen erkennt Ihre Website, wer zu Besuch ist, und kann ihm über die robots.txt sagen, was er lesen darf.
Training oder Suche: der entscheidende Unterschied
KI-Crawler haben unterschiedliche Aufgaben, und genau das ist für Ihre Entscheidung wichtig:
- Trainings-Crawler sammeln Texte, mit denen künftige Sprachmodelle trainiert werden. Ihre Inhalte fließen dann in das allgemeine Wissen des Modells ein, meist ohne Quellenangabe.
- Such-Crawler lesen Seiten, damit die KI-Suche aktuelle Antworten geben und auf Quellen verweisen kann. Das ist der Weg, über den Ihr Betrieb in Antworten genannt und verlinkt wird.
- Abrufe im Auftrag von Nutzern: Wenn jemand ChatGPT bittet, eine bestimmte Seite zu lesen, ruft das System die Seite direkt ab.
Viele Anbieter haben für diese Aufgaben getrennte Crawler. Sie können also das Training ablehnen und trotzdem in der Suche sichtbar bleiben.
Nennt ChatGPT Ihren Betrieb? Bericht zu Google und KI-Suchen innerhalb von 24 Stunden.
Die wichtigsten KI-Crawler im Überblick
- GPTBot (OpenAI): sammelt Inhalte für das Training von Modellen.
- OAI-SearchBot (OpenAI): liest Seiten für die Suchfunktion von ChatGPT.
- ChatGPT-User (OpenAI): ruft Seiten ab, wenn ein Nutzer das im Gespräch auslöst.
- ClaudeBot (Anthropic): sammelt Inhalte für Claude.
- PerplexityBot (Perplexity): liest Seiten für die Antwortsuche.
- Google-Extended (Google): kein eigener Crawler, sondern eine Steuerungsangabe dafür, ob Inhalte für Gemini-Modelle genutzt werden dürfen. Die normale Google-Suche ist davon nicht betroffen.
- CCBot (Common Crawl): baut ein offenes Webarchiv auf, das viele KI-Projekte nutzen.
Die Liste ändert sich laufend, weil neue Anbieter dazukommen und bestehende ihre Crawler umbenennen. Prüfen Sie die aktuellen Angaben bei den jeweiligen Anbietern.
So steuern Sie den Zugriff mit der robots.txt
Die robots.txt liegt im Hauptverzeichnis Ihrer Website, also unter beispiel.at/robots.txt. Darin steht pro Crawler, was er darf. Ein Beispiel, das das Training durch OpenAI ablehnt, die ChatGPT-Suche aber erlaubt:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
„Disallow: /“ bedeutet: die ganze Website ist gesperrt. „Allow: /“ erlaubt alles. Wer nichts einträgt, erlaubt grundsätzlich den Zugriff. Viele Baukästen und Content-Management-Systeme bieten eigene Einstellungen dafür; bei WordPress helfen SEO-Plugins. Testen Sie nach jeder Änderung, ob Google weiterhin Zugriff hat, denn ein Tippfehler kann die ganze Website aus der Suche nehmen.
Welche Einstellung für Ihren Betrieb passt
Eine pauschal richtige Antwort gibt es nicht, aber eine gute Faustregel:
- Handwerk, Gastronomie, Dienstleister, Praxen: Sie wollen gefunden werden. Lassen Sie Such-Crawler zu. Ob Sie Training erlauben, ist eine Grundsatzfrage; ein großer Nachteil für die Sichtbarkeit entsteht meist nicht, wenn Sie es ablehnen.
- Betriebe mit eigenen Fachtexten als Produkt, etwa Verlage, Kursanbieter oder Fotografen mit Bildarchiv: Hier kann es sinnvoll sein, Trainings-Crawler auszuschließen, um die eigenen Inhalte zu schützen.
- Alle: Sperren Sie nicht versehentlich alles. Manche Sicherheits-Plugins oder Hosting-Dienste blockieren KI-Bots inzwischen standardmäßig. Prüfen Sie, was bei Ihnen eingestellt ist.
Was die robots.txt nicht kann
Die robots.txt ist eine höfliche Bitte, kein Schloss. Seriöse Anbieter halten sich daran, aber nicht jeder Crawler tut das. Wirklich geschützt sind Inhalte nur, wenn sie hinter einem Login liegen.
Außerdem wirkt eine Sperre nur für die Zukunft. Was ein Modell bereits gelesen hat, bleibt in seinem Wissen. Und Inhalte, die auf anderen Websites über Sie stehen, etwa in Verzeichnissen oder Zeitungsartikeln, können weiterhin gelesen werden. Mehr dazu unter KI im Betrieb und Datenschutz und KI-Texte und Urheberrecht; in rechtlichen Einzelfragen hilft eine Anwältin oder die WKO weiter.
So prüfen Sie Ihre aktuelle Einstellung
- Rufen Sie im Browser Ihre Domain mit /robots.txt am Ende auf.
- Suchen Sie nach den Namen der KI-Crawler und nach „Disallow: /“ unter „User-agent: *“, was alle Crawler aussperren würde.
- Fragen Sie Ihren Hosting-Anbieter, ob eine Firewall oder ein Bot-Schutz KI-Crawler blockiert.
- Prüfen Sie in der Google Search Console, ob Google ungehindert zugreifen kann.
Ob Ihre Website für Suchmaschinen und KI-Suchen gut lesbar ist, zeigt der Gratis-SEO-Check. Wie oft KI-Suchen Ihren Betrieb tatsächlich nennen, misst der Gratis-Check von Hittaro.
Prüft, wie gut Google Ihre Website versteht – mit konkreten Punkten, die Sie verbessern können.
Häufige Fragen
Soll ich GPTBot auf meiner Website sperren?
GPTBot sammelt Inhalte für das Training künftiger OpenAI-Modelle. Wenn Sie nicht möchten, dass Ihre Texte dafür verwendet werden, können Sie ihn in der robots.txt sperren. Für die Sichtbarkeit in der ChatGPT-Suche ist ein anderer Crawler zuständig, der OAI-SearchBot. Lassen Sie diesen zu, wenn Ihr Betrieb in ChatGPT-Antworten mit aktuellen Inhalten und Links erscheinen soll.
Verliere ich Google-Rankings, wenn ich KI-Crawler sperre?
Nein, solange Sie nur KI-Crawler sperren und nicht den Googlebot. Auch die Angabe Google-Extended, mit der Sie die Nutzung für Gemini-Modelle einschränken, wirkt sich laut Google nicht auf die normale Google-Suche aus. Vorsicht ist bei Sammelregeln geboten: Eine Sperre für alle Crawler unter „User-agent: *“ würde auch Google aussperren und Ihre Website aus der Suche nehmen.
Halten sich alle KI-Crawler an die robots.txt?
Seriöse Anbieter wie OpenAI, Anthropic und Google geben an, die robots.txt zu beachten. Garantiert ist das aber nicht für jeden Crawler im Netz, und die Datei ist kein technischer Schutz, sondern eine Bitte. Inhalte, die wirklich nicht gelesen werden dürfen, gehören hinter einen Login. Für öffentliche Firmenwebsites reicht die robots.txt in der Praxis meist aus.
Wie erkenne ich, ob KI-Crawler meine Website besuchen?
Die Besuche von Crawlern stehen in den Server-Protokollen Ihres Hostings, sogenannten Logfiles. Dort ist der Name jedes Besuchers vermerkt, etwa GPTBot oder PerplexityBot. Manche Hosting-Anbieter und Sicherheitsdienste zeigen das auch übersichtlich an. Normale Besucherstatistiken erfassen Crawler meist nicht. Fragen Sie im Zweifel Ihren Webbetreuer oder Hosting-Anbieter.