Wie die robots.txt eingesetzt wird
Ein Onlineshop für Honig und Imkereibedarf möchte nicht, dass Suchmaschinen Warenkorb- und Filterseiten durchsuchen, weil diese nur Varianten derselben Inhalte sind. In der robots.txt wird deshalb der Pfad zum Warenkorb ausgeschlossen, und die Adresse der XML-Sitemap wird angegeben.
Über eigene Zeilen lässt sich außerdem regeln, ob KI-Crawler wie GPTBot von OpenAI oder ClaudeBot von Anthropic die Inhalte abrufen dürfen. Das hat Folgen dafür, ob Ihr Betrieb in KI-Antworten vorkommen kann.
Warum KMU ihre robots.txt kennen sollten
Ein falscher Eintrag kann die ganze Website für Google unsichtbar machen. Das passiert etwa, wenn eine Sperre aus der Entwicklungsphase nach dem Livegang stehen bleibt. Ein kurzer Blick auf die Datei gehört deshalb zu jedem Relaunch.
Wer Seiten aus den Ergebnissen fernhalten will, nutzt besser den Hinweis „noindex“, denn eine per robots.txt gesperrte Seite kann trotzdem in den Index gelangen, wenn sie verlinkt wird. Hintergründe zu KI-Crawlern liefert der Ratgeber KI-Crawler, eine Ergänzung ist die llms.txt.
Prüft, wie gut Google Ihre Website versteht – mit konkreten Punkten, die Sie verbessern können.
Nennt ChatGPT Ihren Betrieb? Bericht zu Google und KI-Suchen innerhalb von 24 Stunden.
Häufige Fragen
Sollte ich KI-Crawler in der robots.txt aussperren?
Das ist eine Abwägung. Wer KI-Crawler aussperrt, verhindert, dass die Inhalte für diese Dienste abgerufen werden, verringert damit aber auch die Chance, in KI-Antworten genannt zu werden. Für die meisten kleinen Betriebe, die gefunden werden möchten, überwiegt der Nutzen der Sichtbarkeit. Bei sensiblen oder exklusiven Inhalten kann eine Sperre trotzdem sinnvoll sein.
Kann ich mit der robots.txt vertrauliche Seiten schützen?
Nein. Die Datei ist öffentlich lesbar und nur eine Bitte an Crawler, die seriöse Dienste befolgen. Wer die Adresse kennt, kann eine gesperrte Seite trotzdem aufrufen. Vertrauliche Inhalte gehören hinter ein Passwort oder einen Login. Für das Fernhalten aus Suchergebnissen ist zudem der Hinweis „noindex“ das richtige Werkzeug.