Wie Crawler eine Website erfassen
Eine Hausverwaltung veröffentlicht eine neue Seite zu freien Wohnungen. Der Googlebot findet sie über den Link auf der Startseite und über die XML-Sitemap, ruft sie ab und gibt den Inhalt zur Auswertung weiter. Erst danach kann die Seite in den Index kommen (Indexierung).
KI-Crawler arbeiten ähnlich, sammeln Inhalte aber für das Training von Sprachmodellen oder für Live-Suchen in KI-Assistenten. Inhalte, die erst nach langem Laden per JavaScript erscheinen, können für manche Crawler schwer lesbar sein.
Warum Crawler für KMU wichtig sind
Was ein Crawler nicht lesen kann, kann weder bei Google noch in KI-Antworten auftauchen. Für kleine Betriebe heißt das: Wichtige Informationen wie Leistungen, Orte und Öffnungszeiten gehören als Text auf die Seite, nicht nur in ein Bild oder ein PDF.
Über die robots.txt legen Sie fest, welche Crawler zugreifen dürfen. Welche KI-Bots es gibt und wie man mit ihnen umgeht, erklärt der Ratgeber KI-Crawler; wie sichtbar Ihr Betrieb in KI-Suchen ist, zeigt der Gratis-Check zur KI-Sichtbarkeit.
Prüft, wie gut Google Ihre Website versteht – mit konkreten Punkten, die Sie verbessern können.
Nennt ChatGPT Ihren Betrieb? Bericht zu Google und KI-Suchen innerhalb von 24 Stunden.
Häufige Fragen
Belasten Crawler meine Website?
In der Regel kaum. Seriöse Crawler rufen Seiten in vernünftigen Abständen ab und richten sich nach der Leistungsfähigkeit des Servers. Bei sehr kleinen Hosting-Paketen oder aggressiven, unseriösen Bots kann es selten zu spürbarer Last kommen. Dann hilft der Hosting-Anbieter, auffällige Zugriffe zu begrenzen. Für die normale Firmenwebsite ist das kein Thema.
Woran erkenne ich, ob Google meine Seite gecrawlt hat?
In der Google Search Console sehen Sie bei der URL-Prüfung, wann der Googlebot eine Seite zuletzt abgerufen hat. Zusätzlich gibt es einen Bericht zu den Crawling-Statistiken. Auch die Server-Protokolle Ihres Hosting-Anbieters zeigen Zugriffe einzelner Bots. Für kleine Betriebe reicht meist der Blick in die Search Console.