Der KI-Crawler-Check zeigt, welche KI-Dienste Ihre Website lesen dürfen und welche ausgesperrt werden. Er liest Ihre robots.txt und ruft Ihre Seite zusätzlich mit der Kennung von 13 Crawlern ab. So fällt auch auf, wenn Firewall oder Hoster einen Crawler abweisen, den Ihre robots.txt erlaubt.
Kostenloser Check
KI-Crawler-Check
Viele Websites sperren KI-Crawler aus, ohne es zu wissen: durch eine alte Zeile in der robots.txt, ein Sicherheits-Plugin oder eine Voreinstellung des Hosters. Wer den Suchcrawler von OpenAI sperrt, erscheint laut OpenAI nicht in den Antworten der ChatGPT-Suche. Der Check testet 13 KI-Crawler live gegen Ihren Server und zeigt, wer bei Ihnen draußen bleibt.
Drei Arten von KI-Crawlern
Die Anbieter trennen ihre Crawler nach Aufgabe. Der Check zeigt jede Gruppe für sich, weil Sie für jede anders entscheiden können:
- KI-Suche: OAI-SearchBot, Claude-SearchBot und PerplexityBot bauen den Suchindex der KI-Dienste auf. Wer sie sperrt, erscheint dort nicht als Quelle.
- Abruf auf Nutzerwunsch: ChatGPT-User, Claude-User, Perplexity-User und MistralAI-User öffnen Ihre Seite, wenn jemand die KI danach fragt.
- Training: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot und weitere sammeln Texte für das Training neuer Modelle.
Sie können das Training sperren und in der KI-Suche trotzdem sichtbar bleiben. Die passenden Zeilen für Ihre robots.txt baut Ihnen der Check am Ende zusammen.
Warum der Live-Test wichtig ist
Die robots.txt ist nur eine Bitte an den Crawler. Ob er wirklich durchkommt, entscheidet Ihr Server. Manche Hoster, Firewalls und Sicherheits-Plugins bremsen oder sperren KI-Crawler schon in der Voreinstellung, ohne dass der Betreiber der Website davon weiß. Der Check ruft Ihre Seite deshalb mit jeder Kennung ab und vergleicht die Antwort mit der eines normalen Browsers.
Was der Check nicht kann
Der Test kommt von meinem Prüfserver und nicht von den echten Adressen der Anbieter. Manche Firewalls lassen den echten Crawler durch und weisen nur Nachahmer ab. Ein Treffer ist deshalb ein starker Hinweis und noch kein Beweis. Sicher zeigt es Ihr Server-Logfile, das Sie mit der Logfile-Analyse selbst auswerten können.
Häufige Fragen zum KI-Crawler-Check
Sollte ich KI-Crawler sperren?
Die Crawler für Suche und Abruf in aller Regel nicht, denn über sie werden Sie in KI-Antworten als Quelle genannt. Beim Training gibt es kein Richtig oder Falsch: Wer seine Texte nicht dafür hergeben will, sperrt diese Gruppe. Bedenken Sie dabei: Eine Studie der Rutgers Business School und der Wharton School kam zu dem Ergebnis, dass Publisher nach dem Sperren von KI-Crawlern 23 Prozent ihres gesamten Traffics verloren haben. Darüber berichtet PPC Land.
Sperrt Google-Extended auch die AI Overviews?
Nein. Google-Extended steuert nur, ob Ihre Inhalte für das Training von Gemini genutzt werden. AI Overviews und AI Mode laufen über den normalen Googlebot. Das steht so in der Dokumentation von Google.
Welche Kennzeichen sind veraltet?
anthropic-ai und Claude-Web nutzt Anthropic nicht mehr. Regeln dazu wirken nicht. Die aktuellen Kennzeichen heißen ClaudeBot, Claude-SearchBot und Claude-User.
Woher stammen die Kennungen?
Aus den Dokumentationen der Anbieter, zum Beispiel von OpenAI und Anthropic. Ich gleiche die Liste regelmäßig ab.
Warum brauche ich eine E-Mail-Adresse?
An diese Adresse schicke ich den Link zu Ihrem Ergebnis. Der Bericht bleibt 30 Tage abrufbar, Sie können ihn drucken oder als PDF speichern. Weitere Mails bekommen Sie nur, wenn Sie eine der Optionen ankreuzen und danach den Link in der Bestätigungsmail anklicken.
Welche Daten speichern Sie?
Ihre E-Mail-Adresse, die geprüfte Adresse und das Ergebnis, für 30 Tage. Danach wird alles gelöscht. Um Missbrauch zu verhindern, zählt der Server eine Stunde lang die Prüfungen pro Verbindung. Ihre IP-Adresse wird dafür nicht im Klartext gespeichert. Einzelheiten stehen in der Datenschutzerklärung.