OAI-SearchBot und GPTBot: Zwei verschiedene Zwecke

Wer die Bot-Namen verwechselt, kann eine technische Entscheidung treffen, die nicht dem eigenen Ziel entspricht.

Lesen Sie die Dokumentation

OAI-SearchBot wird von OpenAI für die Suche in ChatGPT beschrieben. GPTBot ist für das Training von Modellen vorgesehen. Laut OpenAI können Website-Betreiber OAI-SearchBot erlauben und GPTBot blockieren. Eine robots.txt-Regel muss den richtigen User Agent und Pfad treffen. Technische Freigabe allein garantiert keine Aufnahme in Suchergebnissen und keine Erwähnung. Prüfen Sie die aktuelle Dokumentation, weil Bot-Verhalten und Einstellungen sich ändern können.

Denken Sie an die Website selbst

Eine private oder passwortgeschützte Seite ist für öffentliche Suchergebnisse nicht frei abrufbar. Auch eine freigegebene Site sollte klare HTML-Inhalte, sprechende Links und aktuelle Fakten bieten. Ein Crawler kann nichts Sinnvolles aus einem bloßen Slogan über Leistungen ableiten, die nirgends beschrieben sind. Kontrollieren Sie, ob Server-Sperren oder Sicherheitsdienste den erlaubten Bot trotzdem blockieren. Vermeiden Sie pauschale Regeln aus Vorlagen, deren Herkunft Sie nicht kennen.

Trennen Sie Ziele und Erwartungen

Sie können bewusst entscheiden, ob Ihre Inhalte für Suche, Training oder beides verfügbar sein sollen. Dokumentieren Sie diese Entscheidung. Messen Sie danach nicht mit einer einzelnen Testfrage, ob die Bot-Regel „funktioniert“; Antworten hängen von vielen Faktoren ab. Sehen Sie auf tatsächliche Verweise und Anfragen, soweit verfügbar. Wer eine sichere Erwähnung verspricht, behauptet mehr, als die Freigabe technisch leisten kann.

Eine bewusste Bot-Regel

Ein Unternehmen möchte in ChatGPT Search erscheinen, aber seine Inhalte nicht für Modelltraining freigeben. OpenAI beschreibt für diese Zwecke getrennte Crawler. Die robots.txt kann OAI-SearchBot zulassen und GPTBot sperren. Prüfen Sie die aktuelle Schreibweise in der OpenAI-Dokumentation und testen Sie, ob andere Sicherheitsregeln den Zugriff trotzdem blockieren. Die Entscheidung betrifft Bereitstellung, nicht die spätere Auswahl in einer Antwort. Halten Sie fest, wer die Regeln pflegt, damit ein Relaunch sie nicht versehentlich überschreibt.

Weiterlesen: OpenAI: Übersicht der Crawler