Für KI-Sichtbarkeit werden Suchcrawler wie OAI-SearchBot, Claude-SearchBot und PerplexityBot zugelassen. Kundenbereich, APIs und sensible Pfade bleiben technisch geschützt; robots.txt ersetzt keine Authentifizierung.
- erfolgreiche Bot-Abrufe öffentlicher Seiten
- keine indexierten privaten URLs
- Crawl-Fehler nach Deployments
01 · Einordnung
Worum es bei dieser Aufgabe wirklich geht
Für KI-Sichtbarkeit werden Suchcrawler wie OAI-SearchBot, Claude-SearchBot und PerplexityBot zugelassen. Kundenbereich, APIs und sensible Pfade bleiben technisch geschützt; robots.txt ersetzt keine Authentifizierung.
Pauschale Bot-Blocklisten sperren manchmal genau die Crawler aus, die Quellen nennen könnten. Das Gegenteil ist ebenso problematisch: Vertrauliche Bereiche dürfen nie allein auf eine robots.txt-Direktive vertrauen, weil diese nur eine freiwillig beachtete Crawl-Regel ist.
Im GEO-Modul wird klassische SEO nicht ersetzt, sondern für KI-Suchen präzisiert: klare Antworten, belastbare Quellen, konsistente Entitäten, zugängliche Seiten und eine Messung, die Zitate von echten Besuchen und Anfragen trennt.
02 · Vorgehen
Ein belastbarer Ablauf in vier Schritten
Die folgenden Schritte sind so angeordnet, dass erst Ziel und Leitplanken feststehen, bevor Inhalte produziert, Budgets eingesetzt oder externe Kontakte ausgelöst werden.
Bots nach Zweck trennen
Dokumentiere Suchbot, nutzerinitiierter Abruf und Trainingscrawler getrennt. Verwende nur offiziell bestätigte User-Agent-Namen.
Öffentliche Inhalte freigeben
Leistungsseiten, Ratgeber, Bilder und Sitemap müssen ohne Bot-Challenge erreichbar sein. Der Server sollte korrekte 200-, 301- und 404-Antworten liefern.
Private Pfade absichern
Kundenbereich und APIs benötigen Session, Zugriffskontrolle und sichere Header. Eine Disallow-Regel kann ergänzen, schützt aber keine Daten.
Regelmäßig verifizieren
robots.txt, Serverlogs und Testabrufe werden nach Infrastrukturänderungen geprüft. WAF-Regeln dürfen offizielle Crawler nicht unbeabsichtigt blockieren.
Für den MVP wird jede Stufe als eigener Status abgebildet. So bleibt sichtbar, was vorbereitet, freigegeben, live, blockiert oder abgeschlossen ist. Automatisierung beschleunigt Standards; neue fachliche oder finanzielle Entscheidungen bleiben beim benannten Verantwortlichen.
03 · Praxisbeispiel
So sieht die Umsetzung in einem kleinen Maklerbüro aus
Eine Maklerwebsite erlaubt OAI-SearchBot, Claude-SearchBot und PerplexityBot den Zugriff auf öffentliche Inhalte. Der Kundenbereich bleibt per Login geschützt und wird zusätzlich von der Indexierung ausgeschlossen.
Das Beispiel ist bewusst als Prozess und nicht als Ergebnisversprechen formuliert. Region, bestehende Domainautorität, Zielgruppenqualität, Budget, Produktzugang und Bearbeitung beeinflussen das Resultat. Deshalb wird ein Pilot zuerst auf Datenqualität und Lernwert geprüft und erst danach skaliert.
04 · Leitplanken
Was vor dem Start eindeutig geklärt sein muss
- nur offizielle Botnamen verwenden
- robots.txt nie als Zugriffsschutz behandeln
- keine pauschale Freigabe sensibler API-Pfade
Diese Leitplanken ersetzen keine individuelle Rechts- oder Compliance-Prüfung. Sie sorgen dafür, dass das Projekt seine offenen Entscheidungen sichtbar macht und bei fehlenden Freigaben stoppt, statt Unsicherheit automatisch zu veröffentlichen oder zu versenden.
05 · Messung
Drei Kennzahlen, die zu einer echten Entscheidung führen
Die Kennzahlen werden nicht isoliert optimiert. Ein günstiger Klick, ein Scan oder eine hohe Formularzahl kann wertlos sein, wenn die Zielgruppe nicht passt oder der Folgeprozess nicht funktioniert. Der Monatsreport verbindet deshalb Kosten, Qualität und nächsten Status.
06 · Häufige Fragen
Was Makler vor der Umsetzung häufig klären
Ist OAI-SearchBot dasselbe wie GPTBot?+
Nein. OpenAI beschreibt OAI-SearchBot für Suchergebnisse und GPTBot separat für mögliche Modellverbesserung.
Welche Claude-Bots sind für Suche relevant?+
Anthropic nennt Claude-SearchBot für Suchqualität und Claude-User für nutzerinitiierte Abrufe. ClaudeBot ist der separate Trainingscrawler.
Reicht eine Allow-Regel für Sichtbarkeit?+
Nein. Sie ermöglicht nur den Zugriff. Relevanz, Indexierung, Inhalt und Autorität entscheiden weiterhin über eine mögliche Auswahl.
Quellen & Einordnung
Weiterführende Primärquellen
- Google Search Central: AI-Funktionen und Websites
- OpenAI: Hinweise für Publisher und OAI-SearchBot
- Microsoft Bing: AI Performance und GEO-Messung
Redaktionsstand: 20. August 2026. Plattformregeln und Rechtslage können sich ändern; die konkrete Kampagne wird vor Ausführung erneut geprüft.