Mit robots.txt steuerst du den Zugriff von ChatGPT-, Claude-, Perplexity- und Google-KI-Bots auf deine Website. Eine Website mit gesperrtem Zugriff kann in KI-Antworten keine Quelle sein.
Damit du in KI-Antworten Quelle werden kannst, müssen die Bots zuerst auf deine Seite zugreifen können. Eine übrig gebliebene robots.txt-Regel, ein Sicherheits-Plugin oder eine Schutzeinstellung kann diese Bots stillschweigend aussperren. Egal wie gut deine Website geschrieben ist: Durch eine verschlossene Tür kommt niemand hinein.
Deshalb beginnen wir die GEO-Arbeit mit der Kontrolle des Zugriffs: Welche Bots kommen herein, welche werden blockiert, und ist das eine bewusste Entscheidung?
Jedes große KI-Unternehmen hat mehrere Bots, und ihre Namen können sich mit der Zeit ändern. Zum Beispiel gibt es von OpenAI GPTBot (Modelltraining), OAI-SearchBot (ChatGPT-Suchergebnisse) und ChatGPT-User (schaut sich auf Wunsch eines Nutzers eine Seite an); von Anthropic den Bot ClaudeBot; von Perplexity den Bot PerplexityBot; von Google die Steuerung Google-Extended.
Auch Bings Bot ist wichtig, weil er eine der Quellen von Microsoft Copilot ist. Die aktuellen Namen findest du in der Dokumentation des jeweiligen Unternehmens; wir richten die Regeln danach ein.
Liest ein Bot deine Seite, um eine Antwort zu schreiben, wenn ein Nutzer eine Frage stellt, ist das eine Sichtbarkeitschance; er kann dich als Quelle nennen. Sammelt ein anderer Bot Inhalte, um ein KI-Modell zu trainieren, ist das eine eigene Entscheidung: Manche Unternehmen erlauben es, andere nicht.
Beides lässt sich mit getrennten Regeln steuern. Du kannst zum Beispiel Trainings-Bots sperren und Such-Bots offen lassen. Das ist eine geschäftliche Entscheidung ohne richtig oder falsch; wir erklären dir die Optionen offen.
robots.txt wird im Panel verwaltet. Die fertige Regel hält die Website für alle Bots offen; wenn du möchtest, schreibst du eine eigene Regel und erlaubst oder verbietest bestimmte Bots. Beim Speichern wird die Veröffentlichung sofort aktualisiert.
Auch die Sitemap-Adresse steht in derselben Datei. Dieses Thema haben wir zusammen mit der SEO-Seite auch auf der Seite SEO erklärt.
robots.txt ist eine Höflichkeitsregel; Bots halten sich daran, müssen aber nicht. Respektvolle große Bots befolgen sie, böswillige vielleicht nicht. Inhalte, die wirklich geschützt werden müssen, versteckst du nicht mit robots.txt, sondern mit einem Login-Passwort oder Serverschutz.
Ebenso garantiert eine Erlaubnis in der robots.txt nicht, dass du in Antworten auftauchst; sie öffnet nur die Tür.
Manche Bot-Schutz- und Sicherheitsschichten halten KI-Bots für „automatisierten Traffic“ und blockieren sie. Eine gut gemeinte Einstellung für die Websitesicherheit kann so ungewollt deine Sichtbarkeit schließen. Wer das nicht weiß, hat mit einer Korrektur der robots.txt nichts gewonnen.
Um die Einstellungen auf der Infrastrukturseite zu prüfen, machen wir zu Beginn der GEO-Arbeit einen Zugriffstest.
Willst du in Antworten Quelle sein, müssen Such- und Antwort-Bots auf deine Website zugreifen können. Trainings-Bots zu erlauben ist eine eigene geschäftliche Entscheidung.
Nein. GPTBot ist der Bot, den OpenAI für das Modelltraining nutzt. OAI-SearchBot gehört zur ChatGPT-Suche. Namen können sich ändern; aktuelle Namen stehen in der Dokumentation des Unternehmens.
Nein. robots.txt ist eine Regel für Bots, die sich daran halten. Inhalte, die geheim bleiben müssen, werden mit einem Login-Passwort oder Serverschutz verborgen.
Ja. Du nutzt die fertige Regel oder schreibst eine eigene. Beim Speichern wird die Veröffentlichung sofort aktualisiert.
Keine Garantie. Die Erlaubnis öffnet nur die Tür; ob du vorkommst, hängt von Qualität, Aktualität und Konsistenz des Inhalts ab.
Ja, manche Bot-Schutzschichten können auch KI-Bots blockieren. Zu Beginn der GEO-Arbeit prüfen wir das mit einem Zugriffstest.
Hinterlasse deine Nummer, wir rufen dich an. Gemeinsam finden wir die passende Lösung.
Wir rufen dich an
Türkçe
English
Deutsch
Français
Español