Zugriff auf öffentliche Inhalte ermöglichen
Prüfe robots.txt, noindex, Login-Bereiche, WAF- oder Bot-Blockaden und Weiterleitungen. Für die Aufnahme in ChatGPT Search ist insbesondere der Zugriff durch OAI-SearchBot relevant; Perplexity dokumentiert dafür den PerplexityBot.
Erlaube nur die Bots, die zu deiner Strategie passen. Unterscheide außerdem Such-Crawler von Bots, die für Modelltraining verwendet werden können.
