KI-Crawler dürfen lesen
Die robots.txt entscheidet, ob die Crawler, die Seiten für KI-Antworten holen, die Seite lesen dürfen: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot, Googlebot und Bingbot. Gesperrte Trainings-Crawler wie GPTBot kosten dagegen keine Nennung, das sagt der Check auch so.