Slovník
GPTBot a AI crawlery
Roboty, ktorými AI služby sťahujú obsah na rôzne účely. Vyhľadávacie a tréningové crawlery treba rozlišovať a nastaviť podľa cieľa.
AI crawlery sú roboty, ktorými spoločnosti prechádzajú web na rôzne účely, napríklad vyhľadávanie alebo zlepšovanie modelov. Funkčne sa podobajú na Googlebot, ale každý user-agent má vlastnú úlohu a pravidlá. Preto ich nemožno posudzovať ako jednu skupinu.
Kto je kto
- GPTBot - crawler OpenAI na zber obsahu pre možné zlepšovanie modelov.
- OAI-SearchBot - crawler OpenAI špecificky pre vyhľadávanie a citácie v ChatGPT.
- ClaudeBot - crawler Anthropic na zber obsahu, ktorý môže byť použitý na tréning modelov.
- Claude-SearchBot - crawler Anthropic pre vyhľadávanie v službe Claude.
- PerplexityBot - crawler vyhľadávača Perplexity.
- Google-Extended - prepínač, ktorým Google oddeľuje použitie obsahu pre vybrané funkcie Gemini od použitia pre Google Search; AI Overviews a AI Mode vo Vyhľadávaní riadi Googlebot.
Prečo to marketér rieši
Každého z týchto botov viete povoliť alebo zablokovať v súbore robots.txt. Rozhodujte podľa konkrétneho účelu. Prístup pre vyhľadávanie môžete povoliť a tréningový crawler posúdiť samostatne.
Časté nedopatrenie: niektoré weby zdedili blokovanie AI botov z univerzálnej šablóny alebo bezpečnostného pluginu a ani o tom nevedia. Oplatí sa otvoriť si vlastný robots.txt a pozrieť, čo tam reálne je.
Zdroj: Anthropic, účel crawlerov, 10. 9. 2026.
Časté otázky
Mám blokovať GPTBot a ostatné AI crawlery?
Záleží od konkrétneho user-agenta. OAI-SearchBot súvisí s vyhľadávaním v ChatGPT, kým GPTBot s možným zlepšovaním modelov. Nastavte ich oddelene podľa cieľa.
Líši sa AI crawler od Googlebota?
Áno. Sú to samostatné roboty od OpenAI, Anthropic, Perplexity a ďalších. To, že vás vidí Googlebot, neznamená, že vás vidia aj oni - každý sa riadi vlastnými pravidlami v robots.txt.
Nezávislý audit
Zistite, čo vo vašom marketingu zlepšiť.
Podľa potrieb vášho webu vyberieme oblasť auditu: SEO, PPC, meranie, obsah alebo AI Search. Dostanete až 10 odporúčaní podľa dopadu a plán na 30 dní.