Cloudflare a Googlebot: ako overiť prístup po zmene AI pravidiel

Web sa vám otvorí. Dostane sa naň aj Googlebot?

Po zmene pravidiel pre roboty by som začal touto otázkou. Funkčný web v prehliadači ešte neukazuje, akú odpoveď dostáva vyhľadávací robot. Ak používate Cloudflare a blokovanie AI tréningu, oplatí sa preveriť konkrétne nastavenie aj požiadavky robotov, najmä Googlebota.

Cloudflare oznámil na 15. september 2026 zmenu posudzovania robotov, ktoré používajú obsah na vyhľadávanie aj tréning. Dátum už uplynul, no z oznámenia nemožno odvodiť, že váš web je zablokovaný. To treba zistiť v účte a v záznamoch požiadaviek. Oznámenie Cloudflare

Dve zmeny, ktoré sa týkajú odlišných situácií

Prvá zmena sa týka predvolených nastavení nových domén pridávaných do Cloudflare. Na stránkach zobrazujúcich reklamu majú byť kategórie Training a Agent blokované, zatiaľ čo Search zostáva povolený.

Druhá sa týka viacúčelových robotov. Ak robot patrí do Search aj Training, Cloudflare naň má podľa oznámenia od 15. septembra uplatňovať najprísnejšie príslušné pravidlo. Vo svojom oznámení medzi takýchto robotov zaraďuje Googlebot, BingBot a Applebot. Blokovanie Training tak môže zasiahnuť aj ich prístup pre vyhľadávanie. Oznámenie zahŕňa aj pôvodnú voľbu "Block AI bots". Rozsah a termín zmien

Podmienku "na stránkach s reklamou" preto neprenášajte na každé existujúce nastavenie. Cloudflare ponúka blokovanie na všetkých stránkach, iba na stránkach s reklamou alebo povolenie danej kategórie. Rozhoduje zvolený rozsah. Dokumentácia AI bot policies

Google-Extended nie je blokovanie Googlebota

Google-Extended je riadiaci token v robots.txt. Google ním umožňuje upraviť použitie obsahu pre tréning budúcich modelov Gemini a pre vybrané funkcie, ktoré pri odpovedi využívajú obsah z vyhľadávania. Nemá vlastný HTTP user-agent a podľa Googlu neovplyvňuje zaradenie webu ani hodnotenie v Google Search. Dokumentácia Google-Extended

Pravidlo v robots.txt a odmietnutie požiadavky v Cloudflare sú odlišné zásahy. Ak Cloudflare nepustí Googlebot k stránke, samotná úprava tokenu Google-Extended túto prekážku neodstráni. Rovnako z názvu kategórie Training v Cloudflare neodvodzujte, že Google-Extended začal riadiť indexáciu.

Čo skontrolovať v účte a na webe

1. Zapíšte si nastavenie aj jeho rozsah

V Cloudflare otvorte Security Settings > Configure AI bot policies. Zaznamenajte voľby pre Search, Agent a Training, prípadne používanie staršej voľby Block AI bots. Uložte aj pôvodný stav a čas kontroly, aby ste vedeli porovnať správanie pred úpravou a po nej. Cestu k nastaveniam uvádza Cloudflare v dokumentácii.

Samotný údaj Search = Allow nemusí pri viacúčelovom robotovi stačiť. Preverte aj pravidlo Training a prípadné ďalšie bezpečnostné pravidlo, ktoré požiadavku odmietlo. Nastavenia posudzujte spolu so správcom webu, ktorý vie identifikovať príčinu konkrétneho blokovania.

2. Nájdite konkrétnu odmietnutú požiadavku

Odporúčam začať dôležitou produktovou stránkou, kategóriou alebo stránkou služby. V dostupných záznamoch Cloudflare a servera hľadajte jej URL, čas požiadavky, identitu robota, výsledný stav a pravidlo, ktoré zasiahlo. Dostupnosť a podrobnosť záznamov sa môžu líšiť podľa používaného produktu a cenového plánu.

Reťazec Googlebot v user-agente nie je dôkaz pôvodu. Google odporúča overenie IP adresy voči publikovaným rozsahom alebo kontrolu spätného a následne dopredného DNS prekladu. Preto ani vlastný test s ručne nastaveným user-agentom Googlebot nedokazuje, čo dostáva skutočný robot. Ako overiť požiadavky Googlu

3. Porovnajte živý test s posledným prechádzaním

V Search Console použite kontrolu konkrétnej URL. Pozrite si informácie o poslednom prechádzaní a spustite aj živý test. Ide o dve odlišné informácie: uložený stav môže pochádzať spred zmeny, živý test preveruje aktuálny prístup nástroja Google-InspectionTool.

Úspešný živý test je užitočný, ale nenahrádza záznamy bežného Googlebota a negarantuje indexovanie. Pri kontrole preto kombinujte výsledok testu so skutočnými požiadavkami robota. Čo overuje kontrola URL

4. Opravte potvrdenú príčinu a zopakujte kontrolu

Ak nájdete pravidlo odmietajúce požadovaný vyhľadávací robot, upravte konkrétnu politiku podľa cieľa webu. Plošné vypnutie ochrany by som nepoužil ako prvý krok. So správcom si určite, ktorý prístup chcete zachovať a ktoré použitie obsahu chcete obmedziť.

Po úprave zaznamenajte čas, zopakujte test URL a sledujte ďalšie overené požiadavky Googlebota. Úspešná kontrola jednej adresy nevypovedá o všetkých šablónach webu. Skúste preto aj ďalší typ stránky, najmä ak má odlišné pravidlá alebo zobrazuje reklamu.

Ako vyhodnotiť tri bežné výsledky

• Potvrdený Googlebot dostáva odmietnutie a vidíte zasahujúce pravidlo: máte konkrétny technický problém na opravu. Uložte požiadavku aj pôvodnú konfiguráciu.
• Živý test prešiel, ale chýbajú nové záznamy Googlebota: máte potvrdený výsledok testovacieho nástroja. Prístup bežného robota zostáva na overenie.
• Googlebot načíta obsah, ale URL nie je indexovaná: pokračujte diagnostikou indexácie. Samotná dostupnosť stránky nezaručuje zaradenie do výsledkov.

Google medzi technickými podmienkami uvádza prístup Googlebota, úspešnú HTTP odpoveď a indexovateľný obsah. Ani splnenie týchto podmienok nie je zárukou indexácie. Technické požiadavky Google Search

Čo by som preveril ako prvé

Vybral by som jednu obchodne dôležitú URL a spojil tri údaje: aktuálne nastavenie Cloudflare, overenú požiadavku Googlebota a výsledok kontroly v Search Console. Až potom by som rozhodol, ktoré pravidlo upraviť. Pokles návštevnosti bez týchto podkladov by som automaticky nepripísal septembrovej zmene.

Širšie rozhodovanie o prístupe jednotlivých robotov rozoberám v článku Pustiť AI botov na web alebo nie?. Pri tejto kontrole si najprv overte, či zamýšľané obmedzenie tréningu nezasiahlo aj vyhľadávanie.