Když se Cloudflare stane největším nepřítelem vašeho SEO

Cloudflare je jednou z nejoblíbenějších služeb pro zrychlení a ochranu webů. Přes jejich servery protéká více než 20 % veškerého internetového provozu.

Už jen to je důvod, proč má smysl mluvit o problémech, které dokáže způsobit, když ho používáte bez patřičných znalostí.

Jsem obrovský fanoušek Cloudflare. Nabízí jedny z nejlepších nástrojů na trhu a spoustu z nich úplně zdarma. Dnes se ale chci zaměřit na jednu konkrétní oblast: jejich CDN/proxy funkce.

Konkrétně se podívám na Bot Fight Mode, Super Bot Fight Mode a Under Attack Mode.

Tyto režimy vám mají pomáhat, jenže ne vždy to tak je

Bot Fight Mode a Super Bot Fight Mode jsou skvělé funkce, pokud je používáte správně. Zjednodušeně řečeno omezují škodlivé boty, kteří procházejí váš web. Boty, kteří vám například přetěžují infrastrukturu.

Bot Fight Mode je základní verze, kterou najdete v bezplatném plánu. Je to jednoduchý přepínač zapnuto/vypnuto bez možnosti konfigurace. Nemůžete přidat konkrétní boty na whitelist ani vytvářet výjimky.

Proto je riskantní nechávat ho zapnutý delší dobu. Může totiž zablokovat i legitimní provoz, který na svém webu opravdu chcete.

Super Bot Fight Mode je součástí placených plánů. Dává vám větší kontrolu. Můžete samostatně nastavit, jak má vaše doména reagovat na konkrétní typy provozu.

To znamená, že můžete povolit ověřené boty jako Googlebot a zároveň blokovat ty podezřelé. Samotný režim ale nelze přizpůsobit ani překonfigurovat přes vlastní pravidla WAF. Co udělat můžete, je vytvořit vlastní pravidla s akcí Skip, která Super Bot Fight Mode obejdou na konkrétních cestách, kde provoz botů chcete.

Posledním režimem, který stojí za zmínku, je Under Attack Mode. To je nejsilnější varianta. Je navržená pro DDoS útoky a každého návštěvníka před vstupem na web protáhne JavaScriptovou výzvou.

Podle vlastní dokumentace Cloudflare je Under Attack Mode navržený tak, aby crawlery vyhledávačů neblokoval (realita je často jiná). V praxi ale JavaScriptová mezistránka i tak dokáže dělat problémy botům, kteří JavaScript nespouštějí. A to je většina AI crawlerů.

Co si z toho odnést? I samotný Cloudflare přiznává, že tyto produkty mohou prověřovat i ten správný provoz. V praxi Bot Fight Mode a Super Bot Fight Mode často zasahují i do legitimních crawlerů, i když by neměly. Under Attack Mode má vestavěnou ochranu pro vyhledávače, jenže ne vždy funguje správně a stejně by se měl zapínat jen během probíhajícího útoku. Rozhodně ho nenechávat zapnutý natrvalo.

Vymazáni z Googlu přes noc

Když tyto režimy necháte zapnuté nebo špatně nastavené příliš dlouho, koledujete si o vážný problém pro celé své podnikání.

Jakmile Cloudflare začne blokovat nebo prověřovat požadavky od Googlu, začne pomalu deindexovat vaše stránky jednu po druhé. Totéž platí pro crawlery dalších vyhledávačů a AI nástrojů.

Když Googlebotu jednou vrátíte chybový stavový kód, není to žádná tragédie. Google si váš web zkontroluje znovu později.

Jakmile ale tyto požadavky blokujete delší dobu, Google začne úplně odstraňovat URL ze svého indexu. Zároveň vám sníží crawl budget. Google bude váš web napříště navštěvovat méně často.

Čím pomalejší odezva, tím neviditelnější se stáváte.

Obnova a skutečný problém

Z mé zkušenosti obnova obvykle nebývá tím největším oříškem. Plně se z takové chyby vzpamatovat trvá zpravidla až šest měsíců. Často to ale jde výrazně rychleji.

Hodně záleží na tom, jak dlouho problém s blokováním zůstal v produkci.

Skutečný problém je finanční.

Vše se odvíjí od toho, jak velkou část tržeb vaše firma generuje z organického provozu. Pokud organika přináší nízké jednotky procent vašich příjmů, vaše firma ránu nejspíš ustojí.

Ale pro SaaS firmy nebo e-shopy, kde organika může klidně tvořit přes 50 % tržeb, může být dopad zničující.

Monitoring je zásadní

Před situacemi tohoto typu vás může zachránit proaktivní monitoring technického SEO. Máte tři možnosti.

První, a zároveň nejhorší, je proaktivní monitoring úplně ignorovat. Smíříte se s vyšším rizikem a doufáte, že se nic nepokazí.

Druhou je ruční monitoring. Každý den otevřete Google Search Console a kontrolujete výkon, indexaci a data o crawlování. Funguje to, ale chce to disciplínu.

Třetí, a nejjednodušší, je využít automatizované služby, které fungují jako „pojistka“. Okamžitě vás upozorní, když se s vaším webem děje něco neobvyklého. Zakročíte dřív, než se z malého problému stane velká krize.

Jedním z nástrojů, který jsem pro tento typ monitoringu technického SEO sám vyvinul, je VitalSentinel. Ale i Ahrefs a další jsou docela dobrá řešení.

Začněte s monitoringem dřív, než se objeví první problém.