Rychlost webu je pro AI crawlery ještě důležitější

Zlatá éra, kdy se Google přizpůsoboval našim pomalým a špatně nakódovaným webům, je pryč. Google je stále trpělivý, ale desítky AI crawlerů hrají úplně jinou hru.

Tyto crawlery se chovají jinak než Googlebot. Pokud je váš web pomalý, čekat nebudou. Odejdou a váš obsah se nikdy nedostane do ChatGPT, Claude, Perplexity ani dalších AI nástrojů.

AI crawlery vám dají jednu šanci

Google strávil více než deset let budováním sofistikovaného systému crawlingu. Nejprve Googlebot stáhne vaše HTML. Poté se stránka vykreslí v prohlížeči, který skutečně spustí váš JavaScript.

Je trpělivý. Vrátí se. Dá vaší stránce druhou šanci.

AI crawlery nic z toho nedělají.

Když GPTBot nebo ClaudeBot navštíví vaši stránku, pošlou jeden jednoduchý požadavek a přečtou to, co se okamžitě vrátí. Žádné spouštění JavaScriptu. Žádné vykreslování. Jeden požadavek. Jedna šance. To je vše.

A ještě jedna věc, kterou stojí za to zopakovat. Většina AI nástrojů JavaScript vůbec nevykresluje. Váš obsah vykreslovaný na straně klienta je pro ně zcela neviditelný.

Proč? Odpověď je jednoduchá. Peníze. Vykreslování je nejdražší část celého procesu crawlingu.

Rychlost rozhoduje o tom, zda to vůbec zkusí

Pokud váš server odpovídá příliš dlouho, AI crawlery požadavek jednoduše opustí. Většina z nich má nastavený timeout pod 10 sekund. Někdy i méně. Čekání je stojí reálné peníze, protože tyto prostředky nemohou využít na nic jiného.

Nezáleží na tom, jak skvělý je váš obsah. Pokud je web pomalý, crawler čekat nebude.

Existuje také crawl budget. Pomalé odpovědi znamenají méně procrawlovaných stránek. Méně procrawlovaných stránek znamená méně obsahu v AI systémech. Méně obsahu znamená, že se neobjevíte ve výsledcích AI vyhledávání.

Čím pomalejší je váš web, tím neviditelnější jste.

Co byste měli skutečně udělat

Zkontrolujte serverové logy. Zjistěte, zda AI crawlery úspěšně přistupují k vašim stránkám, nebo dostávají chyby. Pokud velká část požadavků selhává, máte problém, který stojí za to řešit.

Zrychlete svůj web. Cílte na dobu odpovědi serveru pod 800 milisekund. Netestujte jen úvodní stránku, ale i hlubší stránky, jako jsou produktové stránky a stránky kategorií. Ty bývají často mnohem pomalejší kvůli náročnějším databázovým dotazům.

Ujistěte se, že je váš obsah viditelný bez JavaScriptu. To je ta nejdůležitější změna pro viditelnost v AI. Pokud váš web spoléhá na JavaScript pro zobrazení hlavního obsahu, AI crawlery vidí prázdnou stránku. Na ničem jiném nezáleží, dokud tohle neopravíte.

Nastavte správné cacheování. Cacheování znamená, že váš server ukládá předpřipravené verze stránek, místo aby je znovu sestavoval od nuly pro každého návštěvníka. Díky tomu jsou odpovědi rychlejší jak pro skutečné uživatele, tak pro crawlery.

Používejte CDN. Content Delivery Network ukládá kopie vašeho webu na serverech po celém světě. AI crawlery často běží ze Spojených států. Pokud je váš hosting v Evropě nebo Asii, CDN dramaticky zkrátí dobu, za kterou se crawlery k vašemu obsahu dostanou.

Neblokujte všechny AI crawlery. Existují dva typy. Trénovací crawlery sbírají data pro budování AI modelů. Vyhledávací crawlery stahují obsah ve chvíli, kdy se někdo skutečně zeptá v ChatGPT nebo Perplexity. Právě vyhledávací crawlery vám mohou přivádět návštěvníky na web. Pokud zablokujete všechny, přijdete o jakoukoli šanci objevit se ve výsledcích AI vyhledávání.

Základy opět vítězí

Nic z toho, co jsem zde doporučil, není revoluční. Rychlost stránky. Čisté HTML. Vykreslování na straně serveru. Správné cacheování. Solidní infrastruktura.

Jsou to základy, které byly důležité už od počátků SEO.

Nejlepší optimalizace pro AI crawlery je stejná optimalizace, kterou jste měli udělat už před lety.

Žádné speciální AI triky. Žádné drahé nástroje. Žádné magické soubory. Jen solidní technické základy.