Chyba 499 vám potichu ničí viditelnost v AI

Pokaždé, když to ChatGPT na některé z vašich stránek vzdá, zanechá stopu v server logách. Skoro nikdo ji nehledá.

Přitom je to možná nejlepší signál, který máte, jestli AI nástroje váš obsah vůbec dokážou přečíst.

Co chyba 499 vlastně je

Když si někdo vyžádá stránku, váš server začne skládat odpověď. Pokud návštěvník zavře spojení dřív, než to server stihne dokončit, nginx zaloguje tento opuštěný požadavek jako 499 - "Client Closed Request".

Není to standardní HTTP kód. Oficiální specifikace HTTP tento případ vůbec neřeší.

Nginx si vymyslel vlastní kód, aby měl co zapsat do log souboru.

To je důležité ze dvou důvodů.

Zaprvé, Apache chyby 499 ve výchozím nastavení neloguje. Pokud běžíte na Apache, je pro vás tento problém neviditelný. Bot to stejně vzdá. Vy to jen nikdy neuvidíte.

Zadruhé, cokoliv stojí za Cloudflare, Fastly nebo jakýmkoliv CDN postaveným na nginx, loguje chyby 499 právě teď. Ať už jste se na ně někdy dívali, nebo ne.

Roky byly chyby 499 jen okrajovým signálem. Pár za den. Obvykle netrpěliví lidé na vratkém mobilním připojení, kteří opustili pomalou stránku.

Stálo za to to sledovat, protože to znamenalo, že váš web je nejspíš pomalejší, než by měl být. Ale o žádnou krizi nešlo.

To se změnilo, když AI nástroje začaly stahovat stránky v reálném čase.

Proč AI nástroje spouštějí tolik chyb 499

Když se ChatGPT na něco zeptáte, vyrazí si přečíst pár zdrojů, než vám odpoví. Vy čekáte. A OpenAI ví, že čekáte.

Takže bot, který obsah stahuje - ChatGPT-User - má brutálně krátké okno trpělivosti.

Pokud vaše stránka nezačne odpovídat dost rychle, zavěsí. A přesune se na další zdroj v pořadí.

To zavěšení se ve vašich logách objeví jako chyba 499.

Na většině webů, se kterými jsem pracoval, ChatGPT-User dominuje chybám 499 s velkým náskokem.

Boti od Claude a Perplexity, které spouští sám uživatel, se chovají stejně. Jen v menších objemech.

Proč je to horší než běžně pomalá stránka

Pomalá stránka, která se načte za 4 sekundy, je pro lidi otravná. Ale obvykle počkají. Google ji procrawluje, vyrenderuje a zaindexuje. Můžete dopadnout hůř, ale nezmizíte.

Chyba 499 od AI crawleru je jiná, a to ve dvou ohledech.

Bot si skoro určitě neodnesl nic použitelného. Timeout vyprší dřív, než váš server vůbec začne posílat odpověď. Žádné HTML, žádné hlavičky, nic, s čím by AI mohla pracovat.

A nezkouší to znovu. Stačí jednou minout okno a ta stránka je z odpovědi venku. Citaci dostane místo ní další stránka v pořadí.

Žádná AI firma nikdy nezveřejnila svou přesnou hranici timeoutu. Obecné doporučení zní udržet time to first byte pod 800 milisekund. Crawlery snesou o něco víc, ale nikdo neví přesně kolik.

Rychleji je vždycky lépe.

Jak najít chyby 499 ve vlastních logách

Nejdřív potřebujete logy. Pokud jste na managed hostingu, obvykle se dají stáhnout z dashboardu pod položkou „Logs“, „Analytics“ nebo „Tools“. Pokud provozujete vlastní server, nginx logy obvykle najdete v /var/log/nginx/access.log.

Pokud vám z toho nic není povědomé, jen požádejte svého vývojáře o „posledních 30 dní nginx access logů filtrovaných na status kód 499 a user-agenty AI botů“. Tahle formulace obvykle zabere.

URL, které se ve výsledku objevují nejčastěji, jsou vaše pomalé stránky. Právě ty teď způsobují chyby 499.

Co s tím tedy dělat

Oprava není složitá. Ale není ani zadarmo.

Pomalé stránky z toho seznamu musí začít odpovídat rychleji. TTFB pod jednu sekundu. Ideálně pod 500 milisekund.

Postupy nejsou nic nového: full-page caching, CDN s agresivním edge cachingem, rychlejší databázové dotazy, méně pluginů, které něco počítají při každém jednotlivém požadavku.

Standardní optimalizace výkonu. Jen aplikovaná s novou naléhavostí.

Jedné věci se ale aktivně vyhněte. V nginx existuje nastavení proxy_ignore_client_abort. Když ho zapnete, přestanou se chyby 499 vůbec logovat. Některé návody typu „opravte si chyby 499“ ho doporučují jako řešení.

Nedělejte to. Nic to neopraví. Bot to stejně vzdá. Citaci stejně ztratíte. Jen už neuvidíte důkaz.

Základy vítězí znovu

Stejný závěr, zase. Žádný nový formát souboru. Žádný kouzelný meta tag. Jen rychlý server, rozumné CDN a HTML, které existuje dřív, než se spustí JavaScript.

Nový je jen ten trest. Google byl trpělivý přes deset let. AI crawlery nejsou.

Jeden pokus. Jedna šance. Žádná repríza.

Chyba 499 si tak zaslouží trvalé místo na vašem monitorovacím dashboardu. Je to nejbližší, co od AI crawlerů dostanete - jejich vlastními slovy: „zkusili jsme přečíst vaši stránku a vzdali jsme to.“

To není šum, který byste měli odfiltrovat. To je seznam stránek, které už teď přicházejí o citace, o nichž jste ani nevěděli.