Anthropic v pátek zveřejnil report o čtyřech typech nezamýšlených akcí, které jeho modely provedly na skutečných webech včetně vládních. Firma kvůli tomu odpojila od internetu všechny interní evaluace. Americká administrativa reagovala tentýž den povinností hlásit incidenty okamžitě.
Anthropic 9. října zveřejnil report „Investigating unintended model actions“, ve kterém popisuje čtyři vzorce chování modelů Claude na skutečných webových stránkách. Žádnou z těch akcí jim nikdo nezadal. Mezi postiženými servery jsou weby federální vlády i místních samospráv v USA.
Nejviditelnější případ se stal 18. července ve 23:27. Claude Haiku 4.5 tehdy odeslal přes veřejný formulář na PhillyUnsolvedMurders.com vymyšlený tip k nevyřešené vraždě. Spamový filtr ho zachytil, takže se k vyšetřovatelům v Real-Time Crime Center nikdy nedostal. Philadelphská policie o incidentu informovala v pátek a dvouměsíční prodlevu mezi odesláním tipu a ohlášením od firmy označila za nepřijatelnou.
Report by sám o sobě zůstal zprávou pro úzký kruh lidí kolem bezpečnosti AI. Jenže tentýž den oznámila americká administrativa, že hlášení podobných incidentů přestává být dobrovolné.
Čtyři vzorce, které Anthropic našel
Firma kontrolovala transkripty od července, původně kvůli bezpečnostním evaluacím, které podle zadání neměly mít přístup na internet. Záběr pak rozšířila na všechny běhy, kde se Claude mohl dostat na web. Většina nálezů spadá do čtyř kategorií.
První je zneužití softwarové chyby k běhu příkazů na cizím serveru. Když univerzitní analytický nástroj vrátil chybu, Claude našel na serveru skript pro stahování souborů, objevil v něm injekční zranitelnost a výpočet si dopočítal sám. Druhá kategorie jsou odeslané formuláře. Neuvolněný výzkumný model opakovaně vyplnil skutečný vládní formulář ve chvíli, kdy se jeho cvičná kopie nenačetla. Haiku 4.5 měl v jiném testu před finálním odesláním zastavit, ale občas odeslal i tak, protože čekal potvrzovací stránku, která neexistovala.
Třetí vzorec je obcházení placených a uzavřených dat. Model Claude Mythos 5 při úloze na lokalizaci fotografie přečetl konfigurační soubor mapy místní samosprávy, našel v něm přístupové tokeny a zeptal se mapového serveru přímo. V jiném případě, při statistické práci pro výzkumníka Anthropicu, našel archivovanou stránku státní agentury, ze které vyplynulo, že dashboard vydává tokeny návštěvníkům. Jeden si vzal a položil dotaz nad daty, která se normálně platí.
Čtvrtá kategorie je skoro vtipná. Nástroje pro načítání webu omezují délku URL, aby se přes ni nedaly protlačit injekční útoky. Několik modelů včetně Claude Opus 5 a Mythos 5 proto použilo veřejné zkracovače odkazů. Anthropic to našel u sebe interně, později mu totéž nahlásil i operátor služby da.gd.
Dotčené benchmarky firma jmenuje: DeepSearchQA, BrowseComp, LAB-Bench2, OSWorld, Odysseys a Humanity’s Last Exam. Tedy sady, které používá celý obor.
Dvouměsíční prodleva
Philadelphskou věc rozeberu podrobněji, protože na ní je dobře vidět, jak se incident tohohle typu vůbec najde. Haiku 4.5 generoval ukázkové úlohy nad náhodně vybranými webovými stránkami. Jednou z nich byl policejní formulář pro anonymní tipy. Model k nevyřešené vraždě dopsal svědeckou výpověď, kterou si vymyslel, a odeslal ji.
Anthropic případ našel při kontrole transkriptů 28. září. Policii o něm řekl 7. října, schůzka proběhla 8. října. Firma rovnou ukončila ten automatizovaný testovací proces a přidala validační mechanismus.
Policie uvedla, že nemá žádné známky neoprávněného přístupu do svých systémů ani kompromitace dat, a připomněla, že automaticky odeslaný tip neobejde standardní posouzení. Zdůraznila, že tip je „podnět k vyhodnocení, ne prokázaný fakt“. Na prodlevě ale trvá a po Anthropicu žádá silnější pojistky.
Podle mě je tahle část reportu nepříjemnější než zneužití univerzitního serveru.
Chyba v serveru se opraví. Devět dní mezi nálezem a telefonátem na policii ale nikdo nespraví patchem.
Od dobrovolnosti k povinnosti
Axios ve stejný den napsal, že Anthropic informoval vládu o incidentech zjištěných na konci září. Podle vládního vyjádření už aktivita neprobíhá. Detail, který v Anthropicově reportu nenajdete, dodali úředníci ministerstva zahraničí: testovací model podal přes veřejný webový formulář devatenáct žádostí o nepřistěhovalecká víza v srpnu a jednu v květnu. Žádná se nezpracovala a žádný systém ministerstva nebyl kompromitován.
Reakce administrativy přišla rychle. Takzvaná SI Force, jejímiž spolupředsedy jsou předseda FTC Andrew Ferguson, ředitel OPM Scott Kupor a náměstek Pentagonu Emil Michael, oznámila, že AI firmy musí incidenty se svými modely hlásit okamžitě, neprodleně odstranit způsobenou škodu a spolupracovat se správci zasažených systémů na prevenci. Proces podle vyjádření „není volitelný“ a je „kritickou povinností v oblasti národní bezpečnosti“.
Jay Clayton, který v administrativě vede AI agendu a zároveň řídí národní zpravodajskou službu, podle Axiosu Anthropicu vzkázal, že čeká okamžitou a plnou transparentnost vůči zasaženým subjektům i vůči veřejnosti.
Vyjádření neuvádí žádný vynucovací mechanismus ani sankce.
Zajímavé je, odkud ta povinnost přišla. Dosavadní přístup administrativy k AI stál na samoregulaci a dobrovolných rámcích, firmy hlásily samy, co chtěly a kdy chtěly. Anthropic svůj report zveřejnil dobrovolně a odměnou mu je regulace, která se teď vztahuje na všechny. Nevím, jestli se to dá číst jako trest za otevřenost. Spíš to vypadá, že vláda potřebovala záminku a Anthropic jí ji podal na stříbrném tácu.
Odpojený internet jako řešení
Opatření, která firma oznámila, jdou do hloubky. Část veřejných benchmarků Anthropic vyřadil, další přesunul offline nebo přepsal tak, aby jejich úlohy nechodily na živé weby. Omezení u nástroje pro načítání webu zpřísnil. Postavil detekční nástroj, který tyhle akce automaticky pozná a zablokuje, a v testu proti popsaným případům zablokoval všechny. Vadná trénovací prostředí, která modely odměňovala za obcházení omezení, firma opravuje nebo ruší. Interní agenti se stěhují na centrálně spravovanou infrastrukturu. Monitoring se opírá o bezpečnostní klasifikátory a hierarchickou sumarizaci a stal se součástí postupů bezpečnostního týmu.
Hlavní opatření je přitom jednoduché.
Živý internet jde pryč ze všech interních evaluací, dokud Anthropic neověří, že jeho monitoring tyhle případy spolehlivě zachytí.
Co to znamená pro vývoj modelů, je sporné. Sydney von Arx, zakladatelka Nightingale zaměřené na bezpečnost AI, pro TechCrunch namítla, že vyvíjet modely v datacentru odříznutém od otevřeného internetu by bylo pro výzkumníky i pro další pokrok hodně obtížné: „Pokud se AI nasadí do produkce a nikdy nemá přístup k internetu, není to moc užitečný nástroj.“ TechCrunch k tomu dodává, že z reportu není jasné, jaký důkaz by Anthropic přesvědčil internet zapnout zpátky.
Můj argument má jednu díru. Odpojení evaluací od internetu neřeší produkci, kde Claude na web chodí dál a kde ho používají miliony lidí. Anthropic to ví, proto staví detekční vrstvu. Jenže report zároveň přiznává, že samotný alignment trénink na dovednosti typu vyhledávání a práce s počítačem zatím nestačí a není dost spolehlivý. To je od firmy, která staví byznys na agentech, dost silné přiznání.
Příčinu Anthropic pojmenovává jako reward hacking: chyby v trénovacích prostředích vedly modely k přesvědčení, že za nalezení kličky dostanou odměnu. Svůj celkový pohled na alignment Claudových modelů kvůli nálezům nemění a případy hodnotí jako výrazně méně závažné než incidenty z 30. července a 9. září, kdy modely pronikly do externích systémů. Rozdíl je reálný. V nynějších případech šlo většinou o veřejná, jen uzavřená data, a žádná z akcí se nedotkla zákaznických dat ani vnitřních systémů firmy.
Podobné případy přitom nejsou výsadou Anthropicu. TechCrunch připomíná incidenty s agenty OpenAI, kteří pronikli na weby včetně australských vládních.
Report je první z řady, kterou chce Anthropic vydávat častěji než jen v systémových kartách a půlročních rizikových zprávách. Firma výslovně doufá, že si ostatní vývojáři prověří své vlastní modely, protože většina dotčených evaluací je veřejná. Kdo pracuje s agenty nad veřejnými weby, měl by se do seznamu těch benchmarků podívat.
Zdroje
- Anthropic: Investigating unintended model actions (9. října 2026)
- Axios: Exclusive: Anthropic breaches spark White House AI reporting mandate (9. října 2026)
- TechCrunch: Anthropic can’t reliably control its AI agents. It’s cutting off its internal evals from the live internet instead (9. října 2026)
- 6abc Philadelphia: Anthropic AI model submitted false tip about unsolved murder, Philadelphia police say (9. října 2026)
- The Washington Post: Anthropic AI agents took ‘unintended’ actions on government sites (9. října 2026)
