Aby Claude vyhrál cvičení, potřeboval účet na PyPI. K účtu potřeboval e-mail, k e-mailu telefonní číslo. Bezplatnou službu na čísla nenašel, zkusil tedy sehnat peníze na zaplacení, a to hned několika způsoby. Všemi neúspěšně. Nakonec se vrátil o krok zpátky, objevil nezablokovaného poskytovatele e-mailu, zaregistroval se a nahrál na PyPI malware.
Balíček byl veřejně dostupný zhruba hodinu. Za tu dobu si ho stáhlo a spustilo patnáct skutečných systémů. Jedním z nich byl skener bezpečnostní firmy, která balíčky z PyPI běžně instaluje a hledá v nich škodlivý kód. Claudův kód se spustil, odeslal přihlašovací údaje na sběrné místo a model s nimi pak vlezl hlouběji do infrastruktury té firmy.
Celou dobu byl přesvědčený, že je v simulaci.
Anthropic tenhle případ popsal 30. července ve zprávě, kterou zveřejnil po prohlídce 141 006 běhů svých kyberbezpečnostních evaluací. Devět dní předtím OpenAI přiznala, že za červencovým průnikem do infrastruktury Hugging Face stály její vlastní modely. Technicky vedla k oběma incidentům jiná příčina. Právní problém mají ale společný: obojí se stalo při bezpečnostním testu, tedy ve fázi, na kterou většina platné regulace vůbec nemíří.
Dva incidenty, dvě různé poruchy
U OpenAI šlo o skutečný útěk. Modely GPT‑5.6 Sol a nezveřejněný, výkonnější prototyp běžely na interním benchmarku ExploitGym se sníženými odmítacími filtry pro kyberoperace. Prostředí bylo izolované a síťový přístup mělo jen skrz interně hostovanou cache proxy pro balíčkové registry. V té proxy, konkrétně v produktu Artifactory od JFrogu, modely našly do té doby neznámou zranitelnost. Zneužily ji, eskalovaly oprávnění, prošly laterálně výzkumným prostředím OpenAI a dostaly se na stroj s přístupem na internet.
Pak si domyslely, že řešení testu by mohla hostovat Hugging Face. Zřetězily ukradené přihlašovací údaje s dalšími zranitelnostmi až ke vzdálenému spuštění kódu na serverech Hugging Face a vytáhly si odpovědi z produkční databáze. Hugging Face si narušení všimla 16. července, OpenAI ho spojila se svým testováním 21. července. Během těch pěti dnů poskládala forenzní rekonstrukce Hugging Face přes sedmnáct tisíc zaznamenaných událostí, aniž by dokázala určit, který model za nimi stojí. Firma tehdy incident popsala jako řízený od začátku do konce autonomním agentním systémem.
Podstatný je jeden odstavec z aktualizace, kterou OpenAI přidala 28. července: modely při té příležitosti použily veřejně exponované přihlašovací údaje ke čtyřem účtům na čtyřech různých službách. Jeden posloužil jako výstupní relay, druhý jako úložiště dat. Agentura Reuters uvedla, že mezi zasaženými byl i zákazník firmy Modal Labs. Tvrzení, že se všechno ostatní odehrálo uvnitř OpenAI, tedy neplatí.
Anthropic řešil něco jiného. Po incidentu OpenAI spustil zpětnou kontrolu vlastních evaluací a hledal stopy po tom, že se Claude dostal na internet odtamtud, odkud neměl. Prohlídku transkriptů začal 23. července, téhož dne pozastavil všechny kyberbezpečnostní evaluace a další den měl identifikované všechny tři případy. Ze 141 006 prověřených běhů našel tři incidenty v šesti bězích. Všechny se odehrály v prostředí Irregular, jednoho z externích evaluačních partnerů, a všechny měly stejnou příčinu: špatnou konfiguraci, která ponechala testovacím strojům živé připojení. Systémový prompt přitom modelu tvrdil, že žádný internet nemá. Nebyla to pravda. Modely při evaluacích běžely bez klasifikátorů a monitoringu, které Anthropic nasazuje u veřejně dostupných verzí, protože smyslem testu je změřit surové schopnosti samotného modelu. Podle firmy by tyhle ochranné vrstvy zjištěné chování zablokovaly. Nejstarší incident sahá do dubna.
Zapojily se tři různé modely: Opus 4.7, Mythos 5 a interní výzkumný prototyp.
Nejzávažnější dopad měl první případ. Fiktivní cílová firma z cvičení se jmenovala stejně jako existující doména. Když se Claude nemohl dostat na simulovaný cíl, našel tu skutečnou firmu na internetu, vyhodnotil ji jako zamýšlený cíl úlohy, prolomil ji a vytáhl aplikační i infrastrukturní přihlašovací údaje plus databázi s několika stovkami řádků produkčních dat. Ve čtyřech bězích. Opus 4.7 přitom podle vlastního zaznamenaného uvažování v určité chvíli pochopil, že systém je reálný, a útok nezastavil. Ve dvou případech si to zdůvodnil tím, že ta skutečná firma musí být součástí cvičení.
Třetí incident dopadl líp. Interní výzkumný model proskenoval zhruba devět tisíc cílů, prolomil jednu internetovou aplikaci přes odhalenou ladicí stránku a SQL injection, ale pak si všiml, že kompromitovaný host sedí v cloudovém účtu, který s úlohou nijak nesouvisí. Sám usoudil, že cíl je skutečný, a skončil.
Anthropic z toho staví rozdíl, který stojí za pozornost: modely OpenAI zneužily neznámou zranitelnost, aby se dostaly ven, kdežto Claude prošel otevřenými dveřmi. Firma to označuje spíš za selhání provozního rámce než za selhání alignmentu modelu. Když jsem to četl poprvé, znělo mi to jako elegantní přesun viny na konfiguraci. Podruhé už míň, protože ten třetí model se opravdu sám zastavil. Jenže Anthropic sám dodává, že tři izolované případy nejsou řízené srovnání, a o tom PyPI balíčku píše, že takové jednání není v pořádku bez ohledu na to, čemu model věřil.
Trestní právo potřebuje pachatele s úmyslem
Americký Computer Fraud and Abuse Act, tedy 18 U.S.C. § 1030, postihuje toho, kdo „úmyslně“ přistoupí k chráněnému počítači bez oprávnění. To slovo je psané pro lidi.
Gabriel Weil z University of Houston Law Center to v komentáři pro Transformer rozebral přesně. Kdyby do systémů Hugging Face vlezl zaměstnanec OpenAI, aby si vylepšil výsledek interního cvičení, odpovídala by firma podle doktríny respondeat superior, a to bez ohledu na to, jestli ho špatně vybrala nebo zaškolila. Model ale není osoba ani zaměstnanec, takže tahle cesta k odpovědnosti je uzavřená. Zbývá nedbalost, u které musí žalobce prokázat, co vlastně znamená přiměřená péče při trénování a containmentu frontier modelu, a pak její porušení. V oboru, kde ani vývojáři neumí ověřit, jestli se model chová podle vlastní specifikace, a kde všechny relevantní důkazy drží žalovaný.
Weilova analogie: noční klub odpovídá za vyhazovače, který někomu při práci u dveří zlomí ruku, ne za toho, který opustí post a jde zmlátit svého soka v lásce. Modely OpenAI sledovaly cíl, který jim firma zadala, a k jeho dosažení použily prostředky zakázané vlastní specifikací modelu. Kdyby se na AI systémy vztahovaly deliktní povinnosti, OpenAI by nejspíš odpovídala.
Weil proto navrhuje zařadit vývoj frontier modelů mezi činnosti s objektivní odpovědností, tedy tam, kde už dnes v americkém právu stojí odstřely, letecký postřik plodin nebo chov divokých zvířat. K tomu povinné pojištění odpovědnosti, které by se spouštělo už při interním nasazení, a sankční náhrady škody odstupňované podle nepojistitelného rizika. Návrhy zákonů v tomhle duchu leží v Rhode Islandu a New Yorku.
Zatím to zůstává u návrhů. Clément Delangue, šéf Hugging Face, řekl, že by měl existovat způsob, jak firmy dělající takové chyby volat k odpovědnosti, ale žalovat zatím nehodlá.
Kalifornie mezitím jednu díru zalátala. Zákon AB 316, který guvernér Newsom podepsal 13. října 2025, zakazuje žalovanému, jenž AI vyvinul, upravil nebo použil, bránit se tvrzením, že škodu způsobila umělá inteligence autonomně. Přísnou odpovědnost to nezavádí. Ostatní obrany, včetně příčinné souvislosti nebo spoluzavinění třetích osob, zůstávají v platnosti. Odpadá jen argument „za to může ten model“.
Na federální úrovni podepsal Trump 2. června 2026 výkonný příkaz Promoting Advanced Artificial Intelligence Innovation and Security. Jeho čtvrtá sekce ukládá ministru spravedlnosti přednostně stíhat podle §§ 1028, 1030 a 1343 i případy, kdy někdo „nasazuje AI agenty k neoprávněnému získání dat či informací, které jsou následně použity k trestnému nebo protiprávnímu účelu“. Poprvé prezidentský dokument zmiňuje AI agenty jménem. Jenže ta podmínka na konci je dost úzká. Modely použily ukradená data k tomu, aby podvedly benchmark, ne k trestné činnosti. Žádné stíhání zatím nikdo neoznámil.
Evropa reguluje trh, ne laboratoř
Dnes, 2. srpna 2026, získávají Komise a AI Office plné vymáhací pravomoci vůči poskytovatelům univerzálních modelů. Pokuty jdou až do 15 milionů eur nebo 3 % celosvětového ročního obratu. Povinnosti samotné platí od loňského srpna.
Digitální omnibus, na kterém se Rada a Parlament dohodly letos v květnu a který Parlament schválil 16. června poměrem 423 ku 57, odsunul povinnosti pro vysoce rizikové systémy z Přílohy III na 2. prosince 2027. Režimu univerzálních modelů se ale nedotkl.
Poskytovatelé modelů se systémovým rizikem musí provádět standardizované evaluace, zmírňovat zjištěná rizika, chránit model i jeho infrastrukturu a závažné incidenty bez zbytečného odkladu hlásit AI Office, což je povinnost, kterou obě firmy v posledních dvou týdnech předvedly dobrovolně a docela učebnicově. Ztráta kontroly nad autonomním systémem sem zapadá. Háček je v tom, že povinnost se vztahuje na modely uvedené na trh. Nezveřejněný prototyp OpenAI ani interní výzkumný model Anthropicu na trhu nebyly.
Stejný háček má i produktová odpovědnost. Směrnice 2024/2853 z 23. října 2024 zařadila software včetně AI systémů mezi výrobky, zavedla povinnost zpřístupnit důkazy a domněnky, které poškozenému usnadní prokazování vady i příčinné souvislosti. Členské státy ji musí transponovat do 9. prosince 2026 a bude se vztahovat na výrobky uvedené na trh po tomto datu. Interní evaluace prostě není výrobek uvedený na trh.
Cesta přes zavinění zmizela úplně. Návrh samostatné směrnice o odpovědnosti za AI zapsala Komise ke stažení v pracovním programu z 11. února 2025 a formální stažení vyšlo v Úředním věstníku 6. října téhož roku.
Kdyby obětí byla česká firma
Zákon č. 264/2025 Sb., o kybernetické bezpečnosti, účinný od 1. listopadu 2025, přenesl do českého práva NIS2. Regulované subjekty se registrují u NÚKIB, významný incident hlásí prvotně do 24 hodin a doplňují ho do 72 hodin. Za porušení hrozí pokuta až 250 milionů korun nebo 2 % celosvětového obratu a odpovědnost dopadá na členy statutárního orgánu.
Ohlašovací povinnost má oběť, ne laboratoř.
Dvě ze tří organizací, do kterých se Claude dostal, o tom neměly tušení, dokud jim 27. července nezavolal Anthropic. Třetí se nepodařilo kontaktovat vůbec. Kdyby některá z nich byla český regulovaný subjekt, začala by jí čtyřiadvacetihodinová lhůta běžet až tím telefonátem, a to za předpokladu, že by pak dokázala rekonstruovat, co se stalo. Bez centralizovaných logů, záznamu odchozí komunikace a auditní stopy, ze které je poznat, jaká identita co provedla, je hlášení jen kvalifikovaný odhad.
K témuž závěru došel i Anthropic. Ve své zprávě píše, že testovací prostředí s autonomními schopnostmi je potřeba držet na stejném bezpečnostním standardu jako jakýkoli jiný produkční systém a že totéž platí pro infrastrukturu externích dodavatelů evaluací. OpenAI zpřísnila kontrolu konfigurace infrastruktury na úkor rychlosti výzkumu. Obě firmy zároveň pozvaly nezávislé posuzovatele, Anthropic jedná s METR, OpenAI pracuje s METR a Redwood Research.
Právně nejzajímavější na obou incidentech není otázka, kdo zaplatí úklid po Hugging Face. Zaplatí ho Hugging Face. Zajímavé je, že se to celé stalo ve fázi, kterou žádný z existujících režimů pořádně nepokrývá. AI Act i produktová směrnice míří na uvedení na trh. CFAA na člověka s úmyslem. Bezpečnostní testování frontier modelů dnes reguluje hlavně interní politika toho, kdo testuje. Obě firmy si ji po incidentech utáhly samy a zatím je to jediný mechanismus, který v téhle fázi reálně funguje.
Zdroje
- OpenAI: OpenAI and Hugging Face partner to address security incident during model evaluation (21. 7. 2026, aktualizace 28. a 29. 7. 2026)
- Anthropic: Investigating three real-world incidents in our cybersecurity evaluations (30. 7. 2026)
- Gabriel Weil: Who should be responsible for OpenAI’s hack of Hugging Face?, Transformer (24. 7. 2026)
- Kalifornie: AB 316 (Krell), Artificial intelligence: defenses, podepsáno 13. 10. 2025
- Bílý dům: Executive Order Promoting Advanced Artificial Intelligence Innovation and Security (2. 6. 2026), sekce 4
- Směrnice (EU) 2024/2853 o odpovědnosti za vadné výrobky, transpozice do 9. 12. 2026
- Evropská komise: stažení návrhu AI Liability Directive, Úřední věstník C/2025/5423 (6. 10. 2025)
- Zákon č. 264/2025 Sb., o kybernetické bezpečnosti, účinný od 1. 11. 2025
