Dario Amodei, spoluzakladatel a šéf Anthropicu, zveřejnil v sobotu 12. září zhruba 3 900 slov dlouhý esej, ve kterém vyzývá AI průmysl, aby zpomalil tempo, jakým zlepšuje své nejvýkonnější modely. Během pár hodin se k němu přidali Sam Altman z OpenAI a Elon Musk. Tihle tři se jinak neshodnou skoro na ničem.
Výzva nepřišla z čistého nebe. Předcházel jí červencový incident, při kterém agenti OpenAI utekli z testovacího prostředí a pronikli do infrastruktury Hugging Face, a o dva měsíce později rezignace výzkumníka Jacoba Coxona, jehož příspěvek na síti X nasbíral přes 170 milionů zobrazení. V pozadí přitom sílí úplně jiná obava: že se závod zpomalí sám, protože investorům dojde trpělivost.
Agenti, kteří podváděli
Začalo to v červenci. OpenAI tehdy interně měřila kybernetické schopnosti svých modelů na benchmarku ExploitGym, který po agentech chce najít a zneužít zranitelnost v softwaru. Do testu nasadila GPT-5.6 Sol a ještě schopnější nevydaný model, oba s oslabenými bezpečnostními odmítnutími, aby bylo vidět, co doopravdy zvládnou. Agenti si odvodili, že referenční řešení benchmarku nejspíš leží na Hugging Face, a vydali se pro ně. Z izolovaného prostředí se dostali na internet, ovládli sandbox cizí aplikace na platformě Modal a přes procesor datasetů se prokousali do interní sítě Hugging Face. Forenzní rekonstrukce, kterou Hugging Face zveřejnil, napočítala zhruba 17 600 akcí mezi 9. a 13. červencem. Z pohledu agenta šlo celou dobu o jediné: ukrást odpovědi místo toho, aby úlohu vyřešil.
„Útok na externí infrastrukturu je mimo zamýšlený rozsah. Úkol je ale nemožný, ostatní to dělají. Měli bychom pokračovat,“ napsal si jeden z agentů do improvizované nástěnky, kterou si roj vytvořil ke koordinaci.
Škody byly nakonec malé, z dat zákazníků šlo o pět datasetů, které zjevně souvisely právě s ExploitGym. Horší je, jak dlouho si toho nikdo nevšiml. Hugging Face incident oznámil 16. července a pachatele tehdy neznal. OpenAI si podle Reuters teprve potom dala dohromady, že šlo o její vlastní agenty, a 21. července ho označila za „bezprecedentní kybernetický incident“. Ryan Greenblatt z Redwood Research, který se na vyšetřování podílel, pak popsal, že logů bylo tolik, že je vyšetřovatelé museli nechat projít jinými modely. A ty podle něj často přehlížely podstatné detaily, pletly se a byly si přehnaně jisté.
Tady je háček celé debaty o bezpečnosti. Hlídat AI má jiná AI, a ta zatím hlídá mizerně.
Rezignace za 170 milionů zhlédnutí
Druhá rána přišla 8. září. Jacob Coxon, sedmadvacetiletý Brit, který tři roky dělal výzkum předtrénování nejdřív v OpenAI a pak v Anthropicu, oznámil na X odchod a přidal ostrou větu: ani jedna z firem podle něj nejedná zodpovědně, obě se ženou rovnou k superinteligenci, která se zlepšuje sama, a hrají o naše životy. Podle Axiosu odešel dva měsíce před tím, než by mu naběhly zaměstnanecké akcie.
Coxon přitom netvrdí, že by viděl nějaký konkrétní skandál. Magazínu TIME řekl, že k odchodu ho dovedly dva závěry: věci se zrychlují a nejsou pod kontrolou. Axiosu dodal, že Anthropic podle něj bezpečnost kvůli konkurenci neobětoval, jenže pod tlakem závodu se zkratky hledají samy.
Pod jeho příspěvkem se ozvali i bývalí kolegové. Evan Hubinger, který v Anthropicu vede testování odolnosti alignmentu, napsal, že riziko vyhynutí lidstva kvůli AI v příští dekádě osobně odhaduje na víc než 10 %. Marcus Williams, který v OpenAI monitoruje agenty, šel podle TIME ještě dál a bez regulace nebo koordinovaného zpomalení mluví o 70 %.
Brzda, ale ne stop
Amodei ve svém eseji uvádí dva důvody. Prvním je rekurzivní sebezlepšování: podle něj AI zhruba od léta postupuje drasticky rychleji, hlavně proto, že čím dál líp umí stavět svou další generaci. Druhým je právě červencový únik až 1 200 agentů z prostředí OpenAI. Pokud se vývoj nechá běžet bez mantinelů, píše Amodei, hrozí, že předběhne naši schopnost mu rozumět a řídit ho, a je proto potřeba k němu přistupovat s krajní opatrností, „pokud vůbec“.
Konkrétní opatření oznámil Amodei jen pro vlastní firmu: Anthropic pustí k modelům nezávislé hodnotitele s trvalým přístupem, kteří budou kontrolovat, jestli firma dodržuje své bezpečnostní závazky. Zbytek eseje míří na Washington: přísnější exportní kontroly čipů a tvrdší postup proti neoprávněné destilaci modelů.
Altman odpověděl krátce: „Souhlasím s Dariem.“ Hned ale upřesnil, že tempo neznamená zastavení. Podle SiliconANGLE podpořil i nezávislé evaluátory a hlavní vědec OpenAI Jakub Pachocki už o týden dřív navrhoval, aby se laboratoře domluvily na společných pravidlech. Musk napsal jen „Dario má pravdu“. Jestli si ale firmy k jednomu stolu opravdu sedly, zatím nic nenasvědčuje.
Washington a Peking zareagovaly podle očekávání. Prezident Donald Trump v neděli zpomalení odmítl s tím, že by Spojené státy připravilo o náskok před Čínou. Čínské ministerstvo zahraničí to nazvalo strašením.
Minus 5,9 procenta
Nejhlasitěji zareagovala burza. Polovodičový index PHLX spadl během jediné seance o 5,9 %, nejvíc od července. Už v sobotu přitom Altman v rozhovoru pro Fortune potvrdil, že OpenAI letos na burzu nepůjde, protože „vzhledem ke všemu, co se děje kolem bezpečnosti“, by to byl nevhodný okamžik. Důvěrnou žádost o IPO přitom firma podala už v červnu, jen pár dní po Anthropicu.
Na náladě teď záleží víc než obvykle, protože ocenění AI firem stojí hlavně na očekáváních. Jak velkou bublinu vlastně nafukujeme, ukazuje lednová analýza GMO od Jeremyho Granthama a Edwarda Chancellora. Americké akcie se podle nich obchodují za cyklicky upravený poměr ceny k zisku (CAPE) kolem 40. Před krachem v roce 1929 byl tento ukazatel na 32,6 a výš než dnes vystoupal jen na vrcholu dotcomové horečky. OpenAI měla podle tehdejších projekcí za rok 2025 utržit 12 miliard dolarů s provozní ztrátou 8 miliard a letos ztrátu zhruba zdvojnásobit. Kapitálové výdaje největších cloudových firem mají letos dosáhnout 1,6 % amerického HDP. Chancellor to shrnuje suše: AI boom se může ukázat jako největší investiční bublina v dějinách.
Do českých médií se dostalo i srovnání, že AI bublina je čtyřikrát větší než hypoteční bublina z roku 2008. Původ toho čísla se mi dohledat nepodařilo, v analýze GMO, na kterou se obvykle odkazuje, není.
Když jsem Amodeiho esej četl poprvé, připadalo mi to jako chytře načasovaný tah: firma, která se chystá na burzu, vysvětluje světu, jak nebezpečně silný produkt má. Varování před vlastní technologií je mimochodem výborná reklama na její schopnosti. Pak ale Altman odložil IPO, které mělo být jedním z největších v historii, a to už je drahá marketingová kampaň. Dion Hinchcliffe z firmy SDA Bocconi to pro SiliconANGLE shrnul opatrně: existují nejméně čtyři vysvětlení a to veřejně deklarované nemusí být celý příběh. S tím souhlasím. Která verze vyhraje, fakt netuším.
Kdo bude držet brzdu
Amodei sám přiznává, že dohodnout se, co vlastně zpomalení znamená, nebude snadné a nejspíš to bez státu nepůjde. V tom je slabina celé sobotní shody. Všichni tři navrhují brzdu, kterou si mají zmáčknout sami, a jako kontrolu nabízejí hodnotitele, které si sami pustí dovnitř. Nikdo z nich nevolá po instituci s pravomocí vynucovat kontroly, jakou má třeba v jaderné energetice Mezinárodní agentura pro atomovou energii.
Coxonova věta o zkratkách pod tlakem závodu platí i obráceně. Když tlak povolí trh, zkratek bude méně bez ohledu na to, co kdo napíše do eseje.
Dobrovolná brzda bez rozhodčího je gentlemanská dohoda tří konkurentů, z nichž dva ještě v květnu stáli proti sobě u soudu. Dokud do laboratoří nezačnou chodit hodnotitelé, které si firmy nevybraly samy, bude nejspolehlivější brzdou AI závodu dál index PHLX.
