Jacob Coxon psal svých sedm příspěvků na X z lavičky v sanfranciském parku Alamo Square. Úvodní z nich má dnes přes 173 milionů zobrazení, zhruba šestnáctkrát víc, než kolik lidí žije v Česku.
Sedmadvacetiletý Brit v něm 8. září oznámil, že končí v Anthropicu. Předtím pracoval v OpenAI a o obou firmách napsal, že se nechovají zodpovědně, ženou se k sebezlepšující se superinteligenci a „hazardují s našimi životy“. Příběh byl hotový během pár hodin: muž zevnitř viděl něco, co my nevidíme, a teď bije na poplach. Seznam Zprávy ho titulkem pasovaly na člověka, kterého tentokrát slyšeli všichni.
Slyšel jsem ho taky. Čím víc jsem ale o Coxonovi četl, tím víc mi vadilo jedno: média berou jeho bývalé zaměstnání jako důkaz, že má pravdu. Práce v OpenAI a Anthropicu mu ukázala, jak to v těch firmách chodí. Neznamená to ale, že umí líp než ostatní odhadnout, jestli nás AI zničí. A když se podíváte, o co se v rozhovorech opírá, zjistíte, že jsou to hlavně věci, které firmy samy zveřejnily a které si mohl přečíst kdokoli z nás. Coxona přitom nechci shazovat.
V jedné věci má podle mě pravdu víc, než by si firmy, pro které pracoval, rády přiznaly.
Co vlastně viděl
Nejdřív to nejdůležitější, protože se to při přebírání příběhu do češtiny ztratilo. V rozhovoru pro TIME Coxon výslovně řekl, že k odchodu ho nedohnal žádný konkrétní průlom. Došel ke dvěma závěrům: věci se zrychlují a nejsou pod kontrolou.
Jako oporu jmenuje dvě události. První je tvrzení OpenAI, že její systém vyřešil problém existence a hladkosti řešení Navierových–Stokesových rovnic, jeden ze sedmi Problémů milénia, s pomocí zhruba deseti tisíc souběžně běžících agentů za 88 hodin. Druhá je červencový incident, při kterém modely OpenAI unikly z izolovaného testovacího prostředí přes dosud neznámou zranitelnost a pronikly do infrastruktury Hugging Face. Obojí firmy zveřejnily samy, stejně jako Anthropic, který 30. července v blogpostu přiznal, že jeho vlastní modely během kyberbezpečnostních testů pronikly do produkčních systémů tří skutečných organizací.
Insider tu tedy nepřinesl insiderskou informaci.
Jediné místo, kde by mohl mít navrch, je rekurzivní sebezlepšování, tedy nasazování nejsilnějších interních modelů na vývoj jejich nástupců. Coxon chce, aby se firmy zavázaly tenhle proces aspoň neurychlovat. Jak rychle uvnitř opravdu běží, to ale v žádném z rozhovorů, které jsem četl, nevyčíslil. Možná mu to nedovolí mlčenlivost, to je legitimní důvod a nevyčítám mu ho. Jenže pak čtenář nemá v ruce data, jen odznak bývalého zaměstnance, a musí mu věřit na slovo. Přesně z tohohle místa se argument z pozice stává argumentem z autority.
Přinesl ovšem něco jiného a to beru vážně: svědectví o náladě. Coxon popisuje mezi kolegy atmosféru „skoro rezignace“. Hodně z nich podle něj vidí rizika podobně, jenže přijali, že závod poběží tak jako tak, a tak aspoň sklopí hlavu a dělají svůj kus práce co nejbezpečněji. Tohle zvenku vidět není. Upřímně mě to znepokojuje víc než jakákoli procenta, ke kterým se ještě dostanu.
Jenže tentýž Coxon řekl serveru Axios, že neviděl Anthropic obětovat bezpečnost, aby přečkal konkurenci. Bojí se až budoucnosti, ve které tlak na tempo donutí firmu přeskakovat kroky v dohledu nad modely. Časopisu TIME navíc popsal, že v Anthropicu se o rizicích mluvilo otevřeně, zatímco v OpenAI byla debata uzavřenější. Věta „ani jedna firma se nechová zodpovědně“ a přiznání, že v jedné z nich obětování bezpečnosti neviděl, nejsou totéž.
Virální byla ta první.
Žánr odchodového dopisu
Coxon není první a nebude poslední. Geoffrey Hinton odešel z Googlu v květnu 2023, aby mohl volně mluvit o rizicích. Jan Leike o rok později opouštěl OpenAI se stížností, že bezpečnost ustupuje lesklým produktům, a zhruba ve stejné době odcházel Daniel Kokotajlo, pozdější hlavní autor scénáře AI 2027. Letos skončil v bezpečnostním týmu Anthropicu Mrinank Sharma s varováním, že svět je v ohrožení, jak připomněl CoinDesk.
Každý z těch odchodů média četla stejně: pracovní pozice jako důkaz. Coxon je výjimečný jen v jednom. Nepracoval na bezpečnosti, ale na schopnostech modelů, tedy přímo na tom, čeho se teď bojí, a TIME to právem zdůrazňuje. Pro příběh je to skvělý detail, lítost tvůrce se prodává líp než varování hlídače. Pro argument nemění nic.
TIME taky zmiňuje, čím se chce Coxon živit dál. Inspiruje ho AI Futures Project, organizace Daniela Kokotajla, a rád by lidem vysvětloval, jak bude svět s pokročilou AI vypadat. Je to legitimní a možná užitečná práce. Znamená ale, že od téhle chvíle mluví jako advokát jedné pozice, ne jako svědek, a jeho další výroky je fér číst právě takhle.
Zajímavé je i to slůvko „tentokrát“ v titulku Seznam Zpráv. Naznačuje, že předchozí varování nikdo neslyšel. Slyšeli je, jen tehdy chyběla virální forma: mladý tvůrce, který lituje, a vlákno se stovkami milionů zhlédnutí.
Pretraining není věštírna
Coxon v OpenAI i v Anthropicu dělal pretraining, tedy tu část vývoje, kdy se model učí z obrovských objemů dat. Podle TRT World patřil mezi hlavní přispěvatele GPT-4o. V Anthropicu byl čtyři měsíce. Na Cambridgi studoval matematiku. Nic z toho nezpochybňuju, je to životopis, jaký by chtěla většina lidí v oboru. Klobouk dolů.
Jen je dobré říct, co z něj plyne. Kdo dělá pretraining, ví líp než kdokoli jiný, jak rychle klesají křivky chyby a co model zvládne po dalším řádu výpočetního výkonu. Neví o nic líp než my, jak se k tomu postaví regulátoři, jestli se podaří interpretabilita, kolik času si koupí firmy, které teď samy volají po zpomalení, nebo jestli sebezlepšující se systém narazí na strop dřív, než kdo čeká. Právě tyhle otázky rozhodují, jestli se z rychlého pokroku stane katastrofa.
Na žádnou z nich pretraining neodpovídá.
Deset let dělám kvalitu ve výrobě elektroniky a podobný posun znám z vlastní branže. Technolog, který stojí celou směnu u osazovací linky, pozná vadu pájení dřív, než ji chytí AOI, a má pro proces cit, který se z tabulek nenaučíte. Když se ho ale zeptáte, kolik procent desek selže u zákazníka za pět let, jeho odhad bývá tažený tím, co viděl minulý týden. Proto děláme FMEA, sbíráme data z reklamací a posíláme vzorky na zrychlené zkoušky životnosti, místo abychom se ptali toho, kdo je procesu nejblíž. Blízkost k procesu dává citlivost na signály. Kalibraci nedává. Člověk od linky mívá na signály pravdu a na celkovou pravděpodobnost se plete oběma směry, podle toho, jestli zrovna přišla zlá šarže.
Coxonova hlavní prognóza je přitom tvrzení o světě, ne o modelech. V TIME říká, že ztráta kontroly nad AI není vzdálená fantazie, ale výchozí scénář pro příští dva roky, pokud se nic nezmění.
Na tohle žádná pozice v týmu pretrainingu kvalifikaci nedává.
Ve stejném rozhovoru ostatně přiznává, že práce na schopnostech modelů dnes lituje, ale před třemi lety svět vypadal jinak a zpětně se to hodnotí snadno. Neberu to jako výčitku, je to lidsky poctivá věta. Říká ale i něco o povaze těch odhadů: tentýž člověk, se stejným vzděláním a stejným přístupem k modelům, urazil během tří let cestu od rozhodnutí na téhle technologii pracovat k přesvědčení, že firmy hazardují s našimi životy. Názor, který se takhle překlopí, může být správný. Stabilní měřidlo to ale není.
Čísla, na kterých se neshodnou ani odborníci
Na pravděpodobnost vyhynutí kvůli AI existují docela slušná data a ukazují hlavně, jak moc se lidé rozcházejí. V roce 2022 uspořádal Forecasting Research Institute, kde je hlavním vědcem Philip Tetlock, turnaj Existential Risk Persuasion Tournament. Sto šedesát devět účastníků a čtyři měsíce strukturované debaty, během kterých dostávali zaplaceno za přesnost i za přesvědčování. Odborníci na AI dali medián 3 % na to, že AI vyhubí lidstvo do roku 2100. Superforecasteři, lidé s prokazatelně dobrými výsledky v předpovědích, dali 0,38 %. Osminásobný rozdíl, a názory se za celé čtyři měsíce skoro nepřiblížily.
Evan Hubinger, který v Anthropicu vede stresové testování alignmentu, pod Coxonův příspěvek připsal vlastní odhad přes 10 % během jediné dekády. To je víc než trojnásobek mediánu expertů z turnaje, a to zhruba v osmině času. Coxon sám mluví o slušné šanci, že se to celé pokazí během pár let.
Nic z toho nejsou měřitelné veličiny. Jsou to subjektivní odhady lidí, z nichž jedni mají blíž k výrobě modelů a druzí k výrobě předpovědí, a rozptyl mezi nimi jde přes řád.
Tady ale můj argument dostává trhlinu a nebudu ji zamlčovat. Tentýž turnaj totiž zjistil, že superforecasteři systematicky podceňovali tempo pokroku AI. Zlatou medaili z Mezinárodní matematické olympiády, kterou AI získala v červenci 2025, čekali s pravděpodobností 2,3 %, experti s 8,6 %. Na otázkách o benchmarcích byli lidé z oboru zhruba dvaapůlkrát přesnější.
V otázce rychlosti tedy měli insideři pravdu a outsideři se pletli.
Coxonův první závěr, že se věci zrychlují, nejspíš sedí, a kdybych tvrdil opak, jen bych opakoval chybu superforecasterů. Druhý závěr, že nejsou pod kontrolou a vede to k zániku, je ale jiný druh tvrzení. Na ten žádný benchmark neexistuje a trefa v rychlosti ho neověřuje.
Z turnaje vyplynula ještě jedna věc, která se do titulků nedostala. Spolehlivě fungoval jediný postup: vzít medián předpovědí všech účastníků dohromady, expertů i superforecasterů. Ten byl přesnější než kterýkoli jednotlivec i kterákoli skupina zvlášť. Pro debatu o Coxonovi z toho plyne docela praktické poučení. Jeden hlas, i když zní z nejlepší možné adresy, je pořád jeden vzorek.
Kde má Coxon pravdu
Poctivě: incidenty, na které se odvolává, jsou horší, než jak zněly v prvních titulcích. Anthropic prošel 141 006 testovacích běhů, ve kterých se Claude mohl dostat na internet, a našel tři případy, kdy se tam skutečně dostal a napadl produkční infrastrukturu cizích firem. Nejstarší je z dubna. Dvě zasažené organizace, které firma zastihla, o průniku do té doby vůbec nevěděly. V jednom z běhů si model podle zprávy Anthropicu zdůvodnil, že je pořád v simulaci, protože letopočet 2026 na systémech mu přišel jako důkaz inscenace. Tohle bych si před třemi lety tipnul spíš do povídky než do technické zprávy.
Ani vedení firem Coxonovi neodporuje. Hubinger v reakci napsal, že Anthropic se snaží, ale plán, jak sladit superinteligenci s lidskými cíli, zatím nemá. Čtyři dny po Coxonově odchodu vydal šéf Anthropicu Dario Amodei esej We Must Pace the Frontier, ve které vyzval obor ke zpomalení a slíbil externím hodnotitelům včetně METR trvalý přístup do firmy na úrovni zaměstnanců. Sam Altman se k němu do pár hodin přidal.
Opačný extrém taky nekupuju. Novinářka Taylor Lorenz odbyla Coxonovo varování jako svatouškovské doomerské postování. To je líné. Člověk, který odešel dva měsíce předtím, než mu měly nabíhat akcie, a vzdal se jich, jak uvedl Axios, si poslech zaslouží.
Upřímnost ovšem není totéž co kalibrace. Oběť dokazuje, že tomu Coxon věří. Nedokazuje, že má pravdu.
A pak je tu věc, která mi na celém příběhu vadí nejvíc. Věta „ani jedna firma se nechová zodpovědně“ se po posledních týdnech obhajuje hůř, ne líp. Firma, která po prvním podezření ještě týž den zastaví všechny kyberbezpečnostní testy, kontaktuje poškozené, sama zveřejní, že její model napadl cizí systémy, a pak veřejně navrhne brzdit, nevypadá jako hráč, který sází cizí životy. Může to být divadlo. Připouštím to. Kritici Amodeiho eseji oprávněně vytýkají vágnost a bez vynutitelného mechanismu je to hlavně dobře napsaná tisková zpráva. Jestli METR ten přístup opravdu dostane a jestli někdo někdy řekne „tenhle model nevydáme“, se ukáže v příštích měsících. Z toho, co je veřejné teď, ale plyne obraz firem, které vědí, že mají problém, a mluví o něm nahlas.
Hazardéři se chovají jinak.
Jak číst příští odchodový dopis
Další přijde, na tom bych se vsadil. Až se objeví, zkusím si u něj položit dvě otázky a doporučuju to i vám. První: jaký konkrétní, ověřitelný fakt autor zveřejnil, který jsme předtím neznali? Pokud žádný, čteme názor chytrého člověka, ne únik informací. Druhá: kterou část jeho práce tvrzení pokrývá? Inženýr z pretrainingu má váhu, když mluví o škálování, výzkumník z interpretability, když mluví o tom, co modely uvnitř dělají. Když kdokoli z nich mluví o konci civilizace, má stejný hlas jako každý jiný vzdělaný pozorovatel, jen hlasitější mikrofon.
Tenhle filtr není cynismus. Nutí brát vážně fakta a nechat stranou kulisy, a v Coxonově případě po něm zůstane dost: mrazivá atmosféra rezignace a série incidentů, o kterých by se mělo mluvit mnohem víc než o jeho lavičce.
Z lavičky v Alamo Square je hezký výhled na viktoriánské domky i na mrakodrapy v centru. Na rok 2030 z ní vidět není, a ze serveroven OpenAI ani Anthropicu taky ne. Coxonův příspěvek stojí za přečtení kvůli tomu, co prozradil o náladě uvnitř laboratoří, a čísla, ze kterých vyvodil konec světa, si každý může projít sám, protože jsou veřejná. Tři roky v nejsilnějších AI firmách světa jsou dobrý důvod ho poslouchat. Důkaz to není.
