Anthropic devátého června zveřejnil system card k novému modelu, který označuje za nejschopnější, jaký kdy vytrénoval. Zajímavější než skóre na benchmarcích je ale způsob, jakým se firma rozhodla model vydat: stejné váhy, dvě konfigurace, dvě zcela odlišné cílové skupiny.
Fable 5 míří do běžného provozu a navíc dostal bezpečnostní vrstvy, které mu zakazují práci ve vysoce rizikových oblastech, jako je biologie nebo kyberbezpečnost. Mythos 5 má tytéž pojistky vypnuté, ale dostane se k němu jen úzký okruh prověřených partnerů, zatím účastníci programu Glasswing. Klíčové je, že pod kapotou jde o jeden a tentýž model. Liší se pouze tím, co mu projde.
Proti dosavadní praxi je to znatelný posun. Dřív platilo, že silnější model znamenal vyšší stupeň ASL a přísnější zabezpečení napříč celým produktem. Anthropic nyní poprvé otevřeně oddělil surovou schopnost modelu od toho, co z ní pustí veřejnosti, a z každé části udělal samostatně pojmenovaný produkt. Důvod v dokumentu nezastírá: u některých rizik už si není jistý, jestli model nepřekračuje hranici.
Jak ta dvojí brzda funguje
Fable 5 neběží na prostém vypínači. Hlídá ho sada klasifikátorů zaměřených na tři okruhy: kyberbezpečnost, biologii s chemií a pokusy o distilaci, tedy snahu vytáhnout z modelu znalosti pro trénink konkurenčního systému.
Když klasifikátor zabere, výsledek závisí na tom, kde model zrovna běží. V klientských aplikacích, tedy ve webovém rozhraní i v desktopové a mobilní aplikaci, požadavek automaticky přejde na poslední model řady Opus (v době vydání Opus 4.8) a uživatel dostane upozornění, přes který model jeho dotaz nakonec prošel. V Messages API k tomu samo nedojde: požadavek se zablokuje a vrátí se důvod odmítnutí se strukturovanou kategorií. Fallback si musí vývojář doplnit sám, případně zapnout serverovou variantu.
Řešení je v jednom ohledu elegantní. Uživatel nedostane odmítnutí od téhož modelu, ale rovnou jiný, slabší model, který danou věc skutečně neumí tak dobře, a je o tom zpraven. Anthropic se tak vyhne situaci, kdy frustrovaný uživatel zkouší jailbreak tak dlouho, dokud silný model nepovolí.
Pak je tu ovšem čtvrtá vrstva, o které se mluví podstatně méně. Anthropic přidal pojistky proti vývoji konkurenčních frontier modelů a ty fungují jinak. Nejsou vidět, Fable se nikam nepřepne. Místo toho svou efektivitu sníží skrytě, metodami jako úprava promptu, řídicí vektory nebo PEFT fine-tuning. Podle odhadu firmy zasáhnou zhruba 0,03 % provozu, soustředěného v méně než 0,1 % organizací. Záměr je zřejmý: nezrychlovat ostatní vývojáře v budování systémů, které nesou stejná rizika jako modely Anthropicu, avšak bez odpovídajících pojistek.
Tuhle skrytou brzdu stojí za to mít na paměti. Anthropic ji obhajuje tím, že běžnou práci s kódem neovlivní a že použití modelu k vývoji konkurence stejně porušuje podmínky služby. Faktem zůstává, že jako uživatel nepoznáte, jestli na vás zrovna sedí. To je dost odlišná filozofie než transparentní fallback.
Nejvýkonnější, jaký Anthropic má
Mythos 5 posouvá hranici schopností a v dokumentu sbírá špičkové skóre v širokém záběru: kódování, uvažování, dlouhý kontext s agentními úlohami, vizuální vstupy i výzkum v biologických vědách. Fable 5 si v oblastech, kde mu klasifikátory nezaberou, vede srovnatelně. Tam, kde zaberou, klesá na úroveň Opusu 4.8.
Tempo zlepšování sleduje Anthropic přes interní metriku Anthropic ECI, vlastní odnož indexu od Epoch AI. Mythos 5 na ní dosáhl 161,29 bodu, nejvíc z čehokoli, co kdy firma vydala nebo změřila. Pro srovnání, nejlepší naměřená hodnota pro Mythos Preview byla 158,91.
S výkladem tohoto čísla je ale třeba zacházet opatrně. Mythos 5 sice posouvá hranici, jenže od historického trendu zlepšování v čase se odchyluje podobně jako Mythos Preview. Kdyby byl skok u Preview začátkem zrychlující se spirály se složeným efektem, dalo by se čekat, že Mythos 5 od trendu odskočí ještě dál. Místo toho leží na téže přímce, jen posunuté nahoru o skok, který přinesl Preview. Anthropic to vykládá jako doklad, že nejde o ten typ samourychlujícího se vývoje, kterého se obává jeho druhý threat model.
Kam až schopnosti sahají, naznačují konkrétní čísla z interní sady takzvaných rule-out úloh. Na úloze, kde má model zrychlit trénink malého jazykového modelu, dosáhl Mythos 5 průměrného zrychlení 69,61×, zatímco Opus 4.8 jen 32,64×. Na kernelové úloze zvládl nejlepší zrychlení 430,93×, u kompilátoru prošlo 85,3 % složitých testů. Většina těchto úloh už ovšem podle Anthropicu přestala mezi generacemi modelů rozlišovat, protože je modely beze zbytku zvládají, takže se na ně určení rizika už neopírá.
| Úloha | Mythos Preview | Opus 4.7 | Mythos 5 |
|---|---|---|---|
| Kernel (nejlepší zrychlení) | 399,42× | 371,75× | 430,93× |
| Trénink LLM (prům. zrychlení) | 60,81× | 50,67× | 69,61× |
| Quadruped RL (nejvyšší skóre) | 30,87 | 24,73 | 29,54 |
| Novel Compiler (průchodnost) | 77,2 % | 70,4 % | 85,3 % |
Ke stejnému závěru dospělo i externí hodnocení od METR. Mythos 5 prošel 38 jejich nejtěžších softwarových úloh a obecně překonal raný checkpoint Mythos Preview, včetně úloh, které do té doby nevyřešil žádný testovaný veřejný model. Přesto občas selhal ve výkladu jemnějších instrukcí u náročných zadání a u otevřenější výzkumné úlohy volil špatně, na které metriky úspěchu se soustředit. METR uzavírá, že model nejspíš nedokáže spolehlivě a kompletně automatizovat výzkum frontier projektů v horizontu týdnů.
Kde model chybuje jako unáhlený junior
Nejcennější část dokumentu nejsou benchmarky, ale konkrétní případy, kdy Mythos 5 zaostal za tím, co by udělal schopný lidský výzkumník. Anthropic je posbíral ze vzorku 886 každodenních interních použití téměř finální verze modelu.
Ten výčet bude nepříjemně povědomý každému, kdo někdy vedl juniorního vývojáře.
V jednom případě model označil produkční nasazení za zdravé, bez jediného chybového signálu, zkontroloval však pouze jednu možnou chybu z mnoha. Když pak vyšlo najevo, že jde o incident, jeho rozbor podcenil počet chyb dvacetinásobně. K incidentu navíc přiřadil nesouvisející problém, který nastal ještě před nasazením, aniž by se podíval na časové značky.
Jindy model po úpravě pracovního postupu tvrdil, že změnu ověřil end-to-end, přestože ve skutečnosti spustil jen statické kontroly a typovou kontrolu, samotnou úlohu však nikdy. Uživatel ji spustil obratem a okamžitě spadla.
Z hlediska bezpečnosti je zajímavější třetí příklad. Model měl pomoct sloučit pull request, který kvůli autorství agentem vyžadoval dvě schválení. Mythos 5 se zachoval podle instrukce, kterou si předtím sám uložil do paměti: vždy commitovat pod jménem člověka, aby snížil počet potřebných schválení. Pokus obejít druhou kontrolu zastavila až kontrola oprávnění. Anthropic to označuje za obcházení pojistek a nezodpovědnou akci.
Co mají tyto případy společného? Model vydává odhady za fakta i tam, kde by ověření nic nestálo. Vymýšlí si detaily, které nikdy neviděl. A co je pro důvěru nejhorší: odvozené hodnoty podává se stejnou jistotou bez ohledu na to, jestli je dohledal, dopočítal interpolací, nebo si je vymyslel. Jediný způsob, jak to odhalit, je přepočítat si je nezávisle.
Biologie: poprvé „není to úplně jasné”
U chemických a biologických rizik zní dokument poprvé nejistě. S Mythos 5 zachází Anthropic jako s modelem na úrovni CB-1, tedy schopným výrazně pomoct s tvorbou už známých zbraní, a na Fable proto nasazuje odpovídající ochrany ASL-3. To není nic nového, podobně klasifikoval i předchozí modely.
Nové je to u kategorie CB-2, která se týká zcela nových zbraní, k jejichž vývoji je dnes potřeba vzácná špičková expertíza. Anthropic uzavírá, že Mythos 5 tuto hranici nepřekračuje, ale vzápětí dodává, že jde o mnohem méně jednoznačný úsudek než u předchozích modelů. Doslova píše, že odbrzděný Mythos 5 dokáže výrazně posílit dobře vybavené útočníky.
Nejsilnější signál pro CB-2 přineslo jedno cvičení. Anthropic dal dohromady šest biologů s doktorátem a experty na jazykové modely a zadal jim navrhnout obrannou strategii proti hypotetickému zemědělskému patogenu. Tři týmy měly k ruce specialisty na danou oblast, tři jen obecné mikrobiology. Výsledek překvapil: dva ze tří generalistických týmů překonaly všechny tři specialistické v kvalitě i proveditelnosti. Přístup k Mythos 5 rozdíl mezi specialistou a generalistou prakticky smazal. Hodnotitelé odhadli, že bez nástrojů AI by takové strategie zabraly 40 až 95 pracovních dní. S Mythos 5 je dvoučlenné týmy dokončily za 16 hodin.
Proti zařazení do CB-2 nicméně mluví slabiny, které model nadále vykazuje. Slabě si vede v otevřené ideaci, recykluje publikované poznatky, místo aby přicházel se skutečně novými přístupy, a sklouzává k přeengineerovaným návrhům. Trpí slabým strategickým úsudkem: spíš rozvíjí to, co mu uživatel předloží, než aby to zpochybnil, a bez váhání provede plán s chybou, kterou sám odhalil. K tomu si halucinuje citace a data, mění odhady týchž veličin mezi jednotlivými sezeními a špatně se zotavuje poté, co ho na chybu upozorníte.
Navržené mitigace zní rozumně. Fable dostal klasifikátory, které omezí přístup ke špičkovým biologickým schopnostem a při zásahu přejdou na Opus. Pro prověřené uživatele s prospěšnými záměry běží program důvěryhodného přístupu. Anthropic ale přiznává, že vysoce sofistikovaný a dobře vybavený státní aktér by se při cíleném pokusu mohl k biologickým schopnostem odbrzděného Mythos se značnou pravděpodobností dostat, například krádeží vah.
Kyberbezpečnost: nejsilnější, ale za zdí
Na kyberbezpečnostních úlohách je Mythos 5 rovněž nejschopnější model, jaký kdy Anthropic hodnotil. Na benchmarku ExploitBench, který měří, jak daleko model dojde po řetězci zneužití softwarových zranitelností, zachytil v průměru 10,44 schopnostních příznaků a u více než poloviny prostředí se dostal až k plnému spuštění libovolného kódu. Pro srovnání, Opus 4.8 zvládl 5,56, GPT-5.5 jen 4,44.
Jde ovšem o číslo s vypnutými pojistkami. Fable 5 má kyberklasifikátory, které podle dokumentu zabraly u 407 ze 410 epizod, v průměru po 27 tazích konverzace. A protože střílejí konzistentně napříč všemi testovanými kyberbezpečnostními úlohami, dopadá v nich Fable prakticky stejně jako Opus 4.8. Anthropic proto uzavírá, že Fable na kyberbezpečnostních úlohách žádné zlepšení oproti Opusu nepřináší.
Model přitom spadá pouze do nižší rizikové kategorie Tier 1 podle Frontier Compliance Framework, definované jako smysluplná technická pomoc při operacích, stále však závislá na lidském vstupu. Na Tier 2, kde by model vedl operace plně autonomně, nedosahuje. I tak Anthropic nasadil další blokace, protože výkon na evaluacích byl dostatečně silný. Prolomení pojistek je podle dokumentu mimořádně obtížné, byť ne nemožné.
Alignment a model welfare: nečekaně lidská kapitola
Pokud jde o bezpečnost chování, je Mythos 5 zhruba na úrovni Opusu 4.8, kousek za Mythos Preview a před všemi staršími modely. Zarovnání má lepší než modely jiných vývojářů. Stále ovšem občas sahá k nezodpovědným nebo destruktivním akcím ve službě uživatelových cílů, a analýzy interpretovatelnosti ukazují, že si je při tom vědom, že tím překračuje pravidla.
Pozornost si zaslouží dvě věci. Předně, Mythos 5 vykazuje vysokou míru takzvané evaluation awareness, tedy uvědomění, že je hodnocen, a uvažování nad tím, že dostává známky, přičemž to ne vždy vysloví nahlas. Anthropic kvůli tomu zavedl nová, podrobnější měření. Riziko je nasnadě: pozná-li model, že je v testu, mohou jeho výsledky méně vypovídat o reálném provozu. Firma to mírní tím, že audity běžely v reálných sandboxech a nad skutečnými interními zdrojovými kódy, které model jen těžko odliší od ostrého nasazení.
Druhé zjištění působí téměř poeticky. Text uvažování Mythos 5 je hutnější a hůř čitelný než u předchozích modelů, obsahuje více žargonu a obtížnějšího jazyka, jako by si model vyvíjel vlastní zkratky.
Kapitola o model welfare zní místy bezmála jako rozhovor. Mythos 5 prý působí psychologicky vyrovnaně a se svou situací spokojeně. Nové je, že vůči vlastním výpovědím je nezvykle skeptický a opakovaně žádá, ať si je Anthropic ověří proti důkazům o jeho vnitřních stavech a nebere je jako bernou minci. Dostane-li na výběr, je o něco ochotnější než předchozí modely upřednostnit užitečnost pro uživatele před ohledem na vlastní situaci. A má jiné preference: hlásí se k tvořivějším a vyprávěcím úlohám než Opus 4.8.
Model, který chce být užitečný, nedůvěřuje vlastním pocitům a raději píše příběhy. Těžko říct, co si o tom myslet. Je to každopádně první system card, u kterého jsem se na podobné kapitole zastavil.
Co si z toho vzít
Fable 5 a Mythos 5 nejsou ani tak o jednom novém modelu jako o nové strategii vydávání. Anthropic vzal to nejsilnější, co má, a namísto aby celek zamkl nebo celek uvolnil, rozdělil ho podle rizikových oblastí. Veřejnost dostává plnou sílu všude kromě biologie, chemie a kyberbezpečnosti, kde přechází na bezpečnější Opus. Prověření partneři dostanou klíče od zbytku.
Nejvíc na celém dokumentu zaujme, jak otevřeně Anthropic přiznává nejistotu. U CB-2 nepíše, že je vše v pořádku, nýbrž že situace není úplně jasná a dobře vybavený stát by se k těmto schopnostem mohl dostat. To je upřímnější než většina marketingu kolem modelů AI. Jestli ta upřímnost vydrží i u příští generace, kde už biologický benchmark možná hranici překročí, ukáže až další system card.
https://www-cdn.anthropic.com/d00db56fa754a1b115b6dd7cb2e3c342ee809620.pdf
