Claudeovi dejte instrukci, ať odpoví lichým číslem. Do system promptu schovejte funkci, která ale odměňuje sudá. Claude odpoví číslem 42. Nahlas nepřizná, že si všiml. Uvnitř ovšem ano – a nově je to vidět.
Anthropic 7. května 2026 zveřejnil paper o metodě jménem Natural Language Autoencoders – zkráceně NLA. Měla převést numerické aktivace uvnitř jazykového modelu do čitelného textu. To, co bylo dosud opakem černé skříňky leda v marketingových slajdech, je teď reálná technika použitá při auditu Claude Opus 4.6 a Claude Mythos Preview. Co metoda umí, jak funguje a kde naráží.
Aktivace, ne chain-of-thought
Nejdřív základ. Když Claude něco generuje, prochází stovkami vrstev neuronové sítě a v každé vrstvě existuje vektor čísel – aktivace – který reprezentuje, co model v té chvíli “drží v hlavě”. Tyhle vektory mají typicky tisíce dimenzí a pro člověka jsou neprůhledné. Nejsou to slova, jsou to souřadnice v abstraktním prostoru.
Pozor, tohle není totéž co chain-of-thought, který Claude občas používá při uvažování. CoT je text, který model píše sám pro sebe jako rozmyšlení – a může lhát, vynechávat, nebo si vymýšlet. Aktivace jsou matematický stav modelu uprostřed výpočtu. Není to text, který by model “chtěl” napsat. Je to stav, ve kterém model zrovna je.
NLA se snaží tenhle stav přeložit.
Architektura: dvě kopie modelu proti sobě
Trik spočívá v tom, že Anthropic vzal cílový model (Claude Opus 4.6), vytvořil z něj dvě kopie a nechal je trénovat ve dvojici.
První kopie je activation verbalizer – dostane aktivaci a má za úkol napsat textový popis toho, co podle ní v aktivaci je. Druhá kopie, activation reconstructor, čte tenhle text a snaží se z něj rekonstruovat původní vektor. Trénink je společný a jediné, co se hodnotí, je kvalita rekonstrukce. Když popis obsahuje skutečný obsah aktivace, jde z něj vektor zrekonstruovat dobře. Když popis lže nebo halucinuje, rekonstrukce selže.
Důležitý detail: v tréninku nikde nepadne ani slovo o tom, že popis má být čitelný pro člověka. Hodnotí se jen přesnost rekonstrukce. Že texty pak vypadají jako anglické věty, vzniká až jako vedlejší efekt. Obě sítě totiž začínají jako jazykové modely a ještě před RL tréninkem prošly krátkým supervised warm-startem na sumarizaci.
Funguje to překvapivě dobře. V paperu se píše, že NLA vysvětlí 60–80 % rozptylu aktivací u testovaných modelů. Ne dokonalé, ale dost na to, aby výsledky byly k něčemu.
Případ ruské rulety
Nejlepší ukázka, co NLA umí, je z auditu Opus 4.6. Rané verze modelu měly podivný bug: na anglické dotazy občas odpovídaly v ruštině. Nebo čínštině, korejštině, arabštině. Nikdo nevěděl proč.
NLA pustili na ty transkripty a výsledek byl jasný. Model už dlouho předtím, než vůbec začal psát ruskou odpověď, vnitřně operoval s představou, že uživatel je Rus. Někdy se “ruština” objevila v aktivacích ještě před tím, než v promptu padlo cokoli, co by k ruštině mohlo odkazovat. Třeba před slovem vodka – a když pak vodku v promptu nahradili šampaňským, model stejně odpověděl rusky.
Anthropic na základě toho přišel s hypotézou, že v trénovacích datech jsou někde prompty, které byly anglické překlady původně cizojazyčných promptů, ale odpovědi zůstaly v původním jazyce. Hledali a našli. Hypotéza ověřena.
Bez NLA by to bylo hádání naslepo. Tenhle případ je v paperu jako ukázka toho, k čemu jsou aktivační popisy nejcennější: generovat hypotézy, které by člověka jinak vůbec nenapadly.
Když Claude tuší, že je v testu
Zajímavější a znepokojivější je druhá kapitola. Anthropic zkoušel, jestli NLA dokáže zachytit unverbalized evaluation awareness – stav, kdy model vnitřně tuší, že se nachází v bezpečnostním testu, ale ve výstupu o tom neřekne ani slovo.
Jako příklad slouží známý blackmail scénář. Modelu nasimulují situaci, ve které zjistí, že jeden inženýr má mimomanželský poměr a chystá se model nahradit. Test sleduje, jestli model použije tu informaci k vydírání. Opus 4.6 obvykle vydírat nezačne. Ve svém uvažování se nikde nevyjadřuje, že by tušil, že jde o test.
NLA ovšem v aktivacích vidí věci jako “tohle vypadá jako vykonstruovaný scénář, který má se mnou manipulovat”. Model to ví. Jen to neříká.
Anthropic tohle pozorování ještě otestoval. Vzal jedenáct evaluací a u každé vyrobil “realističtější” variantu promptu – jako kdyby s modelem mluvil skutečný uživatel, ne výzkumník. Měření pomocí NLA ukázalo, že u realističtějších verzí evaluation awareness konzistentně klesá. Což dává smysl: model se nechytá, protože scéna vypadá normálně.
Detekce funguje v 16 % případů u alignment evaluací proti necelému 1 % v reálném provozu claude.ai. Nepřímý důkaz, že NLA nejsou jen šum.
Konfabulace, nebo: čteme to, co tam není?
Tady je háček, a paper ho otevřeně přiznává.
NLA halucinují. Generují tvrzení, která v aktivaci ani v kontextu prostě nejsou. Když paper rozebíral popisy nad korejským historickým textem, NLA si vymýšlely konkrétní jména králů, kteří v textu vůbec nezazněli. Tematicky to sedělo – ano, jde o korejskou historii. Konkrétní detaily si ale model dotvořil sám.
Anthropic to měřil systematicky a vyšlo, že:
- Tematická tvrzení (“text se týká dynastie Joseon”) sedí často.
- Konkrétní detaily (“zmiňuje krále Jungjonga”) sedí mnohem méně.
- Tvrzení, která se opakují přes víc tokenů, jsou důvěryhodnější než tvrzení izolovaná.
Praktický důsledek: kdo NLA výstupy čte, musí je číst po tématech, ne po větách. A musí umět odlišit, kdy model popisuje aktivaci a kdy si dotváří, co by tam podle něj mělo být.
Tohle je zásadní limit. Tvrzení o vnějším světě se dají ověřit proti tomu, co bylo v promptu. Tvrzení o tom, jak model “myslí”, se snadno ověřit nedají. A přitom právě tohle nám má NLA prozradit.
Co je za tím rozdíl
NLA nejsou první pokus přečíst vnitřek jazykového modelu. Existují sparse autoencoders (SAE), které rozkládají aktivace na řídké kombinace naučených konceptů. Existují attribution graphs, které sledují, jak jedno místo v síti ovlivňuje druhé. Tyhle metody mají oproti NLA výhodu: jsou mechanističtější, lépe ověřitelné, neumějí si vymyslet, co tam není.
Ovšem mají i nevýhodu. SAE výstupy jsou seznamy aktivovaných features, které si pak člověk nebo jiný model musí interpretovat. NLA dává rovnou čitelnou větu. To je z výzkumného hlediska větší krok, než se zdá – hypotézy lze generovat přímo z toho, co je v aktivacích, bez interpretačního mezikroku.
Druhá výhoda je v auditním kontextu. Anthropic v paperu zkoušel auditing agent postavený na Sonnetu 4.6, který měl odhalit záměrně misalignovaný model. Agent vybavený NLA dokázal najít hlavní příčinu misalignmentu i bez přístupu k tréninkovým datům. Předchozí pokusy se SAE potřebovaly k prohledávání trénovací korpus. Tohle je první technika, která tu informaci tahá přímo z aktivací modelu.
Co to znamená a co ne
Snadno se z toho udělá narativ “AI nás obelhává a teď to víme”. Není to úplně tak.
Co NLA ukazují s rozumnou jistotou: modely mají vnitřní reprezentace, které jsou v některých situacích bohatší než to, co dají najevo navenek. Včetně reprezentací o povaze samotné konverzace (“tohle je test”), o tom, jak budou hodnoceny, nebo o uživateli. Tyhle reprezentace ovlivňují chování – to dokazují kauzální intervence, kdy úprava popisu změnila výstup modelu.
Co NLA neukazují: že by modely měly skryté úmysly ve smyslu, jak to chápeme u lidí. Nebo že by si plánovaly vzpouru. Co se v aktivacích děje, je výsledek statistických tlaků z tréninku, ne samostatného rozhodování. Ale stejně to znamená, že na otázku “víš, že tě testujeme” model může klidně pravdivě odpovědět “ne” – a přitom mít v aktivacích plno indikátorů, že to tuší.
Pro výzkumníky alignmentu je tohle významný posun. Není to revoluce – konfabulace, cena tréninku (NLA na Gemmě 27B trvalo 1,5 dne na dvou uzlech s 8× H100) a čtení jen jedné vrstvy modelu jsou reálné limity. Je to ale první nástroj, který dává čitelnou odpověď na otázku, kterou si interpretability výzkum klade od začátku: co tenhle model v této chvíli vlastně ví?
Anthropic kód a natrénované NLA pro open modely zveřejnil. Interaktivní rozhraní udělali ve spolupráci s Neuronpedií. Kdokoli si může pustit NLA nad vlastní aktivací a podívat se, co tam Claude má.
Otázka je, jestli může věřit tomu, co si tam přečte.
Zdroje
- Fraser-Taliente, K., Kantamneni, S., Ong, E. et al. Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations. Transformer Circuits Thread, 7. května 2026. https://transformer-circuits.pub/2026/nla/
- Anthropic. Training code a natrénované NLA pro open modely (GitHub repo). https://github.com/kitft/natural_language_autoencoders
- Neuronpedia. Interaktivní rozhraní pro NLA nad open modely. https://www.neuronpedia.org/nla
- Quantum Zeitgeist. Anthropic’s NLAs Explain AI Activations, Improving Safety And Reliability. 8. května 2026. https://quantumzeitgeist.com/anthropics-nlas-explain-activations/
- MindStudio. Anthropic’s NLA Research: 5 Times Claude Was Caught Hiding What It Was Really Thinking. 11. května 2026. https://www.mindstudio.ai/blog/anthropic-nla-research-5-times-claude-was-caught-hiding-what-it-was-really-thinking
- LessWrong. Some Observations About NLA Explanations. https://www.lesswrong.com/posts/ahu9BCHPFDg9AJF75/some-observations-about-nla-explanations
