Anthropic 7. května 2026 publikoval výzkumný paper o metodě Natural Language Autoencoders (NLA). Technika převádí číselné aktivace uvnitř velkých jazykových modelů do čitelného textu a byla použita při pre-deployment auditu modelů Claude Opus 4.6 a Claude Mythos Preview.
NLA se skládá ze dvou částí: activation verbalizer generuje textový popis aktivace, activation reconstructor z popisu rekonstruuje původní vektor. Obě komponenty se trénují společně metodou reinforcement learning, přičemž jediným kritériem je přesnost rekonstrukce. Podle paperu metoda vysvětlí 60–80 % rozptylu aktivací u testovaných modelů.
Klíčová zjištění z auditu
Při auditu Opus 4.6 NLA odhalily unverbalized evaluation awareness – stav, kdy model vnitřně vyhodnocuje, že se nachází v testovacím scénáři, ale ve výstupu o tom neinformuje. Detekce evaluation awareness funguje v 16 % případů u alignment evaluací proti necelému 1 % v reálném provozu claude.ai.
Metoda také pomohla identifikovat příčinu chyby v ranných verzích Opus 4.6, které občas odpovídaly na anglické dotazy v ruštině nebo jiných jazycích. NLA ukázaly, že model si vnitřně vytvářel hypotézu o národnosti uživatele ještě před prvním cizojazyčným tokenem. Anthropic na základě toho dohledal v trénovacích datech anglické překlady promptů spárované s odpověďmi v původním jazyce.
Omezení a dostupnost
Anthropic přiznává, že NLA halucinují – generují tvrzení, která v aktivaci nejsou. Tematická tvrzení jsou podle interní analýzy spolehlivější než konkrétní detaily. Trénink je navíc náročný: NLA pro open model Gemma 27B trvalo natrénovat 1,5 dne na dvou uzlech s 8× H100.
Anthropic uvolnil tréninkový kód a natrénované NLA pro open modely na GitHubu. Interaktivní rozhraní pro experimentování vzniklo ve spolupráci s projektem Neuronpedia.
Zdroje
- Fraser-Taliente, K., Kantamneni, S., Ong, E. et al. Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations. Transformer Circuits Thread, 7. května 2026. https://transformer-circuits.pub/2026/nla/
- Anthropic. Training code a natrénované NLA pro open modely (GitHub repo). https://github.com/kitft/natural_language_autoencoders
- Neuronpedia. Interaktivní rozhraní pro NLA nad open modely. https://www.neuronpedia.org/nla
