Startup Subquadratic tento týden představil model SubQ a tvrdí něco, co ještě před pár lety znělo skoro jako sci-fi: velké jazykové modely už nemusí škálovat kvadraticky. Jinými slovy — čím delší kontext model dostane, tím už nemusí růst výpočetní náročnost brutálním způsobem.
A pokud se jejich čísla potvrdí i mimo marketingové benchmarky, může to být jedna z nejdůležitějších architektonických změn od nástupu transformerů.
Podle firmy používá SubQ vlastní architekturu „Subquadratic Sparse Attention“ (SSA), která se nesnaží počítat vztahy mezi úplně všemi tokeny v kontextu. Místo toho vybírá jen ty vazby, které jsou skutečně relevantní. Výsledek? Firma tvrdí, že při dlouhých kontextech dosahuje skoro lineárního škálování místo klasického O(n²), které dnes limituje prakticky všechny velké modely.
Proč je kvadratická pozornost problém
Současné transformery fungují tak, že každý token porovnávají s každým dalším tokenem v kontextu.
To je elegantní. A strašně drahé.
Když zdvojnásobíte délku kontextu, výpočetní náročnost nevzroste dvojnásobně, ale zhruba čtyřnásobně. Proto jsou dnešní milionové kontexty extrémně nákladné a často i pomalé.
Techniky jako FlashAttention sice pomohly s efektivitou implementace, ale samotný problém nezmizel. Transformer pořád v principu počítá téměř všechno se vším.
Subquadratic tvrdí, že právě tohle mění.
Podle popisu architektury SSA model aktivně hledá jen důležité vztahy mezi tokeny a ignoruje obrovské množství „zbytečných“ spojení. Firma uvádí, že při kontextu o velikosti milionu tokenů je SubQ až 52× rychlejší než FlashAttention 2 a při extrémně dlouhých kontextech může ušetřit téměř tisícinásobek výpočtů.
To zní skoro absurdně ambiciózně. Zároveň ale podobným směrem míří výzkum už několik let — různé sparse attention, linear attention nebo architektury typu Hyena se snaží obejít limit transformerů dlouhodobě. Rozdíl je v tom, že většina těchto přístupů měla problém udržet kvalitu modelu při reálném nasazení.
A právě tady bude rozhodující otázka: funguje to i mimo demo benchmarky?
12 milionů tokenů není jen větší číslo
SubQ momentálně tvrdí podporu až 12 milionů tokenů kontextu. To je řádově víc než dnešní mainstream.
Pro představu:
- celý větší codebase,
- několik desítek technických knih,
- roky interní dokumentace,
- nebo třeba kompletní právní archiv firmy.
Všechno najednou.
A tady začíná být zajímavý dopad na coding.
Dnešní AI coding agenti pořád bojují s fragmentací kontextu. Model vidí jen část repozitáře, zbytek se musí dohledávat přes RAG pipeline, embeddingy nebo agresivní sumarizaci.
Jenže jakmile model zvládne skutečně dlouhý kontext levně a rychle, může se celý workflow změnit.
Místo složitého retrieval systému by model jednoduše „viděl celý projekt“. Ne jen relevantní soubory vytažené retrieverem, ale opravdu všechno — historii commitů, dokumentaci, testy, dependency graf, staré bugy i TODO poznámky.
To by mohlo zásadně změnit způsob, jak fungují AI coding asistenti.
Subquadratic mimochodem zároveň oznámil i nástroj SubQ Code, tedy vlastního coding agenta postaveného právě na dlouhém kontextu.
Znamená to konec RAGu?
Asi ne úplně.
Ale možná konec části dnešních komplikovaných RAG pipeline.
Retrieval-Augmented Generation vznikl hlavně proto, že modely neuměly efektivně pracovat s obrovským množstvím dat najednou. Muselo se tedy předvýběrem rozhodnout, které dokumenty do kontextu vůbec pustit.
To má několik problémů:
- retriever může vybrat špatné dokumenty,
- embeddingy často ztrácí jemný kontext,
- pipeline jsou drahé a složité,
- a při codingu se často rozpadá globální pochopení projektu.
Pokud by dlouhý kontext opravdu přestal být drahý, část dnešního RAG stacku by mohla být zbytečná.
Model by si prostě přečetl všechno.
Na druhou stranu, ani 12 milionů tokenů není nekonečno. Firmy mají petabajty dat a retrieval bude pořád důležitý kvůli filtrování, prioritizaci nebo práci v reálném čase.
Spíš než „konec RAGu“ tak dává větší smysl mluvit o posunu hranice mezi retrieval a čistým kontextem.
A ta hranice se možná právě posouvá dost dramaticky.
Skepticismus je pořád na místě
AI komunita je vůči podobným oznámením přirozeně opatrná.
Subquadratic zatím nezveřejnil kompletní technický paper ani detailní model card. Velká část informací pochází z vlastních benchmarků firmy a z prezentací na sociálních sítích.
Historie navíc ukazuje, že „lineární attention“ často funguje skvěle v teorii, ale při reálných úlohách degraduje kvalitu modelu.
Přesto je kolem SubQ vidět nezvykle silný zájem.
Důvod je jednoduchý: většina AI firem dnes naráží na stejný strop. Ne nedostatek parametrů, ale cenu práce s dlouhým kontextem.
A pokud někdo opravdu našel způsob, jak tenhle problém obejít bez dramatického propadu kvality, dopad může být větší než jen další benchmarkový souboj s OpenAI nebo Anthropic.
Může to změnit samotnou ekonomiku AI systémů.
Subquadratic zatím model veřejně neotevřel, ale firma už sbírá zájemce o early access přes svůj web.
Zdroje
-
Subquadratic https://subq.ai/
-
Introducing SubQ https://subq.ai/introducing-subq
-
The New Stack https://thenewstack.io/subquadratic-12-million-context-window/
-
Sociální prezentace benchmarků a SSA architektury https://x.com/i/trending/2051670040802672646?lang=en
