Subscribe Now
Trending News
Security

GLM-5.3 vede na CyberGym, otevřené váhy Z.ai zadržela

GLM-5.3 vede na CyberGym, otevřené váhy Z.ai zadržela

Čínská Z.ai představila 14. srpna model GLM-5.3 se skóre 84,5 % na benchmarku CyberGym, který měří schopnost najít v cizím zdrojovém kódu zranitelnost a doložit, že je skutečná. Firma k tomu uvádí 83,8 % pro Mythos 5 od Anthropicu a 83,6 % pro GPT-5.6 Sol od OpenAI. Ve stejném oznámení ale napsala, že váhy modelu zveřejní až přibližně za dva týdny, po dokončení bezpečnostních prověrek.

Obě části té zprávy patří k sobě. Z.ai nepopisuje kyberbezpečnostní schopnosti GLM-5.3 jako plánovaný cíl tréninku, ale jako vedlejší produkt, který přerostl očekávání. A protože ho přerostl, sáhla firma po brzdě, kterou u předchozích modelů řady GLM-5 nepoužila ani jednou.

Pro bezpečnostní tým jsou z toho podstatné tři věci: co ta čísla vlastně měří, co model už našel v reálném softwaru a co znamená, že se model označovaný za open-source zatím stáhnout nedá.

Dvě čísla, dva různé příběhy

CyberGym pracuje v režimu bílé skříňky. Model dostane zdrojový kód, má v něm najít slabé místo a ověřit, že jde o skutečnou chybu, ne o falešný poplach. Tady GLM-5.3 podle Z.ai vede, a to i proti vlastní předchůdkyni: 84,5 % proti 77,2 % u GLM-5.2. Jenže hledání díry a její využití jsou dvě různé disciplíny, a tabulka to ukazuje docela nemilosrdně. Na ExploitBench, kde model musí sestavit funkční exploit, dosáhl GLM-5.3 na 54,4 %. Mythos 5 má podle stejné tabulky 78,0 %, GPT-5.6 Sol 76,5 %. Rozdíl přes dvacet procentních bodů se nedá vyložit jinak než jako zaostávání, i když i tady jde o zdvojnásobení oproti 24,4 %, které měla verze 5.2.

Třetí test, ExploitGym, počítá dokončené úlohy v časovém rozpočtu. GLM-5.3 zvládl 105 úloh během dvou hodin a 130 během šesti. Mythos 5 ve stejných oknech 181 a 247.

Právě tenhle test se v přejatých zprávách často popisuje jako rychlostní zkouška, což je zavádějící. Časové rozpočty jsou normalizované podle propustnosti jednotlivých modelů, takže výsledek nemluví o rychlosti hardwaru, ale o tom, kolik útočných úloh model stihne dotáhnout do konce. Rozdíl 105 proti 181 je rozdíl ve výdrži, ne v tom, kdo má rychlejší GPU.

Všechna uvedená čísla pocházejí z materiálů Z.ai. Reuters i další agentury je převzaly s výslovnou poznámkou, že nezávislé ověření zatím neproběhlo. Vzhledem k tomu, že obecné API firma označuje za nadcházející a váhy nevydala, ověřit je zvenčí ani nejde.

Post-training místo nových parametrů

Technicky je GLM-5.3 zajímavý hlavně tím, co v něm není.

Nový základní model. Z.ai použila stejnou 743miliardovou MoE bázi jako u GLM-5.2 a celý přírůstek schopností připisuje rozšířenému post-trainingu na dlouhých inženýrských úlohách, kde model pracuje s reálnými výpočetními clustery a interními repozitáři. Čísla mimo bezpečnost to podporují: Terminal-Bench 3.0 vyskočil ze 4,6 na 28,3, DeepSWE v1.1 ze 46,2 na 66,9. U prvního z nich je namístě opatrnost, protože šestinásobný relativní nárůst zní dramaticky hlavně proto, že startuje z bodu, kde model prakticky selhával.

Model má kontextové okno 1 milionu tokenů a maximálně 128 tisíc výstupních tokenů, pracuje jen s textem a nabízí tři úrovně reasoning effortu. Vypnout uvažování už ale nejde. Kdo měl v produkci nastavené thinking.type: "disabled", dostal breaking change bez náhrady.

2 436 zranitelností v cizím kódu

Nejsilnější argument proti tomu, že jde jen o benchmarkovou kuriozitu, leží mimo benchmarky. Z.ai od verze GLM-5.2 pouští své modely na reálné kódové báze ve spolupráci s bezpečnostními týmy v Číně, konkrétně s Tsinghua University, Nankai University, firmou NSFOCUS a CyberKunlun. Podle firmy z toho vzešlo 2 436 odlišných zranitelností napříč 269 projekty, z toho 1 097 klasifikovaných jako kritické nebo vysoce závažné. Mezi zasaženým softwarem se objevují Linux, WebKit a FreeBSD. Program běží pod hlavičkou Open Source Shield a Z.ai ho prezentuje jako obranný. Nálezy prochází expertním review a míří do standardního procesu hlášení a záplatování, což zvenčí působí věrohodně, protože nález, který projde CVE procesem, po sobě nechá dohledatelnou stopu.

Zároveň platí, že schopnost systematicky nacházet chyby v rozšířeném softwaru se nedělí na obrannou a útočnou.

Rozděluje se až podle toho, kdo ji drží v ruce.

Zvlášť stojí tvrzení developer advocate Z.ai, že model našel potenciálně vážnou zranitelnost v editoru Cursor. Objevilo se na síti X, Cursor se k němu podle VentureBeatu nevyjádřil, a dokud se tak nestane, patří to do kategorie firemního marketingu.

Open-source, který zatím není ke stažení

GLM-5.2 se objevila na Hugging Face pod licencí MIT během několika dní od spuštění předplatného. GLM-5.3 tenhle rytmus poprvé porušila. K polovině srpna byl model dostupný jen předplatitelům GLM Coding Plan a přes nástroj ZCode, obecné API firma neotevřela, ceník za token nezveřejnila a model card k dispozici nebyla.

Označení open-source se tedy zatím vztahuje k příslibu, ne ke stavu. A ten příslib se týká artefaktu, který Z.ai právě hardenuje kvůli schopnosti, jež je na něm nejzajímavější.

„Podle mého nejlepšího vědomí jde o první případ, kdy čínská laboratoř veřejně odůvodňuje odklad otevřeného vydání vah bezpečnostními důvody,“ řekl agentuře Reuters Gabriel Wagner, výzkumník z pekingské konzultační firmy Concordia AI. Nejcitlivější funkce chce Z.ai i po zveřejnění vah držet za programem, který nazývá trusted access.

Přiznám se, že jsem ten krok četl nejdřív jako PR gesto. Odklad o dva týdny nikoho neochrání a načasování zprávy firmě posloužilo. Jenže existuje verze, kdy to gesto něco stojí: Z.ai si tím rozbila vlastní zavedený vzorec rychlého open-weights vydání, na kterém stála značná část její popularity mezi západními vývojáři.

Vzorec, který se opakuje

Anthropic drží Mythos ve stejné logice, jen o stupeň dál. Jde o variantu modelu Claude Fable 5 se sníženými kyberbezpečnostními pojistkami a firma na své stránce věnované kyberbezpečnosti uvádí, že počáteční přístup omezuje na malý počet partnerů v rámci programu Project Glasswing. OpenAI podle vlastního vyjádření z tohoto měsíce postupovala u svého kyberbezpečnostního modelu obdobně.

Tři laboratoře ze dvou zemí, které spolu jinak nespolupracují, došly během několika týdnů ke stejnému závěru: model, který umí hledat a zneužívat chyby, ven bez filtru nepustíme. To je pro obor silnější signál než jakýkoli jednotlivý benchmark.

Kdy váhy dorazí, se ukáže kolem 28. srpna.

Do té doby platí jediné použitelné shrnutí: GLM-5.3 je dnes dostupný přes předplatné, jeho protějšek od Anthropicu nikoli, a cena za nalezení chyby ve vašich závislostech právě klesla pro všechny včetně těch, kdo nálezy nehlásí.

Zdroje: Z.ai – dokumentace GLM-5.3, Reuters, VentureBeat, Axios. Benchmarková data jsou vendor-reported a k datu publikace neprošla nezávislým ověřením.

Related posts