Gemma-4-26B-A4B-it-DFlash od Z Lab je malý draft model pro rychlejší generování textu nad Gemma 4 26B A4B. Nejde o samostatný chat model, ale o pomocnou vrstvu pro speculative decoding. Hlavní myšlenka je jednoduchá: místo toho, aby velký model generoval token po tokenu úplně sám, menší drafter navrhne další blok tokenů a hlavní model je potom ověří. U inference velkých modelů to může zkrátit čekání na odpověď bez změny cílového modelu.
Za projektem stojí Z Lab a autoři práce DFlash: Jian Chen, Yesheng Liang a Zhijian Liu. Model je součástí kolekce DFlash na Hugging Face, kde Z Lab zveřejňuje draft modely pro různé LLM. Varianta pro Gemma 4 26B A4B má na Hugging Face uvedenou kategorii Text Generation, velikost 0.4B a je navázaná na širší metodu DFlash: Block Diffusion for Flash Speculative Decoding.
K čemu je to prakticky dobré: pro vývojáře, kteří chtějí servírovat Gemma 4 26B A4B rychleji. Původní Gemma 4 26B A4B od Google DeepMind je MoE model s 25.2B celkovými parametry a 3.8B aktivními parametry při inferenci. Má kontext až 256K tokenů a podporuje text i obrazový vstup. DFlash verze se používá jako doplněk při dekódování, ne jako náhrada samotného modelu.
DFlash funguje jinak než běžné autoregresivní draft modely. Klasický drafter navrhuje tokeny postupně, takže i jeho část práce zůstává sekvenční. DFlash používá lehký block diffusion model, který se podívá na kontextové reprezentace z cílového modelu a navrhne celý blok tokenů v jednom paralelním průchodu. Cílový model potom návrh ověří a přijme nejdelší platný prefix. Praktický efekt je v tom, že návrh více tokenů nemusí stát úměrně více sekvenčních kroků.
Autoři v paperu uvádějí více než 6× lossless acceleration napříč modely a úlohami a až 2.5× vyšší speedup než EAGLE-3. Projektová stránka Z Lab konkrétně zmiňuje až 6× lossless acceleration na Qwen3-8B a podporu SGLang pro production serving; integrace do vLLM je popsaná jako rozpracovaná. U Gemma 4 26B A4B samotné je dobré čísla brát jako závislá na runtime, GPU, délce kontextu a nastavení počtu draftovaných tokenů.
Zdroje:
