PrismML 17. září vydal Ternary Bonsai 2 27B, komprimovanou verzi Qwen3.8 27B určenou pro lokální běh. Místo běžných vah model používá ternární hodnoty −1, 0 a +1 s FP16 škálováním po skupinách. Firma uvádí 1,76 efektivního bitu na váhu a velikost samotného modelu 5,9 GB. Bonsai 2 přijímá text i obrázky, pracuje s kontextem až 262 tisíc tokenů a má licenci Apache 2.0.
PrismML ve vlastním souhrnném benchmarku naměřil Bonsai 2 skóre 83,9 bodu, zatímco plnopřesný Qwen3.8 27B dosáhl 85,4 bodu. Z toho vychází deklarované zachování 98,2 % výkonu původního modelu. V programovacích testech firma uvádí 81,58 bodu proti 82,17 bodu základního Qwenu. Jde o výsledky výrobce, nikoli o nezávislou reprodukci.
Číslo 5,9 GB ale nepopisuje celou běžnou instalaci. Výchozí skript repozitáře stahuje 7,8 GB variantu vah ve formátu PQ2_0 a samostatný vision projector; větší balení má urychlit zpracování promptů. Bonsai 2 zatím nespustí běžná verze llama.cpp, protože jí chybí použitá Hadamardova aktivační transformace. Instalátor proto stáhne větev llama.cpp od PrismML.
Repozitář nabízí GGUF i MLX balení a připravené skripty pro macOS, Linux a Windows. Model umí volání nástrojů ve formátu kompatibilním s OpenAI a ukázkové rozhraní připojí MCP servery. To z něj dělá kandidáta pro lokální práci s obrázky nebo agenty, kde se vyplatí držet data na vlastním stroji. Praktická rychlost ale bude záviset na hardwaru i zvoleném formátu vah.
Zdroje:
