Mage-VL-Cowork: malý model Microsoftu střídá myš a terminál

Microsoft zveřejnil 30. října 2026 na Hugging Face model Mage-VL-Cowork, který ovládá počítač dvěma způsoby. Kliká a píše do aplikací na obrazovce jako člověk. Když se to hodí víc, spustí příkaz v terminálu nebo krátký skript v Pythonu. Takovému použití se v AI říká computer use. Model dostane úkol obyčejnou větou a k tomu snímek obrazovky. Vrátí další krok, třeba klik na určité souřadnice nebo napsaný text, prostředí ho provede a pošle modelu nový snímek. Tak to jde dokola, dokud úkol není hotový. Agent, který pracuje jen přes obrazovku, má ale dvě slabiny: jeden snímek podle autorů spotřebuje tisíce tokenů a úpravu tabulky musí poskládat z desítek kliknutí, přestože by ji pár řádků kódu udělalo rychleji a výsledek by šel snadno zkontrolovat. Mage-VL-Cowork si v každém kroku vybírá sám, kterou cestou půjde, a nepotřebuje k tomu nadřazený řídicí systém. Váhy jsou volně ke stažení pod licencí Apache 2.0, která dovoluje i komerční použití.

Model vytvořil tým Microsoft Mage pod vedením Xiaoyi Zhang. Technickou zprávu podepsalo 22 autorů. Mage je rodina modelů, které mají všechny kolem čtyř miliard parametrů: Mage-VL rozumí obrázkům a videu, Mage-Flow obrázky generuje a upravuje. Cowork vznikl z rozpracované verze Mage-VL. Ta spojuje vlastní obrazový enkodér Mage-ViT, trénovaný od nuly, s jazykovým modelem Qwen3-4B-Instruct-2507 od Alibaby. Váhy zabírají v přesnosti bfloat16 9,48 GB a podle metadat na Hugging Face obsahují zhruba 4,7 miliardy parametrů, autoři model řadí do třídy 4B. Kontextové okno má při tréninku i nasazení 32 768 tokenů.

Každý krok má pevnou podobu. Model nejdřív v bloku `

` popíše, co vidí a proč volí další akci, pak ji shrne jednou větou a nakonec zavolá nástroj. Nástroje má dva. Nástroj `computer_use` zná 11 akcí od kliknutí přes tažení myší až po psaní a klávesové zkratky a pracuje se souřadnicemi přepočtenými na rozsah 0 až 999, nástroj `bash` spouští příkazy a Python v trvalém shellu. V paměti model drží poslední tři snímky obrazovky a čtyři celé odpovědi, starší kroky stlačí na jednořádková shrnutí. Jak volba vypadá v praxi, ukazuje příklad z dokumentace: na úkol sloučit buňky v souboru .xlsx a doplnit nadpis model LibreOffice Calc vůbec nespustí a soubor upraví knihovnou openpyxl v terminálu. Obrazovku si podle autorů nechává na práci, kterou jinak než očima neudělá, třeba na úpravy v grafickém editoru nebo na stav běžící aplikace. Trénink měl pět fází. Model se nejdřív učil najít na obrazovce správný prvek, pak plnit celé úlohy myší a klávesnicí, zvlášť programovat a pracovat v terminálu a teprve potom oba kanály kombinovat. Na konci přišlo posilované učení na 1 988 úlohách, jejichž splnění jde automaticky ověřit. Ukázkové postupy nahrával velký učitelský model a autoři mu předtím prostředí spíš osekali, než rozšířili. Vyhodili nástroj xdotool i výpisy stromu přístupnosti a do systému předinstalovali knihovny pro práci s prezentacemi a tabulkami, třeba python-pptx nebo openpyxl. Jak moc na tom záleží, ukazuje pokus s učitelem GPT-5.4 na 672 testovacích úlohách. Bez stromu přístupnosti zvládl 92,0 %, s ním 89,6 %, takže rozdíl byl malý. Malé modely učené z obou sad jeho záznamů se ale rozešly výrazně víc, na 37,6 % proti 25,1 %. Úlohy generoval systém Mage-CUA-Forge, který podle zprávy vyrobil 293 806 úloh pro 6 915 dovedností. Cenu vygenerování jedné úlohy snížil z 0,906 na 0,158 dolaru oproti postupu, kdy agent staví každou úlohu zvlášť. Trénovalo se na 32 grafických kartách NVIDIA B200. Hlavní číslo pochází z testu OSWorld. Sestavili ho hlavně výzkumníci z Hongkongské univerzity ve spolupráci se Salesforce Research. Obsahuje 369 úloh, které agent plní ve virtuálním počítači s Ubuntu a skutečnými aplikacemi, například LibreOffice, GIMP, Chrome nebo Thunderbird. Každá úloha má připravený výchozí stav a vlastní skript, který na konci zkontroluje výsledek, třeba obsah uloženého souboru. Lidé v původní studii zvládli přes 72 % úloh. Verze OSWorld-Verified s opravenými úlohami vyšla 28. července 2025 a pravidla dovolují vynechat 8 úloh s Google Drive, takže se běžně počítá s 361 úlohami. Na nich Mage-VL-Cowork s limitem 50 kroků podle autorů dosáhl 66,0 %. Číslo je průměr ze dvou běhů s výsledky 65,33 a 66,75 %. Nejlépe mu šly úlohy přímo v operačním systému (87,5 %), u úloh napříč několika aplikacemi měl 62,7 %. Ve srovnávací tabulce autorů je před ním z modelů se známou velikostí jen ScaleCUA-Qwen3.5-9B s 68,7 %, těsně za ním Muse Glimmer-30B s 65,9 % a dál Qwen3.6-27B s 63,9 %. Jiný model se čtyřmi miliardami parametrů, Fara1.5-4B, má v tabulce 13,9 %. Velké uzavřené modely jsou výš: GPT-5.5 má 78,7 %, Claude Opus 4.7 78,0 %. Výsledky ostatních modelů kromě GPT-5.4-mini autoři sami nespouštěli, převzali je z dříve zveřejněných čísel a některé z nich vznikly při limitu 100 kroků místo 50. Slovo Verified v názvu testu ale neznamená, že výsledek Mage-VL-Cowork někdo nezávisle ověřil. Správci OSWorldu vedou vlastní žebříček, kam zapisují jen výsledky, které sami spustili nebo které posoudili podle dodaných záznamů z běhu. Mage-VL-Cowork v něm při kontrole 31. října 2026 nebyl. Chyběly tam i Muse Glimmer-30B a Qwen3.6-27B. Část čísel ze srovnávací tabulky Microsoftu se s žebříčkem shoduje, třeba OpenCUA-72B se 44,9 % při 50 krocích nebo Kimi K2.6 se 73,06 %. Špička žebříčku je ale výš, než naznačuje tabulka autorů. Nejvýš stojí agentní systém Intelligence-Indeed Agent s 90,19 % a z jednotlivých modelů Claude Fable 5 od Anthropicu s 85,96 %, oba se 100 kroky. Kdo chce výsledek ověřit sám, najde u modelu skripty pro OSWorld a na GitHubu sadu pro spuštění všech 361 úloh. Posilované učení podle autorů přidalo oproti předchozí fázi 10,16 procentního bodu a zároveň zkrátilo práci. Průměrný počet volání modelu na úlohu klesl z 21,57 na 18,77 a vygenerovaných tokenů ze 7 374 na 5 499. Na projektové stránce Microsoft ukazuje dvě videa, ve kterých model soupeří s Qwen3.6-27B, jenž smí jen klikat. Úkol v LibreOffice Calc, kde bylo potřeba sloučit dvě oblasti buněk, popsat je, přidat sloupcový graf a uložit soubor, zvládl Mage-VL-Cowork přes Python v terminálu za 39 sekund a 6 kroků, Qwen za 9 minut 56 sekund a 39 kroků. Ve druhém videu upravuje Mage-VL-Cowork obrázek v GIMPu přes grafické rozhraní, uložený soubor pak kontroluje v terminálu a hotovo má za 1 minutu 58 sekund. Qwen se zastaví po 7 minutách a 2 sekundách se souborem, který kontrolou úlohy neprojde. Ke spuštění je potřeba knihovna transformers s volbou `trust_remote_code`, protože model má vlastní architekturu, a autoři doporučují server SGLang v připraveném kontejneru Docker. U bezpečnosti jsou přísní. Agent smí spouštět libovolné příkazy, proto patří jen do izolovaného kontejneru nebo virtuálního stroje bez přístupu k souborům hostitele a k místní síti. Odesílání dat ven, přihlášení k účtům, platby nebo změny oprávnění má podle nich předem odsouhlasit člověk a odchozí provoz je dobré omezit kvůli prompt injection ukryté ve webových stránkách a dokumentech. Zdroje: – [Hugging Face: microsoft/Mage-VL-Cowork, 30. října 2026](https://huggingface.co/microsoft/Mage-VL-Cowork) – [Microsoft Mage: projektová stránka Mage-VL-Cowork](https://microsoft.github.io/Mage/cowork/) – [Technická zpráva Mage-VL-Cowork (PDF), 30. října 2026](https://github.com/microsoft/Mage/blob/main/assets/mage_vl_cowork_tech_report.pdf) – [GitHub: microsoft/Mage, mage_vl_cowork](https://github.com/microsoft/Mage/tree/main/mage_vl_cowork) – [OSWorld: benchmark a žebříček OSWorld-Verified](https://osworld-v1.xlang.ai/)