Čtyři Mac Studio, 2 TB sjednocené paměti a cena kolem 50 tisíc dolarů. Přesně tak dnes vypadá jedna z nejzajímavějších ukázek toho, kam se posouvá lokální AI inference. Software Exo umí rozdělit model přes víc strojů, schovat to za běžné API a díky RDMA přes Thunderbolt 5 stlačit latenci natolik, že z toho není jen hezké demo, ale použitelný systém.
To je ten podstatný posun. Nejde o to, že by si zítra každý vývojář koupil čtyři Macy. Nejspíš nekoupí. Jde o to, že lokální modely přestávají být omezené na malé sedmičky a třináctky v Ollamě. Najednou se bavíme o desítkách až stovkách miliard parametrů, někdy i o modelech, které by se ještě před rokem zdály pro domácí nebo firemní provoz úplně mimo.
Jeden takový test mimochodem ukázal i YouTuber NetworkChuck. Důležitější než jméno je ale to, co z měření vyplývá: použitelné lokální LLM se blíží, jen je k nim dnes pořád potřeba rozpočet, který připomíná služební auto, ne běžný počítač.
Exo neprodává krabici, ale směr
Oficiální web Exo Labs popisuje Exo jednoduše: najde zařízení v síti, změří topologii, rozdělí model mezi dostupnou paměť a nabídne standardní rozhraní kompatibilní s OpenAI, Claude, Responses i Ollama klienty. Na webu uvádí podporu pro macOS 26+, licenci Apache-2.0 a latenci 8 µs při RDMA přes Thunderbolt 5. Repo na GitHubu k 1. červenci 2026 ukazuje zhruba 45,8 tisíce hvězd, 3,3 tisíce forků, 168 otevřených issues a 109 otevřených pull requestů. To je na jednu stranu silný signál zájmu, na druhou jasná připomínka, že jde o rychle se vyvíjející projekt, ne o sterilní enterprise produkt.
Repo rovnou slibuje i to, co uživatele zajímá nejvíc: automatické objevování zařízení, topologicky řízené rozdělení modelu, podporu MLX a tensor paralelismus se zrychlením až 1,8x na dvou a 3,2x na čtyřech zařízeních. Zní to skoro až moc hezky. Jenže tady nejde o marketingovou omáčku. Tohle sedí s tím, co ukazují praktické testy i akademické práce.
Nejdřív mi to přišlo trochu jako hezký příběh pro lidi, co mají rádi drahý hardware. Jenže když se člověk prokouše k číslům, začne to dávat mnohem větší smysl.
Čtyři Mac Studio ukazují, kde dnes leží hranice
V testované sestavě jsou čtyři plně vybavené Mac Studio, každý s 512 GB sjednocené paměti. Dohromady tedy 2 TB RAM, 320 GPU jader a 32 TB úložiště. Propojení běží přes Thunderbolt 5 v mesh topologii a výsledná cena se pohybuje kolem 50 000 USD.
To je šíleně moc peněz na “domácí AI”. A zároveň už to není suma, která by byla mimo realitu malého studia, vývojářského týmu nebo firmy, která řeší interní data a nechce je posílat ven.
Naměřené rychlosti z téhle čtyřuzlové sestavy vypadají takto:
| Model | Konfigurace | Rychlost |
|---|---|---|
| Llama 3.3 70B FP16 | 1 uzel | ~5 tokenů/s |
| Llama 3.3 70B FP16 | 4 uzly + RDMA | ~16 tokenů/s |
| Llama 3.2 3B 8-bit | 1 uzel | ~147 tokenů/s |
| Llama 3.2 3B 8-bit | 4 uzly + RDMA | ~240 tokenů/s |
| Qwen Coder 480B | 4 uzly + RDMA | ~40 tokenů/s |
| Kimi K2 | 4 uzly + RDMA | ~28 až 30 tokenů/s |
| DeepSeek 3.1 671B | 4 uzly + RDMA | ~26 až 27 tokenů/s |
Tady je dobré na chvíli zastavit. U obřích modelů už 25 až 40 tokenů za sekundu není akademická rarita. To už je tempo, ve kterém jde psát, analyzovat kód, dělat rešerši nebo provozovat interního asistenta bez pocitu, že čekáte na modem z devadesátek.
Na Redditu se v diskusi o stejném testu objevilo ještě jedno užitečné číslo: u Kimi K2 se mluvilo o 38 tokenech za sekundu při zhruba 110 W na systém, zatímco DeepSeek V3.1 běžel kolem 26 tokenů za sekundu a to se souběžně načteným Kimi K2 v paměti. Beru to opatrně, protože jde o komunitní přepis a ne oficiální benchmark, ale jako orientační signál to sedí s hlavními naměřenými výsledky. (Reddit, leden 2026)
Funguje to. To už se dá říct bez velkých kliček.
Skutečný průlom se jmenuje latence
Celé to nestojí jen na tom, že Apple prodává stroje s velkou sjednocenou pamětí. To je důležité, ale samo o sobě by to nestačilo. Hlavní rozdíl dělá komunikace mezi uzly.
README projektu na GitHubu mluví o 99 % snížení latence mezi zařízeními díky RDMA přes Thunderbolt 5. Oficiální web uvádí 8 µs latenci. V praktickém podkladu k testu se objevuje ještě ostřejší pád, zhruba z 300 µs na 3 µs. Ať už vezmete konzervativnější nebo agresivnější číslo, pointa zůstává stejná: bez nízké latence by se z clusteru stal drahý štrúdl kabelů, který sice model rozběhne, ale bude se ploužit.
Tohle mimochodem vysvětloval už maintainer projektu v diskusi na Hacker News ze 16. července 2024. Přenosy mezi uzly se netýkají celých vah modelu, ale mezivýstupů vrstev. U Llama 3 8B mluvil o zhruba 8 až 10 KB, u Llama 3 70B o 32 KB na krok. To zní zvládnutelně, jenže autoregresivní generování je neúprosné: každá další latence bolí znovu a znovu. Právě proto Exo ze začátku stavělo hlavně na lokální síti a maintainer tehdy otevřeně psal, že projekt je stále experimentální.
Je to dost střízlivé přiznání. A je dobře, že zaznělo.
Apple Silicon z toho dělá zvláštní kategorii
Na běžném PC se lokální inference velkých modelů často zasekne na VRAM. Apple Silicon má jinou výhodu: GPU sahá do stejné sjednocené paměti jako zbytek systému. Mac Studio s 512 GB paměti tak není levný, ale umí něco, co je ve spotřebitelském světě pořád dost vzácné – udrží v chodu obrovský model bez nutnosti okamžitě sahat po serverových GPU.
Proto je Exo dnes tak úzce spojované právě s Macy. Už v akademické práci Towards Building Private LLMs: Exploring Multi-Node Expert Parallelism on Apple Silicon, zveřejněné 30. června 2025, autoři ukázali cluster Mac Studio s M2 Ultra pro provoz modelu DBRX. Jejich závěr stojí za pozornost: u multi-node inference na Apple Silicon není klíčový jen hrubý výpočetní výkon, ale také latence komunikace a režie správy paměti v Apple stacku. Po optimalizacích vyšla jejich sestava 1,15x nákladově efektivnější než špičkový systém s Nvidia H100.
To neznamená, že si Mac cluster maže H100 na chleba. Znamená to něco jiného a dost zajímavého: v určitých typech inference může být dobře postavený Apple cluster ekonomicky méně absurdní, než jsme si ještě nedávno mysleli.
Další krok: ne jeden typ železa, ale chytrá kombinace
Exo míří ještě dál než k propojování stejných Maců. Tom’s Hardware 16. října 2025 popsal demo, kde Exo Labs spojilo dvě Nvidia DGX Spark sestavy s Mac Studio M3 Ultra. Myšlenka je chytrá a vlastně dost prostá: prefill je výpočetně náročný, decode je náročný na paměťovou propustnost. Tak proč obě fáze rvát na stejný stroj?
V benchmarku s Llama 3.1 8B a promptem o délce 8k tokenů vyšla tahle hybridní sestava na 2,8x výkonu proti samotnému Mac Studiu. Tom’s Hardware zároveň připomíná, že tehdejší Exo 1.0 bylo v early access a veřejná open-source verze ještě nebyla hotový produkt pro běžné spotřebitele. To je důležité. Ukazuje to sílu směru, ne hotový trh.
A tady se podle mě láme celá debata. Budoucnost lokální AI nejspíš nebude v jedné zázračné bedně pod stolem. Spíš v orchestru různých strojů, kde jeden umí rychle počítat, druhý drží obří KV cache a třetí má zrovna nejlepší poměr cena versus paměť.
Proč to pořád není mainstream
Důvody jsou tři: cena, provozní složitost a zralost softwaru.
Cena je nejviditelnější. 50 000 USD za čtyři Mac Studio není demokratizace AI pro jednotlivce. Je to vstupenka pro laboratoř, menší firmu nebo dobře financovaný tým. Pro většinu lidí dnes pořád dává větší smysl jeden silnější Mac, menší model v kvantizaci a smíření s tím, že cloud občas vyhraje.
Složitost je druhá brzda. Exo sice schovává cluster za jednoduché API, ale fyzika se tím nezruší. Pořád řešíte verzi systému, kabeláž, topologii, backend, kompatibilitu modelů a to, jestli se vám jedno slabší místo nestane úzkým hrdlem celé sestavy. Stačí chvíle a místo “vlastního AI clusteru” máte víkendový projekt, který se umí nádherně pokazit.
Třetí problém je zralost. Zmíněná diskuse na Hacker News i starší GitHub issue ukazují, že komunita se v roce 2024 a 2025 ptala úplně přímo, jak moc je Exo stabilní a jak rychle se projekt vlastně posouvá. K 1. červenci 2026 je aktivita v repu vysoká, ale počet otevřených issues a pull requestů taky. To je normální u projektu, který rychle roste. Jen je fér čtenáři říct, že tu nejsme v režimu “nainstaluj a zapomeň”.
Prostě: je to použitelné, ale ještě to není normálka.
Proč to přesto začíná být relevantní
Protože trend jde správným směrem. Modely se zlepšují i v kvantizovaných verzích. Paměťová kapacita v lokálním hardwaru roste. A nástroje jako Exo ukazují, že limity se dají obcházet chytřejší organizací inference, ne jen utrácením za stále větší akcelerátory.
Stejně důležité je i to, pro koho se tahle ekonomika mění nejdřív. Ne pro domácího nadšence, který si chce večer povídat s chatbotem. Pro tým, který řeší zdrojáky, interní dokumenty, citlivá data nebo provoz bez internetu. Tam už lokální inference není romantika. Je to obchodní úvaha.
Za dva nebo tři roky možná nebudeme stavět čtyři Mac Studio za cenu auta. Možná bude stačit dvojice levnějších pracovních stanic, menší MoE model a softwarový stack, který nebude chtít péči jako stará Alfa Romeo. Nevím, jestli to přijde tak rychle, jak doufají early adopters. Ale už to nepůsobí jako sci-fi.
Exo dnes neukazuje konečný produkt. Ukazuje, že lokální AI se přesouvá z fáze “tohle je roztomilý experiment” do fáze “tohle je drahé, ale už to dává smysl”. A přesně v téhle přechodové zóně obvykle začínají vznikat opravdu zajímavé trhy.
