Exo řeší jednoduchý, ale častý problém u lokálních AI modelů: jeden počítač má málo paměti nebo výkonu, ale v domácnosti či kanceláři jich může být víc. Projekt z nich skládá jeden lokální inference cluster, ve kterém se model nemusí vejít na jedno zařízení. Místo ruční konfigurace uzlů exo samo hledá dostupné stroje v síti, čte jejich topologii a rozděluje model podle paměti, latence, propustnosti a dostupného výpočetního výkonu. Pro uživatele má být výsledkem běžné API, které se dá napojit na existující klienty.
Za projektem stojí EXO Labs, tým zaměřený na open-source infrastrukturu pro decentralizovanější běh AI. Repozitář je vedený pod organizací exo-explore a projekt je licencovaný pod Apache-2.0. Mezi veřejně uváděné spoluzakladatele EXO Labs patří Alex Cheema a Mohamed Baioumy z Oxfordu. Samotný projekt už má na GitHubu desítky tisíc hvězd, což u nástrojů pro lokální AI obvykle znamená aktivní komunitu a dostatek lidí, kteří ho zkouší na vlastním hardwaru.
Praktické použití je hlavně tam, kde chceš větší model spustit lokálně, ale nechceš stavět klasický server s jednou obří GPU. Exo cílí především na Macy a pracovní stanice, tedy na hardware, který už uživatelé často mají. Oficiální web popisuje podporu OpenAI, Claude, Responses a Ollama kompatibilních API, takže aplikace nemusí nutně vědět, že pod nimi běží distribuovaný cluster. To je důležité hlavně pro vývojáře, kteří už mají nástroje napojené na standardní endpointy.
Technicky exo stojí na automatickém objevování zařízení, čtení síťové topologie a umisťování shardů modelu na dostupný hardware. Na Apple Silicon používá MLX a MLX distributed, přičemž projekt počítá i s rychlým propojením přes Thunderbolt. V dokumentaci se uvádí RDMA přes Thunderbolt 5 a výrazné snížení latence mezi zařízeními. Exo také podporuje tensor parallelism, kde se model sharduje přes více zařízení, aby se zkrátil čas inference a zároveň rozšířila dostupná paměť.
Čísla je potřeba brát jako výsledky konkrétních sestav, ne jako univerzální slib. Repozitář uvádí až 1,8× zrychlení na dvou zařízeních a 3,2× na čtyřech zařízeních u tensor parallelism. Oficiální web zmiňuje latenci 8 µs při RDMA přes Thunderbolt 5. Tom’s Hardware popsal demo, kde EXO Labs spojilo dvě NVIDIA DGX Spark sestavy s Mac Studiem M3 Ultra a při benchmarku s Llama 3.1 8B dosáhlo 2,8× zrychlení proti samotnému Mac Studiu. Zajímavé na tom není jen výsledné číslo, ale princip: různé stroje mohou dělat různé části inference podle toho, v čem jsou silné.
Exo tak zapadá do širšího trendu lokální AI, kde už nejde jen o spuštění malého modelu na jednom notebooku. Projekt se snaží udělat z více běžných strojů použitelnou výpočetní vrstvu, která se ovládá přes známá API. Pro českého vývojáře je to praktické hlavně jako domácí nebo firemní experimentální cluster: může testovat větší modely, držet data lokálně a přitom neřešit každé zařízení jako samostatný server. Největší smysl dává u Maců a pracovních stanic s dobrou sítí; na Linuxu dokumentace zatím uvádí běh přes CPU a GPU podporu jako rozpracovanou.
Zdroje:
- https://github.com/exo-explore/exo
- https://exolabs.net/
- https://www.tomshardware.com/software/two-nvidia-dgx-spark-systems-combined-with-m3-ultra-mac-studio-to-create-blistering-llm-system-exo-labs-demonstrates-disaggregated-ai-inference-and-achieves-a-2-8-benchmark-boost
- https://app.dealroom.co/companies/exo_labs
- https://www.0xbeacon.com/companies/exo
