SwarmLLM od Nehantha Narendruly rozdělí jeden jazykový model mezi několik zařízení otevřených v prohlížeči. Každé z nich dostane souvislý rozsah vrstev a zpracuje jej na vlastní GPU přes WebGPU. Hostitelský panel tokenizuje vstup, zpracuje konec modelu a vybere další token. Mezi panely pak přes WebRTC putuje mezivýsledek o velikosti 10 KB, ne celý model.
Projekt míří na situaci, kdy se velký model nevejde do paměti jediného počítače. Podporovaná konfigurace Qwen 3.8 27B má v kvantizaci Q4_0 15 GB; zařízení proto stahují jen přidělené vrstvy, které si pro příští použití uloží do cache prohlížeče. V demu pořízeném 7. září 2026 běžel tento model přes MacBook a iPhone na stejné Wi-Fi rychlostí 10,7 tokenu za sekundu při výstupu 400 tokenů. WebGPU umožňuje výpočetně náročné operace na GPU přímo ve webu, podle MDN však stále nemá jednotnou podporu ve všech běžných prohlížečích.
Místnost lze otevřít bez instalace a účtu, její členové však nemají být cizí lidé. WebRTC umí mezi prohlížeči přenášet binární data přímo a SwarmLLM uvádí šifrování přenosu mezi sousedními panely. Všichni účastníci ale vidí dotazy i odpovědi a autor výslovně varuje, že mezivýsledky modelu nepředstavují ochranu před zvědavým peerem. Hodí se tedy pro společnou práci s vlastními zařízeními nebo s lidmi, kterým byste bez obav poslali sdílený dokument.
Zdroje:
