Google představil osmou generaci svých Tensor Processing Units (TPU), která je navržená pro éru tzv. agentic AI – tedy systémů, které samostatně plánují, rozhodují a provádějí úkoly. Nejde jen o další iteraci hardwaru, ale o posun směrem k infrastruktuře optimalizované pro dlouhotrvající, interaktivní a více-krokové AI procesy.
Za vývojem stojí Google Cloud, který TPU dlouhodobě používá jako alternativu k GPU pro trénování i inferenci velkých modelů. Nová generace cílí na workloady, které nejsou jednorázové, ale běží kontinuálně – typicky AI agenti, kteří kombinují modely, paměť a nástroje. To klade jiné nároky na latenci, propustnost i škálování.
TPU v8 se zaměřuje na efektivní provoz těchto agentních systémů. Klíčová je schopnost obsluhovat velké množství paralelních dotazů s nízkou latencí a zároveň zvládat dlouhé kontexty. Infrastruktura je navržená tak, aby zvládala kombinaci trénování, jemného ladění i inference v jednom prostředí bez nutnosti přesunů mezi různými typy hardware.
Součástí je i integrace s nástroji v Google Cloud ekosystému, což umožňuje propojit modely s daty, workflow nástroji a externími službami. To je důležité právě pro agentic AI, kde model není izolovaný, ale funguje jako součást širšího systému, který pracuje s API, databázemi nebo uživatelským vstupem.
Google zároveň zdůrazňuje efektivitu – nové TPU mají nabídnout lepší poměr výkonu a spotřeby energie oproti předchozím generacím i konkurenci. To je klíčové hlavně při škálování agentních systémů, které běží nepřetržitě a generují vysoké provozní náklady.
Celkově jde o snahu přizpůsobit AI infrastrukturu tomu, jak se mění samotné aplikace. Místo jednorázových modelových dotazů se posouváme k dlouho běžícím procesům, které kombinují více kroků a rozhodnutí. Hardware tomu začíná odpovídat.
Zdroje:
