Hlasové agenty si firmy donedávna skládaly jako puzzle ze tří různých kousků: jeden nástroj na přepis řeči, druhý na syntézu a třetí na samotné uvažování uprostřed. OpenAI to ve čtvrtek zkusila nahradit jedním tahem. Do svého API přidala tři nové modely — GPT-Realtime-2, GPT-Realtime-Translate a GPT-Realtime-Whisper — a tím se postavila přímo do cesty celé vrstvě infrastrukturních firem, na které si trh zvykl spoléhat.
Hlavní novinkou je GPT-Realtime-2, nástupce modelu Realtime-1.5 z února letošního roku. Podle OpenAI je to první hlasový model s uvažováním třídy GPT-5, který zpracovává zvuk přímo — bez mezikroku přes text. Zvládá přerušení, paralelní volání externích nástrojů a delší konverzace, aniž by ztratil nit. Na benchmarku Big Bench Audio — sadě tisíce zvukových otázek navržených k testování logického uvažování přímo z hlasu — skóroval 96,6 %, oproti 81,4 % u předchůdce. To je skok o 15,2 procentního bodu, uvádí Neowin s odkazem na data Artificial Analysis.
Vývojářům přibyla jedna nenápadná, ale v praxi rozhodující funkce: preambles. Jsou to krátké průchozí věty — „moment, podívám se na to” nebo „hned to ověřím” — které zaplní pauzu, zatímco model uvažuje. Bez nich působí hlasový agent nepřirozeně. Hloubku uvažování si vývojář nastaví v pěti stupních od minimal po xhigh, informuje server testingcatalog.
GPT-Realtime-Translate překládá řeč v reálném čase ze 70 vstupních jazyků do 13 výstupních. Přízvuk ani změnu tématu uprostřed věty by ho neměly vyvést z rytmu — model je navržený tak, aby zachoval smysl i tempo konverzace. Mezi prvními ho testují Deutsche Telekom a Vimeo. Třetí model, GPT-Realtime-Whisper, je streamingová varianta klasického Whisperu. Přepisuje řeč rovnou, jak vzniká, ne až po skončení nahrávky. Hodí se pro živé titulky, zápisy z porad nebo dokumentaci v reálném čase.
Za pozornost stojí ceny. GPT-Realtime-2 se účtuje po tokenech (32 dolarů za milion audio vstupních tokenů, u kešovaného vstupu desetkrát méně), Translate a Whisper po minutách. Týmy si donedávna hlasové agenty skládaly z Whisperu nebo Deepgramu na přepis, ElevenLabs nebo Cartesie na syntézu a GPT-4 nebo Claude na uvažování uprostřed — a ke každému kousku platily zvlášť. OpenAI teď nabízí jeden model, který celou smyčku uzavírá sám, a účtuje v tokenech tam, kde konkurence účtuje po minutách. Pro skládaný stack je to nepříjemná zpráva, popisuje The Next Web.
ElevenLabs získal loni v únoru sérii D při valuaci 11 miliard dolarů přesně na slibu, že postaví kompletní agentní stack. Teď se ukáže, jestli ho stihl postavit dost rychle. Deepgram má stejný problém na straně přepisu.
Seznam zákazníků, který OpenAI k vydání přibalila, je přehlídka typických nasazení: Zillow, Intercom, Priceline, Glean a Foundation Health u hlasového agenta, BolnaAI, Vimeo a Deutsche Telekom u překladu. Pro firmy to znamená kratší čekání na lince a vícejazyčné hovory bez lepení dílů dohromady. Pro konkurenci to znamená, že ceník na webu už nestačí.
Pojistku proti halucinacím zatím v ceníku nenajdete.
Zdroje: OpenAI blog, Neowin, The Next Web, testingcatalog, Latent Space / Artificial Analysis
