VibeVoice od Microsoftu je sada open-source hlasových AI modelů pro práci s dlouhým audiem. Zajímavé na ní není jen generování řeči, ale hlavně snaha udržet kontext, řečníky a strukturu i u delších nahrávek. Projekt pokrývá text-to-speech i speech-to-text a míří na scénáře jako podcasty, vícemluvčí dialogy, přepis schůzek nebo dlouhé konverzační audio.
Za projektem stojí Microsoft a kód je zveřejněný na GitHubu pod MIT licencí. Repozitář popisuje VibeVoice jako rodinu open-source voice AI modelů, která zahrnuje TTS i ASR. Součástí jsou také odkazy na modely na Hugging Face, playground pro ASR a Colab pro realtime TTS.
U rozpoznávání řeči se VibeVoice-ASR zaměřuje na dlouhé nahrávky bez nutnosti je sekat na krátké části. Model má zvládnout až 60 minut audia v jednom průchodu a vytvářet strukturovaný přepis typu kdo mluvil, kdy mluvil a co řekl. Podporuje také vlastní hotwords, tedy výrazy jako jména, technické termíny nebo doménový kontext, které mají zlepšit přesnost u konkrétního obsahu.
U generování řeči VibeVoice pracuje s dlouhým vícemluvčím audiem. VibeVoice-TTS je popsaný jako model pro konverzační audio, podcasty a dialogy až se 4 řečníky a až 90 minutami syntézy v jednom průchodu. Realtime varianta má 0,5B parametrů, podporuje streaming text input a uvádí přibližně 300 ms do první slyšitelné odezvy.
Technicky projekt staví na continuous speech tokenizers pro akustické a sémantické informace, které běží na nízké frekvenci 7,5 Hz. Tím se zkracuje délka sekvence, se kterou model pracuje, aniž by cílem bylo zahodit kvalitu audia. Nad tím je next-token diffusion přístup: LLM pomáhá chápat textový kontext a tok dialogu, zatímco diffusion head generuje akustické detaily.
Zdroje:
