daVinci-MagiHuman je open-source model pro generování videa se synchronizovaným audiem, zaměřený hlavně na lidské postavy. Zajímavý je tím, že místo složitějších multimodálních architektur s oddělenými větvemi pro obraz a zvuk používá jeden společný Transformer pro text, video i audio. Právě na jednoduchosti architektury staví i hlavní výhodu projektu: rychlejší inference bez toho, aby model ztratil kvalitu v lipsyncu, řeči nebo pohybu těla.
Za projektem stojí SII-GAIR a Sand.ai. Model má 15 miliard parametrů a 40 vrstev a všechny modality zpracovává v jednom tokenovém proudu pouze přes self-attention. V praxi to znamená, že textový prompt, obrazová reference, video i audio nevstupují do různých specializovaných bloků, ale model je denoisuje společně v jedné sekvenci. Tím se zmenšuje architektonická i implementační složitost a celý pipeline se snáz optimalizuje pro trénování i nasazení.
Autoři tuhle jednoduchost doplňují několika technikami pro rychlé generování. Základní video vzniká v nižším rozlišení a pak se doostřuje latent-space super-resolution krokem, takže se vyhne zbytečnému decode-encode kolečku. Další zrychlení přidává Turbo VAE decoder, full-graph kompilace přes MagiCompiler a distilace, díky které model generuje jen v osmi denoising krocích bez classifier-free guidance. Výsledek je podle zveřejněných čísel 5sekundové video v 256p za 2 sekundy a stejně dlouhé video v 1080p za 38,4 sekundy na jedné H100.
Vedle rychlosti jsou zajímavé i benchmarky kvality. V automatickém hodnocení dosáhl daVinci-MagiHuman visual quality 4,80, text alignment 4,18 a word error rate 14,60 %, zatímco Ovi 1.1 měl WER 40,45 % a LTX 2.3 19,23 %. V párovém lidském hodnocení na 2 000 porovnáních model vyhrál v 80,0 % případů proti Ovi 1.1 a v 60,9 % proti LTX 2.3. Kromě angličtiny podporuje i mandarínštinu, kantonštinu, japonštinu, korejštinu, němčinu a francouzštinu, takže nejde jen o rychlou ukázku architektury, ale o použitelný základ pro další open-source audio-video generaci.
Zdroje:
