VibeVoice

VibeVoice utilise des tokenizers Acoustiques et Sémantiques fonctionnant à une fréquence d'images de 7,5 Hz. Cela réduit considérablement la charge computationnelle par rapport aux systèmes TTS traditionnels, qui fonctionnent souvent à des fréquences d'images beaucoup plus élevées (par exemple, 25-50 Hz). Cette efficacité permet de traiter des séquences audio plus longues et prend en charge la génération en temps réel ou quasi réel, cruciale pour les applications interactives.

Emploie un framework de diffusion next-token, combinant un LLM avec une tête de diffusion. Le LLM comprend le contexte textuel et le flux du dialogue, tandis que la tête de diffusion génère des détails acoustiques haute fidélité. Cette approche permet un contrôle nuancé des caractéristiques de la parole, y compris la prosodie, l'intonation et les traits vocaux spécifiques aux locuteurs, ce qui donne un son plus naturel.

Prend en charge jusqu'à 4 locuteurs distincts au sein d'une seule génération audio, une avancée significative par rapport à de nombreux modèles TTS qui gèrent généralement 1 à 2 locuteurs. Cette fonctionnalité est particulièrement précieuse pour la création de podcasts, de dialogues et d'autres contenus conversationnels où plusieurs voix sont essentielles. Le modèle maintient la cohérence des locuteurs sur de longs segments audio.

Capable de synthétiser la parole jusqu'à 90 minutes. Cette capacité est une amélioration notable par rapport à de nombreux systèmes TTS existants, qui ont souvent du mal à générer un son cohérent et naturel sur de longues durées. Cela rend VibeVoice adapté à la création de contenus longs tels que des livres audio, des podcasts et du matériel pédagogique.

VibeVoice est open-source, permettant aux développeurs et aux chercheurs d'accéder, de modifier et de distribuer le code librement. Cela favorise la collaboration et l'innovation au sein de la communauté TTS. La nature open-source permet également la personnalisation et l'intégration avec d'autres outils et plateformes, augmentant sa polyvalence.