VibeVoice

VibeVoice использует акустические и семантические токенизаторы, работающие с частотой кадров 7,5 Гц. Это значительно снижает вычислительную нагрузку по сравнению с традиционными системами TTS, которые часто работают с гораздо более высокой частотой кадров (например, 25-50 Гц). Эта эффективность позволяет обрабатывать более длинные аудиопоследовательности и поддерживает генерацию в реальном времени или почти в реальном времени, что имеет решающее значение для интерактивных приложений.

Использует фреймворк диффузии следующего токена, объединяя LLM с диффузионной головкой. LLM понимает текстовый контекст и поток диалога, в то время как диффузионная головка генерирует высокоточные акустические детали. Этот подход позволяет осуществлять нюансированный контроль над характеристиками речи, включая просодию, интонацию и специфические для говорящего вокальные черты, что приводит к более естественному звучанию аудио.

Поддерживает до 4 отдельных говорящих в рамках одной генерации аудио, что является значительным достижением по сравнению со многими моделями TTS, которые обычно обрабатывают 1-2 говорящих. Эта функция особенно ценна для создания подкастов, диалогов и другого разговорного контента, где необходимо несколько голосов. Модель поддерживает согласованность голосов в течение длительных аудиосегментов.

Способен синтезировать речь продолжительностью до 90 минут. Эта возможность является значительным улучшением по сравнению со многими существующими системами TTS, которые часто испытывают трудности с генерацией связного и естественного звучания аудио в течение длительного времени. Это делает VibeVoice подходящим для создания продолжительного контента, такого как аудиокниги, подкасты и учебные материалы.

VibeVoice имеет открытый исходный код, что позволяет разработчикам и исследователям получать доступ к коду, изменять его и распространять его свободно. Это способствует сотрудничеству и инновациям в сообществе TTS. Открытый исходный код также позволяет настраивать и интегрировать его с другими инструментами и платформами, повышая его универсальность.