VibeVoice

VibeVoice utiliza tokenizadores Acústicos e Semânticos operando a uma taxa de quadros de 7,5 Hz. Isso reduz significativamente a carga computacional em comparação com os sistemas TTS tradicionais, que geralmente operam em taxas de quadros muito mais altas (por exemplo, 25-50 Hz). Essa eficiência permite o processamento de sequências de áudio mais longas e suporta a geração em tempo real ou quase em tempo real, crucial para aplicações interativas.

Emprega um framework de difusão de próximo token, combinando um LLM com uma cabeça de difusão. O LLM entende o contexto textual e o fluxo do diálogo, enquanto a cabeça de difusão gera detalhes acústicos de alta fidelidade. Essa abordagem permite um controle diferenciado sobre as características da fala, incluindo prosódia, entonação e traços vocais específicos do falante, resultando em áudio com som mais natural.

Suporta até 4 falantes distintos em uma única geração de áudio, um avanço significativo em relação a muitos modelos TTS que normalmente lidam com 1-2 falantes. Esse recurso é particularmente valioso para criar podcasts, diálogos e outros conteúdos conversacionais onde várias vozes são essenciais. O modelo mantém a consistência do falante em longos segmentos de áudio.

Capaz de sintetizar fala com até 90 minutos de duração. Essa capacidade é uma melhoria notável em relação a muitos sistemas TTS existentes, que frequentemente lutam para gerar áudio coerente e com som natural em durações estendidas. Isso torna o VibeVoice adequado para criar conteúdo de longa duração, como audiolivros, podcasts e materiais educacionais.

VibeVoice é de código aberto, permitindo que desenvolvedores e pesquisadores acessem, modifiquem e distribuam o código livremente. Isso promove a colaboração e a inovação dentro da comunidade TTS. A natureza de código aberto também permite a personalização e integração com outras ferramentas e plataformas, aumentando sua versatilidade.