VibeVoice

VibeVoice 使用以 7.5 Hz 幀率運行的聲學和語義分詞器。與傳統 TTS 系統相比，這顯著降低了計算負載，傳統 TTS 系統通常以更高的幀率運行（例如，25-50 Hz）。這種效率允許處理更長的音頻序列並支持實時或接近實時的生成，這對於交互式應用程序至關重要。

採用下一代令牌擴散框架，將 LLM 與擴散頭相結合。LLM 理解文本上下文和對話流程，而擴散頭生成高保真聲學細節。這種方法允許對語音特徵進行細微的控制，包括韻律、語調和特定於揚聲器的聲音特徵，從而產生更自然的音頻。

在單個音頻生成中支持多達 4 個不同的揚聲器，這比通常處理 1-2 個揚聲器的許多 TTS 模型有了顯著進步。此功能對於創建播客、對話和其他多個聲音至關重要的對話內容特別有價值。該模型在長音頻片段中保持揚聲器一致性。

能夠合成長達 90 分鐘的語音。與許多現有 TTS 系統相比，這是一項顯著的改進，這些系統通常難以生成連貫且自然的音頻。這使得 VibeVoice 適合創建長篇內容，如有聲讀物、播客和教育材料。

VibeVoice 是開源的，允許開發人員和研究人員自由訪問、修改和分發代碼。這促進了 TTS 社區內的協作和創新。開源性質還允許自定義並與其他工具和平台集成，從而提高了其多功能性。