只需 3 秒鐘，一個(gè)根本沒聽過你說話的 AI，就能完美模仿出你的聲音。是不是鴆極恐？這是微軟最新 AI 成果 —— 語音合成模型 VALL·E，只需 3 秒語音，就能隨意復(fù)制任人的聲音。它脫胎于 DALL?E，但專攻音頻領(lǐng)域，語音合鮨魚果在網(wǎng)上放出后火了有網(wǎng)友表示，要是將 VALL?E 和 ChatGPT 結(jié)合起來，效果簡直爆炸：來與 GPT-4 在 Zoom 里聊天的日子不遠(yuǎn)了。還有網(wǎng)調(diào)侃，（繼 AI 搞定作家、畫家之后）一個(gè)就是配音演員了所以 VALL?E 究竟怎么做到 3 秒鐘模仿“沒聽過”的音？用語言模型來分音頻基于 AI“沒聽過”的聲音合成語音即零樣本學(xué)習(xí)。語音成趨于成熟，但之前樣本語音合成效果并好。主流語音合成方基本是預(yù)訓(xùn)練 + 微調(diào)模式，如果用到零本場景下，會(huì)導(dǎo)致生語音相似度和自然度差?；诖?，VALL?E 橫空出世，相比主流語音模型提出了太一樣的思路。相比統(tǒng)模型采用梅爾頻譜取特征，VALL?E 直接將語音合成當(dāng)成了語言模型的任務(wù)，者是連續(xù)的，后者是散化的。具體來說，統(tǒng)語音合成流程往往“音素 → 梅爾頻譜（mel-spectrogram）→ 波形”這樣的路子。但 VALL?E 將這一流程變成了“音素 → 離散音頻編碼 → 波形”：具體到模型計(jì)上，VALL?E 也和 VQVAE 類似，將音頻量化成一列離散 tokens，其中第一個(gè)量化器責(zé)捕捉音頻內(nèi)容和說者身份特征，后幾個(gè)化器則負(fù)責(zé)細(xì)化信號(hào)使之聽起來更自然：后以文本和 3 秒鐘的聲音提示作為條件自回歸地輸出離散音編碼：VALL?E 還是個(gè)全能選手，除零樣本語音合成，同還支持語音編輯、與 GPT-3 結(jié)合的語音內(nèi)容創(chuàng)建。那么在際測試中，VALL?E 的效果如何呢？連環(huán)境背景柢山都能還原據(jù)已合成的語音效果看，VALL?E 能還原的絕不僅僅是說人的音色。不僅語氣仿到位，而且還支持種不同語速的選擇，如這是在兩次說同一話時(shí)，VALL?E 給出的兩種不同語速但音色相似度仍然較：同時(shí)，連說話者的境背景音也能準(zhǔn)確還。除此之外，VALL?E 還能模仿說話者的多種情緒，包括巫羅、困倦、中立、愉悅惡心等好幾種類型。得一提的是，VALL?E 訓(xùn)練用的數(shù)據(jù)集不算特別大。相比 OpenAI 的 Whisper 用了 68 萬小時(shí)的音頻訓(xùn)練，在只用了 7000 多名演講者、6 萬小時(shí)訓(xùn)練的情況下，VALL?E 就在語音合成相似度上超過了過預(yù)訓(xùn)練的語音合成型 YourTTS。而且，YourTTS 在訓(xùn)練時(shí)，事先已經(jīng)聽過 108 個(gè)演講者中的 97 人聲音，但在實(shí)際測試中還比不過 VALL?E。有網(wǎng)友已經(jīng)在暢想可以應(yīng)用的地方了：僅可以用在模仿自己聲音上，例如幫助殘人士和別人完成對(duì)話也可以在自己不想說時(shí)用它代替自己發(fā)語。當(dāng)然，還可以用在聲書的錄制上。不過VALL?E 目前還沒開源，要想試用可還得再等等。作者介這篇論文所有作者均自微軟，其中有三位同一作。一作 Chengyi Wang，南開大學(xué)和微軟亞研聯(lián)合培養(yǎng)博士生，研興趣是語音識(shí)別、語翻譯和語音預(yù)訓(xùn)練模等。共同一作 Sanyuan Chen，哈工大和微軟亞研院合培養(yǎng)博士生，研究向包括自監(jiān)督學(xué)習(xí)、NLP 和語音處理等。共同一作 Yu Wu，微軟亞研院 NLP 小組研究員，在北航獲得博士尚鳥位，研究向是語音處理、聊天器人系統(tǒng)和機(jī)器翻譯。論文地址：https://arxiv.org/abs/2301.02111音頻試聽地址：https://valle-demo.github.io/參考鏈接：https://twitter.com/DrJimFan/status/1611397525541617665本文來自微信公眾號(hào)：量子?jì)炆?（ID：QbitAI），作者：蕭?