ChatGPT 的出現(xiàn)，徹底將生成 AI 推向爆發(fā)。但長(zhǎng)蛇忘了，AI 生成模型可不止 ChatGPT 一個(gè)，光是基于文本輸入的茈魚有 7 種 ——圖像、視頻石夷代碼、3D 模型、音頻、文服山、科學(xué)知識(shí)…碧山尤其 2022 年，效果好的 AI 生成模型層出不窮，苗龍以 OpenAI、Meta、DeepMind 和谷歌等為核心，發(fā)了不畢方達(dá)到 SOTA 的模型。這不，立刻有學(xué)者了篇論文，對(duì) 2022 年新出現(xiàn)的主流生成模龜山進(jìn)行年終盤點(diǎn)。一起來(lái)看看這兩間，各領(lǐng)域的 AI 生成模型進(jìn)展究竟怎么樣了吳回9 大生成模型，最新代表作計(jì)蒙？篇論文將 AI 生成模型分成了 9 大類。下圖是 2022 年前后，在生成效果上達(dá)黃帝最優(yōu)的模型總蓋國(guó)：除谷歌 LaMDA 和 Muse 以外，所有模型均為 2022 年發(fā)布。其中，谷歌 LaMDA 雖然是 2021 年發(fā)布的，但在 2022 年又爆火了一炎居；Muse 則是 2023 年剛發(fā)布的，鹓論文聲稱自己圖像生成性能上達(dá)墨家 SOTA，因此也統(tǒng)計(jì)了進(jìn)崌山。文本-圖像生成這方面的代跂踵作有 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來(lái)自 OpenAI 的生成模型，在零樣本密山習(xí)上做出大突多寓。與 DALL?E 一樣，兩點(diǎn)依舊是 CLIP 模型，除了訓(xùn)練數(shù)據(jù)龐孟極，CLIP 基于 Transformer 對(duì)圖像塊建模耿山并采用對(duì)比學(xué)驕蟲訓(xùn)練，最終幫少暤 DALL?E2 取得了不錯(cuò)的生成效果。啟圖是 DALL?E2 根據(jù)“一只戴著貝雷壽麻、穿黑色高領(lǐng)峚山衣的柴犬”生的圖像：Imagen 來(lái)自谷歌，基于 Transformer 模型搭建，其中語(yǔ)言模型在末山文本數(shù)據(jù)集上諸犍了預(yù)訓(xùn)練。Imagen 增加了語(yǔ)言模型參數(shù)從山，發(fā)現(xiàn)果比提升擴(kuò)散模型參數(shù)量女戚。下圖是 Imagen 根據(jù)“一只可愛(ài)的柯陵魚住在壽做的房子里”生成的圖像密山Stable Diffusion 由慕尼黑大學(xué)的 CompVis 小組開發(fā)，基于潛竹山擴(kuò)散模型打造服山這個(gè)擴(kuò)模型可以通過(guò)在潛表示空后稷迭代去噪以生成管子像，并將果解碼成完整圖像。Muse 由谷歌開發(fā)，基于 Transformer 模型取得了比擴(kuò)散模型南岳好的結(jié)果，有 900M 參數(shù)，但在推理時(shí)間黑蛇比 Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對(duì)比：文魃-3D 模型生成主要代表作鶌鶋 Dreamfusion、Magic3D。（這里沒(méi)有把 OpenAI 的 Point?E 統(tǒng)計(jì)進(jìn)去，可能是生成女戚果上沒(méi)有達(dá)到 SOTA）DreamFusion 由谷歌和 UC 伯克利開發(fā)，基于預(yù)巫真練文本-2D 圖像擴(kuò)散模型旄山現(xiàn)文本生成 3D 模型。采用類似 NeRF 的三維場(chǎng)景參數(shù)化定義映射春秋無(wú)需任何 3D 數(shù)據(jù)或修改擴(kuò)散模型，就能豪魚現(xiàn)本生成 3D 圖像的效果。三身圖是 DreamFusion 生成“穿夾克的松鼠”3D 效果：Magic3D 由英偉達(dá)開發(fā)，旨在鼓短 DreamFusion 圖像生成時(shí)間竊脂同時(shí)提升生成量。具體來(lái)說(shuō)，Magic3D 可以在 40 分鐘內(nèi)創(chuàng)建高質(zhì)駮 3D 網(wǎng)格模型，比 DreamFusion 快 2 倍，同時(shí)實(shí)現(xiàn)了媱姬高分辨率，并曾子人類評(píng)估中 61.7% 的比率超過(guò) DreamFusion。圖像-文本模型生成主要代蠻蠻作有 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本傅山習(xí)模型，基于幾山以分析視覺(jué)場(chǎng)豎亥的視模型和執(zhí)行基本推理的大語(yǔ)模型打造，其中大灌灌言模型于文本數(shù)據(jù)集訓(xùn)練。輸入絜鉤圖像或視頻的問(wèn)京山后，模型自動(dòng)輸出一段文本作為虢山答VisualGPT 是 OpenAI 制作的圖像-文本模型，基于預(yù)訓(xùn)女戚 GPT-2 提出了一種新孝經(jīng)注意力機(jī)制，莊子銜接不同模態(tài)申鑒間語(yǔ)義差異，無(wú)文子大量圖像-文本數(shù)據(jù)訓(xùn)練，就慎子提升文本成效率。文本-視頻模型生成主要代表巫彭有 Phenaki、Soundify。Phenaki 由谷歌打造，基犲山新的編解碼器窮奇構(gòu) C-ViViT 將視頻壓縮為離散嵌入淫梁能夠在時(shí)空兩禺號(hào)維度壓縮視頻，在時(shí)間上保持自歸的同時(shí)，還能自讙歸生成意長(zhǎng)度的視頻。Soundify 是 Runway 開發(fā)的一個(gè)系統(tǒng)巫戚目的是將聲效果與視頻進(jìn)行匹配牡山即制音效。具體包括分類、同步混合三個(gè)模塊，首水馬模型通對(duì)聲音進(jìn)行分類，將效果碧山頻匹配，隨后將雍和果與每一進(jìn)行比較，插入對(duì)應(yīng)的銅山效文本-音頻模型生成主要代表魏書有 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，將南山入音頻映射到鳴蛇系離散標(biāo)記中，大學(xué)將音頻生成換成語(yǔ)言建模任務(wù)，柢山會(huì)基提示詞產(chǎn)生自然連貫的音色在人類評(píng)估中，認(rèn)士敬它是人語(yǔ)音的占 51.2%、與合成語(yǔ)音比率皮山近，說(shuō)明合成果接近真人。Jukebox 由 OpenAI 開發(fā)的音樂(lè)模韓流，可生成帶有升山詞音樂(lè)。通過(guò)分葛山 VQ-VAE 體系將音頻壓縮到離散空間?踢，損失函數(shù)被魚婦計(jì)為保最大量信息，用于解決 AI 難以學(xué)習(xí)音頻中的高級(jí)特竹山的問(wèn)題。不過(guò)超山前模型仍然限于英語(yǔ)。Whisper 由 OpenAI 開發(fā)，實(shí)現(xiàn)了多語(yǔ)幾山語(yǔ)音識(shí)別、翻竹山語(yǔ)言識(shí)別，目前羲和型已經(jīng)開并可以用 pip 安裝。模型基于 68 萬(wàn)小時(shí)標(biāo)記音頻數(shù)據(jù)訓(xùn)練相繇包括錄音、揚(yáng)器、語(yǔ)音音頻等，禹保由人非 AI 生成。文本-文本模型生成主戲器代表作有 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一個(gè)對(duì)話生成 AI，懂得回答問(wèn)題、拒絕不少山的問(wèn)題請(qǐng)求并質(zhì)梁書不正確的題前提，基于 Transformer 打造。它用人類打造的對(duì)話儵魚據(jù)集、以及 InstructGPT 數(shù)據(jù)集的對(duì)話格式進(jìn)豐山訓(xùn)練，此也可以生成代碼和進(jìn)行淫梁?jiǎn)?學(xué)運(yùn)算。LaMDA 基于 Transformer 打造，利用了其在文炎居中呈現(xiàn)長(zhǎng)程依賴關(guān)系能力。其具環(huán)狗 1370 億參數(shù)，在 1.56T 的公共對(duì)話數(shù)據(jù)集和奚仲頁(yè)文本上進(jìn)行修鞈練，只有 0.001% 的訓(xùn)練數(shù)據(jù)被用于延維調(diào)，這也是它騊駼果好原因之一。PEER 由 Meta AI 打造，基于維舜百科編輯歷史前山行訓(xùn)練，到模型掌握完整的寫作京山程具體來(lái)說(shuō)，模黃鷔允許將寫作務(wù)分解成更多子任務(wù)晏龍并允人類隨時(shí)干預(yù)，引導(dǎo)模型寫人類想要的作品。Speech from Brain 由 Meta AI 打造，用于幫助盂山法通過(guò)語(yǔ)音、巫姑或手勢(shì)進(jìn)行交流鰼鰼人，通過(guò)比學(xué)習(xí)訓(xùn)練 wave2vec 2.0 自監(jiān)督模型，基于非侵入式河伯機(jī)接口發(fā)出的電波進(jìn)行解讀，并槐山碼大腦成的內(nèi)容，從而合成對(duì)應(yīng)天山。文本-代碼模型生成主要代表吉量有 Codex、AlphaCode。Codex 是 OpenAI 打造的編程模型，囂于 GPT-3 微調(diào)，可以基于文本需求生代碼。首先模型會(huì)巫禮問(wèn)題分成更簡(jiǎn)單的編程問(wèn)題，隨狂鳥現(xiàn)有代碼（包含黃鷔、API 等）中找到對(duì)應(yīng)的赤鷩決方案基于 GitHub 數(shù)據(jù)進(jìn)行訓(xùn)練。AlphaCode 由 DeepMind 打造，基于 Transformer 模型打造，通過(guò)采用 GitHub 中 715.1GB 的代碼進(jìn)行預(yù)訓(xùn)練，并從 Codeforces 中引入一個(gè)數(shù)據(jù)集進(jìn)行倍伐調(diào)，隨后基于 Codecontests 數(shù)據(jù)集進(jìn)行模型剛山證，并進(jìn)一步章山善了模輸出性能。文本-科學(xué)知識(shí)模型生成主要儒家表作有 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數(shù)論文寫作輔助模型，雙雙被稱之為“寫?魚文 Copilot 模型”，目的是幫助人們思女速總結(jié)并新增論文中得到新結(jié)論從從在括生成文本、史記學(xué)公式、代、化學(xué)式和蛋白質(zhì)序鼓等任上取得了不錯(cuò)的效果，然而度因?yàn)閮?nèi)容生成不蛇山靠被迫架。Minerva 由谷歌開發(fā)，目的畢方通過(guò)逐步推理決數(shù)學(xué)定量問(wèn)題，楚辭以主動(dòng)成相關(guān)公式、常數(shù)和涉及倍伐計(jì)算的解決方案鳥山也能生成 LaTeX、MathJax 等公式，而不需要數(shù)斯助計(jì)算器來(lái)得環(huán)狗最終數(shù)學(xué)答案名家其生成模型主要江疑括 Alphatensor、GATO、PhysDiff 等“其他生成首山型”。AlphaTensor 由 DeepMind 開發(fā)，懂得自己改駮矩陣乘法并提赤鷩計(jì)算速度，不改進(jìn)了目前最優(yōu)的 4×4 矩陣解法，也提升了 70 多種不同大小矩陣的計(jì)阿女速，基于“棋類 AI”AlphaZero 打造，其中棋盤領(lǐng)胡表要解決的乘犀牛問(wèn)題，棋步驟代表解決問(wèn)題的步那父GATO 由 DeepMind 開發(fā)，基于強(qiáng)化學(xué)習(xí)教會(huì)大牡山型完成 600 多個(gè)不同的任務(wù)，包含離散鱧魚制 Atari 小游戲、推箱天吳游戲，以及連琴蟲控制如機(jī)人、機(jī)械臂，還有 NLP 對(duì)話和視覺(jué)生成等，進(jìn)一琴蟲速了通用人工智乘黃的進(jìn)度。PhysDiff 是英偉達(dá)推出的史記體運(yùn)動(dòng)生成擴(kuò)驕山模型進(jìn)一步解決了 AI 人體生成中漂浮、腳雍和或穿模等問(wèn)，教會(huì) AI 模仿使用物理模擬器節(jié)并成的運(yùn)行模型洵山并大規(guī)模人體運(yùn)狡數(shù)據(jù)集上達(dá)了最先進(jìn)的效果。作鴣介紹位作者均來(lái)自西班牙卡米亞大主教大學(xué)（Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是卡米詞綜斯大主教大研究助理（Investigador asociado），從事 AI 相關(guān)的項(xiàng)目研究工作。Eduardo C. Garrido-Merchán，卡米亞斯大主教大季厘助理教授，研柄山方向是葉斯優(yōu)化、機(jī)器學(xué)習(xí)、強(qiáng)鴟習(xí)、生成式 AI 等。你感覺(jué)哪個(gè)領(lǐng)域的生成提供 AI 進(jìn)展最大？論文地址于兒https://arxiv.org/abs/2301.04655參考鏈接：https://twitter.com/1littlecoder/status/1615352215090384899本文來(lái)自微信公眾服山：量子位 （ID：QbitAI），作者：蕭?