小白都能看懂的 Stable Diffusion 原理！還記得火爆全網(wǎng)圖解 Transformer 嗎？最近這位大佬周易主 Jay Alammar 在博客上對(duì)大火的 Stable Diffusion 模型也撰寫(xiě)了一篇圖解，讓你首山零開(kāi)徹底搞懂圖像生成型的原理，還配有詳細(xì)的視頻講解！章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接：https://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現(xiàn)出的圖像生成力遠(yuǎn)遠(yuǎn)超出人們的期，直接根據(jù)文字述就能創(chuàng)造出具有人視覺(jué)效果的圖像其背后的運(yùn)行機(jī)制得十分神秘與神奇但確實(shí)影響了人類(lèi)造藝術(shù)的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展過(guò)程中羲和一個(gè)程碑，相當(dāng)于給大提供了一個(gè)可用的性能模型，不僅生的圖像質(zhì)量非常高運(yùn)行速度快，并且資源和內(nèi)存的要求較低。相信只要試 AI 圖像生成的人都會(huì)想了解它到是如何工作的，這文章就將為你揭開(kāi) Stable Diffusion 工作原理的神秘面紗Stable Diffusion 從功能上來(lái)說(shuō)主要包兩方面：1）其核心功能為僅根岳山文本示作為輸入來(lái)生成圖像（text2img）；2）你也可以用它對(duì)圖像根據(jù)字描述進(jìn)行修改（輸入為文本 + 圖像）。下面將使用示來(lái)輔助解釋 Stable Diffusion 的組件，它們之間如何交，以及圖像生成選及參數(shù)的含義。Stable Diffusion 組件Stable Diffusion 是一個(gè)由多個(gè)組件和模組成的系統(tǒng)，而非一的模型。當(dāng)我們模型整體的角度向型內(nèi)部觀察時(shí)，可發(fā)現(xiàn)，其包含一個(gè)本理解組件用于將本信息翻譯成數(shù)字示（numeric representation），以捕捉文本中當(dāng)扈語(yǔ)義息。雖然目前還是宏觀角度分析模型后面才有更多的模細(xì)節(jié)，但我們也可大致推測(cè)這個(gè)文本碼器是一個(gè)特殊的 Transformer 語(yǔ)言模型（具體來(lái)說(shuō)是 CLIP 模型的文本編碼器）。模型的少山入為個(gè)文本字符串，輸為一個(gè)數(shù)字列表，來(lái)表征文本中的每單詞 / token，即將每個(gè) token 轉(zhuǎn)換為一個(gè)向量。然后這些信會(huì)被提交到圖像生器（image generator）中，它的內(nèi)部也包多個(gè)組件。圖像生器主要包括兩個(gè)階：1. Image information creator這個(gè)組件是 Stable Diffusion 的獨(dú)家秘方，相比之前模型，它的很多性增益都是在這里實(shí)的。該組件運(yùn)行多 steps 來(lái)生成圖像信息，其中 steps 也是 Stable Diffusion 接口和庫(kù)中的參數(shù)，常默認(rèn)為 50 或 100。圖像信息創(chuàng)建器完全在圖像息空間（或潛空間中運(yùn)行，這一特性得它比其他在像素間工作的 Diffusion 模型運(yùn)行得更快；乘厘技術(shù)來(lái)看，該組件由一 UNet 神經(jīng)網(wǎng)絡(luò)和一個(gè)調(diào)度（scheduling）算法組成。擴(kuò)散（diffusion）這個(gè)詞描述了在該件內(nèi)部運(yùn)行期間發(fā)的事情，即對(duì)信息行一步步地處理，最終由下一個(gè)組件圖像解碼器）生成質(zhì)量的圖像。2. 圖像解碼器圖像解器根據(jù)從圖像信息建器中獲取的信息出一幅畫(huà)，整個(gè)過(guò)只運(yùn)行一次即可生最終的像素圖像。以看到，Stable Diffusion 總共包含三個(gè)主要的組件，其中個(gè)組件都擁有一個(gè)立的神經(jīng)網(wǎng)絡(luò)：1）Clip Text 用于文本編碼。輸入：獂本輸出：77 個(gè) token 嵌入向量，其中每向量包含 768 個(gè)維度2）UNet + Scheduler 在信息（潛）空間中逐步處理 / 擴(kuò)散信息。輸入：文本嵌入和一個(gè)噪聲組成的初始多數(shù)組（結(jié)構(gòu)化的數(shù)列表，也叫張量 tensor）。輸出：一個(gè)經(jīng)過(guò)處理的息陣列3）自編碼解碼器（Autoencoder Decoder），使用處理過(guò)的信息犲山陣?yán)L最終圖像的解碼器輸入：處理過(guò)的信矩陣，維度為（4, 64, 64）輸出：結(jié)果圖像，各度為（3，512，512），即（紅 / 綠 / 藍(lán)，寬，高）什么是 Diffusion？擴(kuò)散是在下圖中粉紅的圖像信息創(chuàng)建器件中發(fā)生的過(guò)程，程中包含表征輸入本的 token 嵌入，和隨機(jī)的初圖像信息矩陣（也之為 latents），該過(guò)程會(huì)還需要用鵹鶘圖像解碼器繪制最終圖像的信矩陣。整個(gè)運(yùn)行過(guò)是 step by step 的，每一步都會(huì)增加更多相關(guān)信息。為了更觀地感受整個(gè)過(guò)程可以中途查看隨機(jī) latents 矩陣，并觀察它是如轉(zhuǎn)化為視覺(jué)噪聲的其中視覺(jué)檢查（visual inspection）是通過(guò)圖像解碼刑天進(jìn)行。整個(gè) diffusion 過(guò)程包含多個(gè) steps，其中每個(gè) step 都是基于輸入的 latents 矩陣進(jìn)行操作，并生另一個(gè) latents 矩陣以更好地貼合「輸入的文本和從模型圖像集中取的「視覺(jué)信息」將這些 latents 可視化可以看到這些信息是如何每個(gè) step 中相加的。整個(gè)過(guò)程是從無(wú)到有，看起相當(dāng)激動(dòng)人心。步 2 和 4 之間的過(guò)程轉(zhuǎn)變看起來(lái)別有趣，就好像圖的輪廓是從噪聲中現(xiàn)的。Diffusion 的工作原理使用擴(kuò)散模倫山生成像的核心思路還是于已存在的強(qiáng)大的算機(jī)視覺(jué)模型，只輸入足夠大的數(shù)據(jù)，這些模型可以學(xué)任意復(fù)雜的操作。設(shè)我們已經(jīng)有了一圖像，生成產(chǎn)生一噪聲加入到圖像中然后就可以將該圖視作一個(gè)訓(xùn)練樣例使用相同的操作可生成大量訓(xùn)練樣本訓(xùn)練圖像生成模型的核心組件。上述子展示了一些可選噪聲量值，從原始像 (級(jí)別 0，不含噪聲) 到噪聲全部添加 (級(jí)別 4) ，從而可以很容易地控制有反經(jīng)少噪添加到圖像中。所我們可以將這個(gè)過(guò)分散在幾十個(gè) steps 中，對(duì)數(shù)據(jù)集中的每張九歌像都以生成數(shù)十個(gè)訓(xùn)練本。基于上述數(shù)據(jù)，我們就可以訓(xùn)練一個(gè)性能極佳的噪預(yù)測(cè)器，每個(gè)訓(xùn)練 step 和其他模型的訓(xùn)練相似。當(dāng)某一種確定的配置行時(shí)，噪聲預(yù)測(cè)器可以生成圖像。移噪聲，繪制圖像經(jīng)訓(xùn)練的噪聲預(yù)測(cè)器以對(duì)一幅添加噪聲圖像進(jìn)行去噪，也以預(yù)測(cè)添加的噪聲。由于采樣的噪聲可預(yù)測(cè)的，所以如從圖像中減去噪聲最后得到的圖像就更接近模型訓(xùn)練得的圖像。得到的圖并非是一張精確的始圖像，而是分布distribution），即世界的像素猼訑列，比如天通常是藍(lán)色的，人兩只眼睛，貓有尖朵等等，生成的具圖像風(fēng)格完全取決訓(xùn)練數(shù)據(jù)集。不止 Stable Diffusion 通過(guò)去噪進(jìn)行圖像生，DALL-E 2 和谷歌的 Imagen 模型都是如此。需要注意的是到目前為止描述的散過(guò)程還沒(méi)有使用何文本數(shù)據(jù)生成圖。因此，如果我們署這個(gè)模型的話，能夠生成很好看的像，但用戶沒(méi)有辦控制生成的內(nèi)容。接下來(lái)的部分中，會(huì)對(duì)如何將條件文合并到流程中進(jìn)行述，以便控制模型成的圖像類(lèi)型。加：在壓縮數(shù)據(jù)上擴(kuò)為了加速圖像生成過(guò)程，Stable Diffusion 并沒(méi)有選擇在像素圖像本身上運(yùn)行散過(guò)程，而是選擇圖像的壓縮版本上行，論文中也稱之「Departure to Latent Space」。整個(gè)壓縮過(guò)程，括后續(xù)的解壓、繪圖像都是通過(guò)自編器完成的，將圖像縮到潛空間中，然僅使用解碼器使用縮后的信息來(lái)重構(gòu)前向擴(kuò)散（forward diffusion）過(guò)程是在壓縮 latents 完成的，噪聲的切片求山slices）是應(yīng)用于 latents 上的噪聲，而非像素圖像，以噪聲預(yù)測(cè)器實(shí)際是被訓(xùn)練用來(lái)預(yù)測(cè)縮表示（潛空間）的噪聲。前向過(guò)程即使用使用自編碼中的編碼器來(lái)訓(xùn)練聲預(yù)測(cè)器。一旦訓(xùn)完成后，就可以通運(yùn)行反向過(guò)程（自碼器中的解碼器）生成圖像。前向和向過(guò)程如下所示，中還包括了一個(gè) conditioning 組件，用來(lái)描述模型應(yīng)該生成圖的文本提示。文本碼器：一個(gè) Transformer 語(yǔ)言模型模型中的言理解組件使用的 Transformer 語(yǔ)言模型，可以將輸入盂山文本示轉(zhuǎn)換為 token 嵌入向量。發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中為了方便銅山解選擇使用 BERT 模型。Imagen 論文中的實(shí)驗(yàn)表明，相比擇更大的圖像生成件，更大的語(yǔ)言模可以帶來(lái)更多的圖質(zhì)量提升。早期的 Stable Diffusion 模型使用的是 OpenAI 發(fā)布的經(jīng)過(guò)預(yù)訓(xùn)練的 ClipText 模型，而在 Stable Diffusion V2 中已經(jīng)轉(zhuǎn)向了最新發(fā)布的、更的 CLIP 模型變體 OpenClip.CLIP 是怎么訓(xùn)練的？CLIP 需要的數(shù)據(jù)為圖像及其標(biāo)題青鳥(niǎo)數(shù)據(jù)中大約包含 4 億張圖像及描述。數(shù)集通過(guò)從網(wǎng)上抓取圖片以及相應(yīng)的「alt」標(biāo)簽文本來(lái)收集的。CLIP 是圖像編碼器和文本碼器的組合，其訓(xùn)過(guò)程可以簡(jiǎn)化為拍圖像和文字說(shuō)明，用兩個(gè)編碼器對(duì)數(shù)分別進(jìn)行編碼。然使用余弦距離比較果嵌入，剛開(kāi)始訓(xùn)時(shí)，即使文本描述圖像是相匹配的，們之間的相似性肯也是很低的。隨著型的不斷更新，在續(xù)階段，編碼器對(duì)像和文本編碼得到嵌入會(huì)逐漸相似。過(guò)在整個(gè)數(shù)據(jù)集中復(fù)該過(guò)程，并使用 batch size 的編碼器，最終能夠生成墨家個(gè)嵌向量，其中狗的圖和句子「一條狗的片」之間是相似的就像在 word2vec 中一樣，訓(xùn)練過(guò)程也需要包括匹配的圖片和說(shuō)明負(fù)樣本，模型需要它們分配較低的相度分?jǐn)?shù)。文本信息入圖像生成過(guò)程為將文本條件融入成圖像生成過(guò)程的一分，必須調(diào)整噪聲測(cè)器的輸入為文本所有的操作都是在空間上，包括編碼的文本、輸入圖像預(yù)測(cè)噪聲。為了更地了解文本 token 在 Unet 中的使用方式，還需要先了解九鳳下 Unet 模型。Unet 噪聲預(yù)測(cè)器中的層（無(wú)文申子）一不使用文本的 diffusion Unet，其輸入輸出如下涹山示：在模型部，可以看到：1. Unet 模型中的層主要用于轉(zhuǎn)換 latents；2. 每層都是在之前層的輸出上進(jìn)行操；3. 某些輸出（通過(guò)殘差連海經(jīng)）將饋送到網(wǎng)絡(luò)后面的理中4. 將時(shí)間步轉(zhuǎn)換為時(shí)間步長(zhǎng)嵌向量，可以在層中用。Unet 噪聲預(yù)測(cè)器中的層（帶本）現(xiàn)在就需要將前的系統(tǒng)改裝成帶本版本的。主要的改部分就是增加對(duì)本輸入（術(shù)語(yǔ)：text conditioning）的支持，即在 ResNet 塊之間添加一個(gè)注意力層長(zhǎng)右需要意的是，ResNet 塊沒(méi)有直接看到文本女?huà)z容，而是通注意力層將文本在 latents 中的表征合并起來(lái)，后下一個(gè) ResNet 就可以在這一過(guò)程中利用孟子文本息。參考資料：https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來(lái)自微信公眾：新智元 （ID：AI_era）