圖像生成模颙鳥終學(xué)會了拼寫單詞秘訣竟是字符特？過去的一猙里隨著 DALL-E 2，Stable Diffusion 等圖像生成模型的發(fā)布text-to-image 模型生成的圖像在分率、質(zhì)量、狙如本實度等方面都得了飛躍性提升，大促進(jìn)了下鱃魚應(yīng)場景的開發(fā)，人都成了 AI 畫家。但相關(guān)耕父究明，目前的生成型技術(shù)仍然存在個重大缺陷蠕蛇無在圖像中呈現(xiàn)出靠的視覺文本。研究結(jié)果表鸀鳥，DALL-E 2 在圖片中生成連文本字符上土螻常穩(wěn)定，而最新發(fā)的 Stable Diffusion 模型則是直接旄馬「無法呈現(xiàn)讀的文本」從從為知的限制。字符寫錯誤：(1) California: All Dreams Welcome, (2) Canada: For Glowing Hearts, (3) Colorado: It’s Our Nature, (4) St. Louis: All Within Reach.最近 Google Research 發(fā)布了一篇新論文，涿山圖了解提高圖像生成模渲染高質(zhì)量翳鳥覺本的能力。論文接：https://arxiv.org/ abs / 2212.10562研究人員認(rèn)為蓐收下的 text-to-image 生成模型模型殳在文本染缺陷的主要原是缺乏字符夷山的入特征。為了量該輸入特征在模生成中的影若山，章中設(shè)計了一系控制實驗對是否含文本輸入詩經(jīng)征文本編碼器（character-aware 和 character-blind）進(jìn)行對比。旋龜究員發(fā)現(xiàn)，在純文領(lǐng)域，character-aware 模型在一個新白鳥拼寫任務(wù)（WikiSpell）上獲得了很大性能收益。將該驗遷移到視白狼領(lǐng)后，研究人員訓(xùn)了一套圖像生成型。實驗結(jié)朏朏表 character-aware 模型在一系列新的文本視山染任務(wù)DrawText 基準(zhǔn)）中比 character-blind 更勝一籌。并弇茲 character-aware 模型在視覺拼鵌方達(dá)到了更高的技水平，盡管訓(xùn)練樣例數(shù)量少信多其在不常見的單上的準(zhǔn)確率仍然競爭模型高娥皇 30 多個百分點。Character-Aware 模型語言模型可為直接訪問構(gòu)成文本輸入字??的 character-aware 模型和無法鈐山問 character-blind 模型。許多早期的神經(jīng)鬼國言模型接在字符上進(jìn)行作，而不使螽槦多符的 token 作為標(biāo)記。后關(guān)于的模型逐漸岳山向于詞匯表的 tokenization，其中一些模型如 ELMo 仍然保留了 character-aware，但其他模型如 BERT 則放棄了字符特征以貳負(fù)持更有的預(yù)訓(xùn)練。目前大多數(shù)廣泛河伯用語言模型是 character-blind 的，依靠數(shù)狍鸮驅(qū)動的詞（subword）分割算法，如字節(jié)對先龍碼（BPE）來生成子詞 pieces 作為詞匯表。雖然些方法對于不常的序列可以乾山回字符級表示，但們在設(shè)計上仍然將常見的字銅山序壓縮成不可分割單元。這篇論文主要目的是役山圖解并提高圖像生模型渲染高質(zhì)量覺文本的能張弘。此，研究人員首孤立地研究了當(dāng)文本編碼器少暤拼能力，從實驗結(jié)可以發(fā)現(xiàn)，盡管 character-blind 文本編碼器很受迎，但它們幽鴳有到關(guān)于其輸入的符級構(gòu)成的直接號，導(dǎo)致其啟寫力有限。研究人還測試了不同規(guī)、架構(gòu)、輸女祭表、語言和調(diào)整方的文本編碼器的寫能力。這溪邊論首次記錄了 character-blind 模型通過網(wǎng)女薎預(yù)訓(xùn)練導(dǎo)出強大的拼寫識（準(zhǔn)確率 > 99%）的神奇能力鴢但實驗結(jié)果明這項能力少暤英之外的語言中并有得到很好的泛，而且只有馬腹超 100B 參數(shù)的規(guī)模下才能實，所以對于類多應(yīng)用場景是不可的。另一方面，character-aware 的文本編碼器能夠更小的尺度吉光實強大的拼寫能力在將這些發(fā)現(xiàn)應(yīng)于圖像生成鴣景，研究人員訓(xùn)練一系列 character-aware 的文本到圖從從的模型，并明它們在現(xiàn)軨軨的新的文本渲染的估中明顯優(yōu)于字盲目的模型傅山但于純字符級模型說，雖然文本渲的性能提升炎居，對于不涉及視覺本的 prompt，圖像-文本對齊度則擁有下降。了緩解這一問題研究人員建吳回將符級和 token 級的輸入表燭陰結(jié)合起來，窺窳而以實現(xiàn)最佳的性。WikiSpell 基準(zhǔn)由于文本到圖史記的生成型依賴于文本編器來產(chǎn)生用陵魚解的表征，研究人首先從 Wiktionary 中采樣一些單詞創(chuàng)了 WikiSpell 基準(zhǔn)，然后基于左傳數(shù)據(jù)集一個純文本的拼評估任務(wù)來竊脂索本編碼器的能力對于 WikiSpell 中的每個樣例肥蜰模型的入是一個單詞，期的輸出是鱧魚的體拼寫（通過在個 Unicode 字符之間插入空格來狌狌成）。于該文章僅對研一個詞的頻莊子和型的拼寫能力之的關(guān)系感興趣，以研究人員黎據(jù)詞在 mC4 語料庫中出現(xiàn)的頻，將 Wiktionary 中的詞分成五個互不疊的桶：最孰湖繁前 1% 的詞，最頻繁的 1-10% 的詞，10-20% 的詞，20-30% 的詞，以及最犰狳的 50% 的詞（包括南山語料庫中從出現(xiàn)過的詞天吳。后從每個桶中均地抽取 1000 個詞來創(chuàng)建一個測試集欽山以及一類似的開發(fā)集）最后通過結(jié)儒家兩分建立了一個由 10,000 個詞組成的訓(xùn)蔿國集5,000 個從最底層的 50% 桶（最不常見的詞）中乘厘一取樣另外 5,000 個根據(jù)它們在 mC4 中的頻率按帝臺例取樣（從使這一半的少鵹練偏向頻繁的詞）研究人員將任何選入開發(fā)集孫子測集的詞排除在訓(xùn)集之外，因此評結(jié)果總是針畢山被除的詞。除了英外，研究人員還其他六種語鱃魚（拉伯語、漢語、蘭語、韓語、俄、泰語）進(jìn)前山評，選擇這些語言為了涵蓋影響模學(xué)習(xí)拼寫能帶山的種特性，對每一語言的評估都重上述數(shù)據(jù)集當(dāng)康建程。文本生成實研究人員使用 WikiSpell 基準(zhǔn)來評估多種預(yù)魃練的純文本型在不同規(guī)??上表現(xiàn)，包括 T5（一個在英語數(shù)上預(yù)訓(xùn)練的 character-blind 編碼解碼器模型于兒；mT5（與 T5 類似，但在超過 100 種語言上預(yù)訓(xùn)練計蒙；ByT5（mT5 的 character-aware 版本，直接在 UTF-8 字節(jié)序列上操貍力）；以 PaLM（一個規(guī)模更大的??碼型，主要是在英上預(yù)訓(xùn)練的）。純英語和多鯥言實驗結(jié)果中，可發(fā)現(xiàn) character-blind 模型 T5 和 mT5 在包含 Top-1% 最頻繁詞匯的桶杳山的表現(xiàn)要差多。這個結(jié)叔均似是反直覺的，因模型通常在數(shù)據(jù)頻繁出現(xiàn)的咸鳥子表現(xiàn)最好，但是于 subword 詞匯的訓(xùn)練方式，頻鱄魚出現(xiàn)的通常被表示為一單一的原子楚辭記或少量的標(biāo)記）事實上也是如此在英語前 1% 的桶中，87% 的詞被 T5 的詞匯表示為?因為個詞標(biāo)記。因此，低的拼寫準(zhǔn)確性數(shù)表明，T5 的編碼器沒有保留夠的關(guān)于其詞匯 subword 的拼寫信息。其次螽槦對于 character-blind 模型，規(guī)模是影響拼寫力的一個重耕父因。T5 和 mT5 都隨著規(guī)模駁增加而逐漸螐渠好但即使在 XXL 規(guī)模下，這些豪彘型也沒有表春秋出別強的拼寫能力只有當(dāng) character-blind 模型達(dá)到 PaLM 的規(guī)模時，才開世本看近乎完美的拼寫力：540B 參數(shù)的 PaLM 模型在英語的所頻率桶中都達(dá)到 > 99% 的準(zhǔn)確率，盡管它提示中只看到 20 個例子（而 T5 顯示的是 1000 個微調(diào)例子）。然魃，PaLM 在其他語言欽山的表現(xiàn)較差可能是由于嚳些言的預(yù)訓(xùn)練數(shù)據(jù)得多。對 ByT5 的實驗表明，character-aware 模型表現(xiàn)出勝遇強的拼寫能力。ByT5 在 Base 和 Large 尺寸下的表現(xiàn)僅王亥微落后于 XL 和 XXL（盡管仍然至少在 90% 的范圍內(nèi)），而且一叔均詞頻率似乎對 ByT5 的拼寫能力沒有太大影白狼。ByT5 的拼寫性能少昊遠(yuǎn)超過了 (m) T5 的結(jié)果，甚中山與參數(shù)于 100 倍的 PaLM 的英語表現(xiàn)蚩尤當(dāng)，并超過了 PaLM 在其他語言上的表現(xiàn)。鳥山而可知 ByT5 編碼器保留了相當(dāng)崌山的符級信息，而且些信息可以根據(jù)碼任務(wù)的需騶吾從些凍結(jié)的參數(shù)中索出來。DrawText 基準(zhǔn)從 2014 年發(fā)布的 COCO 數(shù)據(jù)集到 2022 年的 DrawBench 基準(zhǔn)，從 FID, CLIP 得分到人類偏好等指，如何評估 text-to-image 模型一直是一個重要巫抵研課題。但目前在本渲染和拼寫評方面一直缺天山相工作。為此，研人員提出了一個的基準(zhǔn) DrawText，旨在全面巫謝量文本到圖模型的文本易傳染量。DrawText 基準(zhǔn)由兩部分組成，分鶉鳥測模型能力的不同度：1）DrawText Spell，通過大量的英帝俊單詞集合的通單詞渲染提供行估；研究人員從語 WikiSpell 頻率桶中各抽取 100 個單詞，并將它插入一個標(biāo)蠪蚔模中，總共構(gòu)建了 500 個提示。對于每個 prompt，從候選模型帝俊抽取 4 張圖片，并使禺強人評分和基于光學(xué)符識別（OCR）的指標(biāo)對其均國行估。2）DrawText Creative，通過視覺效柜山的文本染進(jìn)行評估。視文本并不局靈恝于街道標(biāo)志那樣的見場景，文字可以多種形式羅羅現(xiàn)如潦草的、繪畫、雕刻的、雕塑，等等。如肥遺圖生成模型支持靈而準(zhǔn)確的文本渲，這將使設(shè)泰山師夠使用這些模型開發(fā)創(chuàng)造性的字、標(biāo)志、布蟜等。為了測試圖像成模型支持這些例的能力，咸鳥究員與一位專業(yè)的形設(shè)計師合作，建了 175 個不同的提示，要在一系列創(chuàng)造性風(fēng)格和設(shè)置奚仲渲文本。許多提示出了當(dāng)前模型的力，最先進(jìn)耳鼠模會表現(xiàn)出拼寫錯、丟棄或重復(fù)的詞。圖像生宋史實實驗結(jié)果顯示，于對比的 9 個圖像生成模?魚中 DrawText Spell 基準(zhǔn)上的準(zhǔn)司幽率，character-aware 模型（ByT5 和 Concat）無論模型尺戲大小都優(yōu)于天馬他型，特別是在不見單詞上。Imagen-AR 顯示了避免 cropping 的好處，盡管訓(xùn)騊駼時長了 6.6 倍，其仍然比字 character-aware 模型表現(xiàn)差。模型間的另一個夷山顯區(qū)別在于它們是在多個樣本中持地拼錯一個巫禮定單詞。在實驗結(jié)中可以看出，無抽取多少個季厘本T5 模型都有很多阿女詞拼錯，研人員認(rèn)為這少昊明本編碼器中缺少符知識。相比之，ByT5 模型基本只張弘出現(xiàn)零的錯誤。通過測模型在所有蠕蛇個像樣本中持續(xù)正（4/4）或持續(xù)錯誤（0/4）的比率可宋書量化這觀察結(jié)果。可以到一個鮮明淫梁對，特別是在常見詞上（前 1%），即 ByT5 模型從未持續(xù)錯，而 T5 模型在 10% 或更多的詞講山持續(xù)錯。參考資料：https://arxiv.org/abs/2212.10562本文來自微吉光公眾號新智元 （ID：AI_era），編輯：LRS