圖像生成模終于學(xué)會了寫單詞，秘竟是字符特？過去的一里，隨著 DALL-E 2，Stable Diffusion 等圖像生成模型的發(fā)布text-to-image 模型生成的圖像在分率、質(zhì)量、本忠實(shí)度等面都得到了躍性提升，大促進(jìn)了下應(yīng)用場景的發(fā)，人人都了 AI 畫家。但相關(guān)究表明，目的生成模型術(shù)仍然存在個重大缺陷無法在圖像呈現(xiàn)出可靠視覺文本。研究結(jié)果表，DALL-E 2 在圖片中生成連文本字符上常不穩(wěn)定，最新發(fā)布的 Stable Diffusion 模型則是直接「無法呈現(xiàn)讀的文本」為已知的限。字符拼寫誤：(1) California: All Dreams Welcome, (2) Canada: For Glowing Hearts, (3) Colorado: It’s Our Nature, (4) St. Louis: All Within Reach.最近 Google Research 發(fā)布了一篇新論文，圖了解并提圖像生成模渲染高質(zhì)量覺文本的能。論文鏈接https://arxiv.org/ abs / 2212.10562研究人員認(rèn)為下的 text-to-image 生成模型模型在文本渲染陷的主要原是缺乏字符的輸入特征為了量化該入特征在模生成中的影，文章中設(shè)了一系列控實(shí)驗(yàn)對是否含文本輸入征的文本編器（character-aware 和 character-blind）進(jìn)行對比。究人員發(fā)現(xiàn)在純文本領(lǐng)，character-aware 模型在一個新拼寫任務(wù)（WikiSpell）上獲得了很大的性收益。將該驗(yàn)遷移到視領(lǐng)域后，研人員訓(xùn)練了套圖像生成型。實(shí)驗(yàn)結(jié)表明 character-aware 模型在一系列新的文本染任務(wù)（DrawText 基準(zhǔn)）中比 character-blind 更勝一籌。并 character-aware 模型在視覺拼方面達(dá)到了高的技術(shù)水，盡管訓(xùn)練樣例數(shù)量少多，其在不見的單詞上準(zhǔn)確率仍然競爭模型高 30 多個百分點(diǎn)。Character-Aware 模型語言模型可分為接訪問構(gòu)成文本輸入字的 character-aware 模型和無法問的 character-blind 模型。許多早期的神經(jīng)言模型直接字符上進(jìn)行作，而不使多字符的 token 作為標(biāo)記。后的模型逐漸向基于詞匯的 tokenization，其中一些模型如 ELMo 仍然保留了 character-aware，但其他模型如 BERT 則放棄了字符特征以持更有效的訓(xùn)練。目前大多數(shù)廣泛用的語言模是 character-blind 的，依靠數(shù)驅(qū)動的子詞subword）分割算法，如字節(jié)對碼（BPE）來生成子詞 pieces 作為詞匯表。雖然這些法對于不常的序列可以回到字符級示，但它們設(shè)計(jì)上仍然將常見的字序列壓縮成可分割的單。這篇論文主要目的是圖了解并提圖像生成模渲染高質(zhì)量覺文本的能。為此，研人員首先孤地研究了當(dāng)文本編碼器拼寫能力，實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn)，盡管 character-blind 文本編碼器很受迎，但它們有收到關(guān)于輸入的字符構(gòu)成的直接號，導(dǎo)致其寫能力有限研究人員還試了不同規(guī)、架構(gòu)、輸表示、語言調(diào)整方法的本編碼器的寫能力。這論文首次記了 character-blind 模型通過網(wǎng)預(yù)訓(xùn)練誘導(dǎo)強(qiáng)大的拼寫識（準(zhǔn)確率 > 99%）的神奇能力但實(shí)驗(yàn)結(jié)果明這項(xiàng)能力英語之外的言中并沒有到很好的泛，而且只有超過 100B 參數(shù)的規(guī)模下才能實(shí)，所以對于多數(shù)應(yīng)用場是不可行的另一方面，character-aware 的文本編碼器能夠更小的尺度實(shí)現(xiàn)強(qiáng)大的寫能力。在這些發(fā)現(xiàn)應(yīng)于圖像生成景時，研究員訓(xùn)練了一列 character-aware 的文本到圖的模型，并明它們在現(xiàn)的和新的文渲染的評估明顯優(yōu)于字盲目的模型但對于純字級模型來說雖然文本渲的性能提升，但對于不及視覺文本 prompt，圖像-文本對齊度則下降。為了解這一問題研究人員建將字符級和 token 級的輸入表結(jié)合起來，而可以實(shí)現(xiàn)佳的性能。WikiSpell 基準(zhǔn)由于文本到圖的生成模型賴于文本編器來產(chǎn)生用解碼的表征研究人員首從 Wiktionary 中采樣一些單詞創(chuàng)建了 WikiSpell 基準(zhǔn)，然后基于數(shù)據(jù)集在一純文本的拼評估任務(wù)來索文本編碼的能力。對 WikiSpell 中的每個樣例模型的輸入一個單詞，期的輸出是的具體拼寫通過在每個 Unicode 字符之間插入空格來成）。由于文章僅對研一個詞的頻和模型的拼能力之間的系感興趣，以研究人員據(jù)單詞在 mC4 語料庫中出現(xiàn)的頻，將 Wiktionary 中的詞分成五個互不疊的桶：最繁的前 1% 的詞，最頻繁的 1-10% 的詞，10-20% 的詞，20-30% 的詞，以及最的 50% 的詞（包括語料庫中從出現(xiàn)過的詞。然后從每桶中均勻地取 1000 個詞來創(chuàng)建一個測試集以及一個類的開發(fā)集）最后通過結(jié)兩部分建立一個由 10,000 個詞組成的訓(xùn)集：5,000 個從最底層的 50% 桶（最不常見的詞）中一取樣，另 5,000 個根據(jù)它們在 mC4 中的頻率按例取樣（從使這一半的練集偏向頻的詞）。研人員將任何選入開發(fā)集測試集的詞除在訓(xùn)練集外，因此評結(jié)果總是針被排除的詞除了英語外研究人員還其他六種語（阿拉伯語漢語、芬蘭、韓語、俄、泰語）進(jìn)評估，選擇些語言是為涵蓋影響模學(xué)習(xí)拼寫能的各種特性對每一種語的評估都重上述數(shù)據(jù)集建過程。文生成實(shí)驗(yàn)研人員使用 WikiSpell 基準(zhǔn)來評估多種預(yù)練的純文本型在不同規(guī)上的表現(xiàn)，括 T5（一個在英語數(shù)上預(yù)訓(xùn)練的 character-blind 編碼解碼器模型；mT5（與 T5 類似，但在超過 100 種語言上預(yù)訓(xùn)練；ByT5（mT5 的 character-aware 版本，直接在 UTF-8 字節(jié)序列上操）；以及 PaLM（一個規(guī)模更大的碼模型，主是在英語上訓(xùn)練的）。純英語和多言的實(shí)驗(yàn)結(jié)中，可以發(fā) character-blind 模型 T5 和 mT5 在包含 Top-1% 最頻繁詞匯的桶的表現(xiàn)要差多。這個結(jié)似乎是反直的，因?yàn)槟?通常在數(shù)據(jù)頻繁出現(xiàn)的子上表現(xiàn)最，但是由于 subword 詞匯的訓(xùn)練方式，頻出現(xiàn)的詞通被表示為一單一的原子記（或少量標(biāo)記），事上也是如此在英語前 1% 的桶中，87% 的詞被 T5 的詞匯表示為個子詞標(biāo)記因此，較低拼寫準(zhǔn)確性數(shù)表明，T5 的編碼器沒有保留足夠關(guān)于其詞匯 subword 的拼寫信息。其次對于 character-blind 模型，規(guī)模是影響拼寫力的一個重因素。T5 和 mT5 都隨著規(guī)模增加而逐漸好，但即使 XXL 規(guī)模下，這些型也沒有表出特別強(qiáng)的寫能力。只當(dāng) character-blind 模型達(dá)到 PaLM 的規(guī)模時，才開看到近乎完的拼寫能力540B 參數(shù)的 PaLM 模型在英語的所有頻桶中都達(dá)到 > 99% 的準(zhǔn)確率，盡管它在提中只看到 20 個例子（而 T5 顯示的是 1000 個微調(diào)例子）。然，PaLM 在其他語言的表現(xiàn)較差可能是由于些語言的預(yù)練數(shù)據(jù)少得。對 ByT5 的實(shí)驗(yàn)表明，character-aware 模型表現(xiàn)出強(qiáng)大的拼寫力。ByT5 在 Base 和 Large 尺寸下的表現(xiàn)僅微落后于 XL 和 XXL（盡管仍然至少在 90% 的范圍內(nèi)），而且一詞的頻率似對 ByT5 的拼寫能力沒有太大影。ByT5 的拼寫性能遠(yuǎn)超過了 (m) T5 的結(jié)果，甚與參數(shù)多于 100 倍的 PaLM 的英語表現(xiàn)當(dāng)，并且超了 PaLM 在其他語言上的表現(xiàn)。而可知 ByT5 編碼器保留了相當(dāng)的字符級信，而且這些息可以根據(jù)碼任務(wù)的需從這些凍結(jié)參數(shù)中檢索來。DrawText 基準(zhǔn)從 2014 年發(fā)布的 COCO 數(shù)據(jù)集到 2022 年的 DrawBench 基準(zhǔn)，從 FID, CLIP 得分到人類偏好等指，如何評估 text-to-image 模型一直是一個重要研究課題。目前在文本染和拼寫評方面一直缺相關(guān)工作。此，研究人提出了一個的基準(zhǔn) DrawText，旨在全面量文本到圖模型的文本染質(zhì)量。DrawText 基準(zhǔn)由兩部分組成，分測量模型能的不同維度1）DrawText Spell，通過大量的英單詞集合的通單詞渲染行評估；研人員從英語 WikiSpell 頻率桶中各抽取 100 個單詞，并將它插入一個標(biāo)模板中，總構(gòu)建了 500 個提示。對于每個 prompt，從候選模型抽取 4 張圖片，并使人類評分和于光學(xué)字符別（OCR）的指標(biāo)對其行評估。2）DrawText Creative，通過視覺效的文本渲染行評估。視文本并不局于像街道標(biāo)那樣的常見景，文字可以多種形式現(xiàn)，如潦草、繪畫的、刻的、雕塑，等等。如圖像生成模支持靈活而確的文本渲，這將使設(shè)師能夠使用些模型來開創(chuàng)造性的字、標(biāo)志、布等等。為了試圖像生成型支持這些例的能力，究人員與一專業(yè)的圖形計(jì)師合作，建了 175 個不同的提示，要求在系列創(chuàng)造性風(fēng)格和設(shè)置渲染文本。多提示超出當(dāng)前模型的力，最先進(jìn)模型會表現(xiàn)拼寫錯誤、棄或重復(fù)的詞。圖像生實(shí)驗(yàn)實(shí)驗(yàn)結(jié)顯示，用于比的 9 個圖像生成模中在 DrawText Spell 基準(zhǔn)上的準(zhǔn)率中，character-aware 模型（ByT5 和 Concat）無論模型尺大小都優(yōu)于他模型，特是在不常見詞上。Imagen-AR 顯示了避免 cropping 的好處，盡管訓(xùn)時間長了 6.6 倍，其仍然比字 character-aware 模型表現(xiàn)差。模型間的另一個顯的區(qū)別在它們是否在個樣本中持地拼錯一個定的單詞。實(shí)驗(yàn)結(jié)果中以看出，無抽取多少個本，T5 模型都有很多詞拼錯，研人員認(rèn)為這明文本編碼中缺少字符識。相比之，ByT5 模型基本只出現(xiàn)零星的誤。通過測模型在所有個圖像樣本持續(xù)正確（4/4）或持續(xù)錯誤（0/4）的比率可量化這一觀結(jié)果?？梢?到一個鮮明對比，特別在常見的詞（前 1%），即 ByT5 模型從未持續(xù)錯誤， T5 模型在 10% 或更多的詞持續(xù)錯誤。考資料：https://arxiv.org/abs/2212.10562本文來自微公眾號：新元 （ID：AI_era），編輯：LRS