圖像生成型終于學(xué)了拼寫單，秘訣竟字符特征過去的一里，隨著 DALL-E 2，Stable Diffusion 等圖像生成模型的布，text-to-image 模型生成的圖像在辨率、質(zhì)、文本忠度等方面得到了飛性提升，大促進(jìn)了游應(yīng)用場的開發(fā)，人都成了 AI 畫家。但相關(guān)究表明，前的生成型技術(shù)仍存在一個(gè)大缺陷：法在圖像呈現(xiàn)出可的視覺文。有研究果表明，DALL-E 2 在圖片中生成貫文本字上非常不定，而最發(fā)布的 Stable Diffusion 模型則是直接將「法呈現(xiàn)可的文本」為已知的制。字符寫錯(cuò)誤：(1) California: All Dreams Welcome, (2) Canada: For Glowing Hearts, (3) Colorado: It’s Our Nature, (4) St. Louis: All Within Reach.最近 Google Research 發(fā)布了一篇論文，試了解并提圖像生成型渲染高量視覺文的能力。文鏈接：https://arxiv.org/ abs / 2212.10562研究人員認(rèn)當(dāng)下的 text-to-image 生成模型模型在文本渲缺陷的主原因是缺字符級的入特征。了量化該入特征在型生成中影響，文中設(shè)計(jì)了系列控制驗(yàn)對是否含文本輸特征的文編碼器（character-aware 和 character-blind）進(jìn)行對比。研人員發(fā)現(xiàn)在純文本域，character-aware 模型在一個(gè)新拼寫任務(wù)WikiSpell）上獲得了大的性能益。將該驗(yàn)遷移到覺領(lǐng)域后研究人員練了一套像生成模。實(shí)驗(yàn)結(jié)表明 character-aware 模型在一系新的文本染任務(wù)（DrawText 基準(zhǔn)）中比 character-blind 更勝一籌并且 character-aware 模型在視覺寫方面達(dá)了更高的術(shù)水平，管訓(xùn)練的例數(shù)量少多，其在常見的單上的準(zhǔn)確仍然比競模型高出 30 多個(gè)百分點(diǎn)。Character-Aware 模型語言型可分為接訪問構(gòu)其文本輸字符的 character-aware 模型和無訪問的 character-blind 模型。許早期的神語言模型接在字符進(jìn)行操作而不使用字符的 token 作為標(biāo)記后來的模逐漸轉(zhuǎn)向于詞匯表 tokenization，其中一些模如 ELMo 仍然保留了 character-aware，但其他模型 BERT 則放棄了字符特征支持更有的預(yù)訓(xùn)練目前，大數(shù)廣泛使的語言模是 character-blind 的，依靠數(shù)據(jù)動的子詞subword）分割算法，如節(jié)對編碼BPE）來生成子詞 pieces 作為詞匯表。雖這些方法于不常見序列可以回到字符表示，但們在設(shè)計(jì)仍然會將見的字符列壓縮成可分割的元。這篇文的主要的是試圖解并提高像生成模渲染高質(zhì)視覺文本能力。為，研究人首先孤立研究了當(dāng)文本編碼的拼寫能，從實(shí)驗(yàn)果可以發(fā)，盡管 character-blind 文本編碼很受歡迎但它們沒收到關(guān)于輸入的字級構(gòu)成的接信號，致其拼寫力有限。究人員還試了不同模、架構(gòu)輸入表示語言和調(diào)方法的文編碼器的寫能力。篇論文首記錄了 character-blind 模型通過絡(luò)預(yù)訓(xùn)練導(dǎo)出強(qiáng)大拼寫知識準(zhǔn)確率 > 99%）的神奇能，但實(shí)驗(yàn)果表明這能力在英之外的語中并沒有到很好的化，而且有在超過 100B 參數(shù)的規(guī)下才能實(shí)，所以對大多數(shù)應(yīng)場景是不行的。另方面，character-aware 的文本編碼能夠在更的尺度上現(xiàn)強(qiáng)大的寫能力。將這些發(fā)應(yīng)用于圖生成場景，研究人訓(xùn)練了一列 character-aware 的文本到圖像模型，并明它們在有的和新文本渲染評估中明優(yōu)于字符目的模型但對于純符級模型說，雖然本渲染的能提升了但對于不及視覺文的 prompt，圖像-文本對齊度則會降。為了解這一問，研究人建議將字級和 token 級的輸入表結(jié)合起來從而可以現(xiàn)最佳的能。WikiSpell 基準(zhǔn)由于文本到像的生成型依賴于本編碼器產(chǎn)生用于碼的表征研究人員先從 Wiktionary 中采樣一些詞創(chuàng)建了 WikiSpell 基準(zhǔn)，然基于此數(shù)集在一個(gè)文本的拼評估任務(wù)探索文本碼器的能。對于 WikiSpell 中的每個(gè)樣，模型的入是一個(gè)詞，預(yù)期輸出是它具體拼寫通過在每 Unicode 字符之間插空格來生）。由于文章僅對究一個(gè)詞頻率和模的拼寫能之間的關(guān)感興趣，以研究人根據(jù)單詞 mC4 語料庫中現(xiàn)的頻率將 Wiktionary 中的詞分成五互不重疊桶：最頻的前 1% 的詞，最頻繁的 1-10% 的詞，10-20% 的詞，20-30% 的詞，以最低的 50% 的詞（包括在料庫中從出現(xiàn)過的）。然后每個(gè)桶中勻地抽取 1000 個(gè)詞來創(chuàng)一個(gè)測試（以及一類似的開集）。最通過結(jié)合部分建立一個(gè)由 10,000 個(gè)詞組成的訓(xùn)練集5,000 個(gè)從最底層的 50% 桶（最不常見的）中統(tǒng)一樣，另外 5,000 個(gè)根據(jù)它們在 mC4 中的頻率按比例樣（從而這一半的練集偏向繁的詞）研究人員任何被選開發(fā)集或試集的詞除在訓(xùn)練之外，因評估結(jié)果是針對被除的詞。了英語外研究人員對其他六語言（阿伯語、漢、芬蘭語韓語、俄、泰語）行評估，擇這些語是為了涵影響模型習(xí)拼寫能的各種特，對每一語言的評都重復(fù)上數(shù)據(jù)集構(gòu)過程。文生成實(shí)驗(yàn)究人員使 WikiSpell 基準(zhǔn)來評估多種預(yù)練的純文模型在不規(guī)模上的現(xiàn)，包括 T5（一個(gè)在英語數(shù)上預(yù)訓(xùn)練 character-blind 編碼解碼器模型；mT5（與 T5 類似，但超過 100 種語言上預(yù)訓(xùn)練；ByT5（mT5 的 character-aware 版本，直接在 UTF-8 字節(jié)序列上操作）以及 PaLM（一個(gè)規(guī)模更大解碼模型主要是在語上預(yù)訓(xùn)的）。在英語和多言的實(shí)驗(yàn)果中，可發(fā)現(xiàn) character-blind 模型 T5 和 mT5 在包含 Top-1% 最頻繁詞匯的桶的表現(xiàn)要很多。這結(jié)果似乎反直覺的因?yàn)槟Ｐ?常在數(shù)據(jù)頻繁出現(xiàn)例子上表最好，但由于 subword 詞匯的訓(xùn)練方式，繁出現(xiàn)的通常被表為一個(gè)單的原子標(biāo)（或少量標(biāo)記），實(shí)上也是此：在英前 1% 的桶中，87% 的詞被 T5 的詞匯表為一個(gè)子標(biāo)記。因，較低的寫準(zhǔn)確性數(shù)表明，T5 的編碼器沒有保足夠的關(guān)其詞匯中 subword 的拼寫信息。次，對于 character-blind 模型，規(guī)模是影響寫能力的個(gè)重要因。T5 和 mT5 都隨著規(guī)的增加而漸變好，即使在 XXL 規(guī)模下，這些型也沒有現(xiàn)出特別的拼寫能。只有當(dāng) character-blind 模型達(dá)到 PaLM 的規(guī)模時(shí)，才開始到近乎完的拼寫能：540B 參數(shù)的 PaLM 模型在英的所有頻桶中都達(dá)了 > 99% 的準(zhǔn)確率，盡它在提示只看到 20 個(gè)例子（而 T5 顯示的是 1000 個(gè)微調(diào)例子）。然，PaLM 在其他語言上的表較差，可是由于這語言的預(yù)練數(shù)據(jù)少多。對 ByT5 的實(shí)驗(yàn)表明character-aware 模型表現(xiàn)出更強(qiáng)大拼寫能力ByT5 在 Base 和 Large 尺寸下的現(xiàn)僅略微后于 XL 和 XXL（盡管仍然至少在 90% 的范圍內(nèi)）而且一個(gè)的頻率似對 ByT5 的拼寫能力沒有大影響。ByT5 的拼寫性能遠(yuǎn)超過了 (m) T5 的結(jié)果，甚至與數(shù)多于 100 倍的 PaLM 的英語表現(xiàn)相當(dāng)，且超過了 PaLM 在其他語上的表現(xiàn)從而可知 ByT5 編碼器保了相當(dāng)多字符級信，而且這信息可以據(jù)解碼任的需要從些凍結(jié)的數(shù)中檢索來。DrawText 基準(zhǔn)從 2014 年發(fā)布的 COCO 數(shù)據(jù)集到 2022 年的 DrawBench 基準(zhǔn)，從 FID, CLIP 得分到人類偏等指標(biāo)，何評估 text-to-image 模型一直是一重要的研課題。但前在文本染和拼寫估方面一缺乏相關(guān)作。為此研究人員出了一個(gè)的基準(zhǔn) DrawText，旨在全面衡量本到圖像型的文本染質(zhì)量。DrawText 基準(zhǔn)由兩部分成，分別量模型能的不同維：1）DrawText Spell，通過大量的英單詞集合普通單詞染進(jìn)行評；研究人從英語 WikiSpell 頻率桶中各取 100 個(gè)單詞，并將它們入一個(gè)標(biāo)模板中，共構(gòu)建了 500 個(gè)提示。對每個(gè) prompt，從候選模中抽取 4 張圖片，并使用人評分和基光學(xué)字符別（OCR）的指標(biāo)其進(jìn)行評。2）DrawText Creative，通過視效果的文渲染進(jìn)行估。視覺本并不局于像街道志那樣的見場景，字可以以種形式出，如潦草、繪畫的雕刻的、塑的，等。如果圖生成模型持靈活而確的文本染，這將設(shè)計(jì)師能使用這些型來開發(fā)造性的字、標(biāo)志、局等等。了測試圖生成模型持這些用的能力，究人員與位專業(yè)的形設(shè)計(jì)師作，構(gòu)建 175 個(gè)不同的示，要求一系列創(chuàng)性的風(fēng)格設(shè)置中渲文本。許提示超出當(dāng)前模型能力，最進(jìn)的模型表現(xiàn)出拼錯(cuò)誤、丟或重復(fù)的詞。圖像成實(shí)驗(yàn)實(shí)結(jié)果顯示用于對比 9 個(gè)圖像生成模中在 DrawText Spell 基準(zhǔn)上的準(zhǔn)確中，character-aware 模型（ByT5 和 Concat）無論模型寸大小都于其他模，特別是不常見單上。Imagen-AR 顯示了避免 cropping 的好處，盡管訓(xùn)時(shí)間長了 6.6 倍，其仍然字 character-aware 模型表現(xiàn)差。型之間的一個(gè)明顯區(qū)別在于們是否在個(gè)樣本中續(xù)地拼錯(cuò)個(gè)給定的詞。在實(shí)結(jié)果中可看出，無抽取多少樣本，T5 模型都有很多單詞錯(cuò)，研究員認(rèn)為這明文本編器中缺少符知識。比之下，ByT5 模型基本只出現(xiàn)零星錯(cuò)誤。通測量模型所有四個(gè)像樣本中續(xù)正確（4/4）或持續(xù)錯(cuò)誤（0/4）的比率可以量這一觀察果?？梢?到一個(gè)鮮的對比，別是在常的詞上（ 1%），即 ByT5 模型從未持續(xù)錯(cuò)，而 T5 模型在 10% 或更多的詞持續(xù)錯(cuò)誤參考資料https://arxiv.org/abs/2212.10562本文來自微信公號：新智 （ID：AI_era），編輯：LRS