原文標(biāo)題《像 Transformer 一樣思考DeepMind 發(fā)布全新模設(shè)計(jì)工具 Tracr：從可解邏輯反向建模型》碼直接編成 Transformer 模型，做實(shí)從未如此松！「可釋性」一是深度學(xué)難以繞過難題，用無法理解型的運(yùn)行制，也就法放心地模型應(yīng)用實(shí)際場景。最近來蘇黎世聯(lián)理工學(xué)院 DeepMind 的研究人提出了一全新的模構(gòu)造工具 Tracr，直接由來根據(jù)「知的機(jī)制針對不同務(wù)編寫代，然后由 Tracr 編譯成模型的權(quán)重讓模型的釋變得更松！論文接：https://arxiv.org/ pdf / 2301.05062.pdf代碼鏈接：https://github.com/ deepmind / tracrTracr 的輸入為采用域特定語 RASP 編寫的代碼，輸出標(biāo)準(zhǔn)的、包含解碼的、類似 GPT 的 Transformer 結(jié)構(gòu)的權(quán)重。實(shí)驗(yàn)部分研究人員用 Tracr 創(chuàng)建了一系列 ground truth Transformers，實(shí)現(xiàn)了括計(jì)算 token 頻率、排和 Dyck-n 括號檢查等序。如何釋模型？解釋性是解機(jī)器學(xué)模型的重手段，但于模型的際運(yùn)行方仍然不清，所以目的研究成大多難以估。其中個工作機(jī)可解釋性Mechanistic interpretability）嘗試對神經(jīng)絡(luò)進(jìn)行逆工程（reverse engineering）來對模型實(shí)現(xiàn)算法給出個機(jī)理上解釋，并一系列任中取得進(jìn)，包括用圖像分類卷積神經(jīng)絡(luò)，Transformer 語言模型等但該方法然存在相工具少、模型機(jī)制釋不深、然需要研人員進(jìn)行造性的解等問題。估機(jī)理解的標(biāo)準(zhǔn)方結(jié)合了許臨時實(shí)驗(yàn)證據(jù)，然，由于這做的成本高，許多法只能在具模型中行評估，在真實(shí)模中的少數(shù)重要的 circuits 上進(jìn)行評估。Tracr 的解決方則是，通將人類可的代碼「譯」成神網(wǎng)絡(luò)的權(quán)，直接解缺乏基礎(chǔ)理解釋的題。也就說，Tracr 實(shí)際上起到的是類似編器的作用Tracr 中主要涉及三個組：1. RASP 代碼RASP 即 Restricted Access Sequence Processing Language，是 2021 年提出的一個用表達(dá) Transformer 計(jì)算的語，可以作計(jì)算模型來描述 Transformers，并配有相應(yīng)的解器運(yùn)行 RASP 代碼?？梢? RASP 程序視為一個計(jì)算，當(dāng)根據(jù)定的輸入 token 序列時，圖上的每節(jié)點(diǎn)都會一個特定。RASP 語言中包括兩個基的節(jié)點(diǎn)類；序列操（Sequence Operations，s-op），返回入值的 token 序列及 indices 序列；元素操作Elementwise operations）；選擇-聚合操作等。在多數(shù)情況，可以將 RASP 操作直接射到 Transformer 模型的組上，包括 embedding, MLP 層和 Attention 層。2. 對 RASP 語言的修雖然 RASP 的操作可以直映射到 Transformers 中，但仍然需要 RASP 語言進(jìn)行修改以對型權(quán)重進(jìn)翻譯。3. craft，Transformer 的匯編語言果說 RASP 算是編譯的高語言，那 craft 就是匯編語言，提供了比純權(quán)重矩上操作更的抽象性craft 可以表示具有基維（basis dimensions）的向量空間，其相應(yīng)的作，可以基方向的簽來定義影或其他性操作。要的是，craft 抽象化了蹤權(quán)重矩中的填充需要。Tracr: Transformer 編譯器Tracr 的代碼使用 Python 進(jìn)行編寫，將 RASP 實(shí)現(xiàn)嵌入到 Python 中，從而以在 Python 中直接編 RASP 程序，比較方便地變量編碼variable encoding）進(jìn)行標(biāo)注。在 Tracr 中，RASP 程序是一個數(shù)結(jié)構(gòu)，通向每個操傳遞依賴系來逐步建，同時 RASP 程序做了一些基本簡化。Tracr 將 RASP 程序翻譯成 Transformer 權(quán)重的過程要包括六步驟：1. 構(gòu)建計(jì)算圖追蹤整程序以創(chuàng)一個代表算過程的向圖。對輸出的 s-op，圖中包括表 tokens 和 indices 的 source 節(jié)點(diǎn)，和代表輸 s-op 的 sink 節(jié)點(diǎn)。2. 推理 s-op 值對于每個 s-op，需要決定如何其嵌入到余流中；了使用類編碼，需知道一個 s-op 可以取哪值。因?yàn)?算是確定，基于有的輸入詞量和上下大小，所節(jié)點(diǎn)都有組有限的出值。所第二步的要操作就對圖進(jìn)行歷，并為個節(jié)點(diǎn)標(biāo)出其可能輸出；標(biāo)使用簡單啟發(fā)式方，確保找的是 s-op 值集合的超集3. 獨(dú)立地翻譯 s-ops獨(dú)立考慮計(jì)圖中的每節(jié)點(diǎn)，并其轉(zhuǎn)化為個 craft 組件；元素操翻譯為 MLP 塊，選擇-聚合操作翻譯注意力塊使用人工計(jì)的 MLP 和注意力模塊庫近似數(shù)字分類輸入輸出的任函數(shù)；將有分類輸和輸出的 MLPs 作為查找使；帶有字輸入和出的 MLP 使用基于通用函近似定理明確結(jié)構(gòu)對于注意，把選擇翻譯成??_{????} 運(yùn)算符，相應(yīng)的聚運(yùn)算翻譯??_{????} 運(yùn)算符。目前只持對分類入的注意。4. 把組件分配層上為了建一個 Transformer 模型，需要將計(jì)算中的所有 craft 組件分配給各層。想情況下目標(biāo)是找最小的模來進(jìn)行所的計(jì)算，一般可以其表述為個具有幾約束條件組合優(yōu)化題：Transformer 結(jié)構(gòu)具有交的注意力 MLP 層，而且有相互依的計(jì)算都要有正確順序。出范圍上的慮，可以啟發(fā)式方解決這個題。首先計(jì)算出從入到一個定節(jié)點(diǎn)的長路徑，路徑長度可以分配該節(jié)點(diǎn)的數(shù)的一個限；然后用額外的發(fā)式方法將層與可并行計(jì)算塊結(jié)合起。這種方可以返回個正確但時是次優(yōu)層分配。5. 構(gòu)造一個 craft 模型直接對模組件的輸和輸出空進(jìn)行求和為構(gòu)建的差流空間residual stream space ）。換句話說，每個 s-op 嵌入到它自己正交子空中，這個空間在整網(wǎng)絡(luò)中只留給它使。然后按層分配決的順序遍計(jì)算圖，將組件堆起來，得一個用 craft 表示的完 Transformer。6. 組裝 Transformer 權(quán)重最后，將模型 craft 表示轉(zhuǎn)換為具體模型權(quán)重首先把并的 MLP 層合并為一個層，把并行的意力頭合為一個層其中在注層中，把?_{????} 和??_{????} 矩陣分成???、????、???、????量矩陣。后調(diào)整所權(quán)重的形，并將其接到 Transformer 架構(gòu)中就以推斷出型配置（度、層寬殘差流大等），以應(yīng)所創(chuàng)建元素。只重新實(shí)現(xiàn)驟 6，就可以直接 Tracr 擴(kuò)展到支持任何他 Transformer 的實(shí)現(xiàn)。在解釋性研中的應(yīng)用Tracr 可以加速控實(shí)驗(yàn)的證過程，測試關(guān)于 Transformer 的計(jì)算結(jié)構(gòu)的特假設(shè)；通這種方式它也相當(dāng)成了可解性研究的驗(yàn)平臺。究人員對 token 計(jì)數(shù)、排序等例子寫了 RASP 程序?？山忉?工具的測案例編譯模型可以自然地作測試「解忠實(shí)性」基礎(chǔ)，并供了一種造可解釋技術(shù)給出解釋的方。發(fā)展到后，這些型可以被來建立可釋性工具測試案例，反過來可以實(shí)現(xiàn)量的評價(jià)標(biāo)。替換型組件評對模型如工作的理的另一種法是用手編碼的組替換模型部分內(nèi)容例如有研人員通過他們自己想化的實(shí)來替換模的組件以試他們對 Transformer 如何實(shí)現(xiàn)模塊化法的理解結(jié)果發(fā)現(xiàn)思路可以高下游任的性能，當(dāng)于有力證明了所出的解釋正確的。然 Tracr 是將一個算法譯成一個整的 Transformer 模型，但可以通過改代碼調(diào)為只編譯練模型中一部分，而使得更易評估對型模型的解。理解型現(xiàn)象和發(fā)新技術(shù)了評估之，編譯的型可以作研究 circuits 級別現(xiàn)象和開發(fā)釋 Transformer 模型新方法試驗(yàn)臺。考資料：https://arxiv.org/pdf/2301.05062.pdf本文來自信公眾號新智元 （ID：AI_era）