原文標(biāo)題：像 Transformer 一樣思考！DeepMind 發(fā)布全新模型設(shè)工具 Tracr：從可解釋邏輯反向建模型》代直接編譯成 Transformer 模型，做實(shí)從未如此輕！「可解釋」一直是深學(xué)習(xí)難以繞的難題，用無(wú)法理解模的運(yùn)行機(jī)制也就無(wú)法放地把模型應(yīng)到實(shí)際場(chǎng)景。最近來(lái)自黎世聯(lián)邦理學(xué)院和 DeepMind 的研究人員提出了一種新的模型構(gòu)工具 Tracr，直接由人來(lái)根據(jù)「知的機(jī)制」對(duì)不同任務(wù)寫(xiě)代碼，然由 Tracr 編譯成模型的權(quán)重，模型的解釋得更輕松！文鏈接：https://arxiv.org/ pdf / 2301.05062.pdf代碼鏈接：https://github.com/ deepmind / tracrTracr 的輸入為采領(lǐng)域特定語(yǔ) RASP 編寫(xiě)的代碼輸出為標(biāo)準(zhǔn)、僅包含解器的、類似 GPT 的 Transformer 結(jié)構(gòu)的權(quán)重在實(shí)驗(yàn)部分研究人員使 Tracr 創(chuàng)建了一系列 ground truth Transformers，實(shí)現(xiàn)了包括計(jì)算 token 頻率、排序 Dyck-n 括號(hào)檢查等程序。如解釋模型？解釋性是理機(jī)器學(xué)習(xí)模的重要手段但由于模型實(shí)際運(yùn)行方仍然不清晰所以目前的究成果大多以評(píng)估。其一個(gè)工作機(jī)可解釋性（Mechanistic interpretability）嘗試對(duì)神經(jīng)網(wǎng)絡(luò)行逆向工程reverse engineering）來(lái)對(duì)模型實(shí)現(xiàn)的算法出一個(gè)機(jī)理的解釋，并一系列任務(wù)取得進(jìn)展，括用于圖像類的卷積神網(wǎng)絡(luò)，Transformer 語(yǔ)言模型等。但該法仍然存在關(guān)工具少、模型機(jī)制解不深、仍然要研究人員行創(chuàng)造性的釋等問(wèn)題。估機(jī)理解釋標(biāo)準(zhǔn)方法結(jié)了許多臨時(shí)驗(yàn)的證據(jù)，而，由于這做的成本很，許多方法能在玩具模中進(jìn)行評(píng)估或在真實(shí)模中的少數(shù)不要的 circuits 上進(jìn)行評(píng)估Tracr 的解決方案是，通過(guò)將類可讀的代「編譯」成經(jīng)網(wǎng)絡(luò)的權(quán)，直接解決乏基礎(chǔ)機(jī)理釋的問(wèn)題。就是說(shuō)，Tracr 實(shí)際上起到的就類似編譯器作用。Tracr 中主要涉及三個(gè)組：1. RASP 代碼RASP 即 Restricted Access Sequence Processing Language，是 2021 年提出的一用于表達(dá) Transformer 計(jì)算的語(yǔ)言，以作為計(jì)算型用來(lái)描述 Transformers，并配有相的解釋器運(yùn) RASP 代碼?？梢? RASP 程序視為一計(jì)算圖，當(dāng)據(jù)給定的輸 token 序列時(shí)，圖上的每個(gè)節(jié)都會(huì)取一個(gè)定值。RASP 語(yǔ)言中包括兩個(gè)基本節(jié)點(diǎn)類型；列操作（Sequence Operations，s-op），返回輸入值 token 序列及 indices 序列；元素操作（Elementwise operations）；選擇-聚合操作等在大多數(shù)情下，可以將 RASP 操作直接映射 Transformer 模型的組件上，包括 embedding, MLP 層和 Attention 層。2. 對(duì) RASP 語(yǔ)言的修改雖然 RASP 的操作可以直接射到 Transformers 中，但仍然需要 RASP 語(yǔ)言進(jìn)行修以對(duì)模型權(quán)進(jìn)行翻譯。3. craft，Transformer 的匯編語(yǔ)言如果說(shuō) RASP 算是編譯的高級(jí)言，那么 craft 就是匯編語(yǔ)言它提供了比純權(quán)重矩陣操作更多的象性。craft 可以表示具有基維（basis dimensions）的向量空間及其相應(yīng)的作，可以用方向的標(biāo)簽定義投影或他線性操作重要的是，craft 抽象化了跟蹤重矩陣中的充的需要。Tracr: Transformer 編譯器Tracr 的代碼使用 Python 進(jìn)行編寫(xiě)，并將 RASP 實(shí)現(xiàn)嵌入到 Python 中，從而可在 Python 中直接編寫(xiě) RASP 程序，比較方便地對(duì)量編碼（variable encoding）進(jìn)行標(biāo)注。在 Tracr 中，RASP 程序是一個(gè)據(jù)結(jié)構(gòu)，通向每個(gè)操作遞依賴關(guān)系逐步構(gòu)建，時(shí)對(duì) RASP 程序做了一些基本的化。Tracr 將 RASP 程序翻譯成 Transformer 權(quán)重的過(guò)程主要包六個(gè)步驟：1. 構(gòu)建計(jì)算圖追蹤整個(gè)序以創(chuàng)建一代表計(jì)算過(guò)的有向圖。于輸出的 s-op，圖中包括表示 tokens 和 indices 的 source 節(jié)點(diǎn)，和代表輸出 s-op 的 sink 節(jié)點(diǎn)。2. 推理 s-op 值對(duì)于每個(gè) s-op，需要決定如何其嵌入到剩流中；為了用類別編碼需要知道一 s-op 可以取哪些。因?yàn)橛?jì)算確定的，基有限的輸入匯量和上下大小，所有點(diǎn)都有一組限的輸出值所以第二步主要操作就對(duì)圖進(jìn)行遍，并為每個(gè)點(diǎn)標(biāo)注出其能的輸出；注使用簡(jiǎn)單啟發(fā)式方法確保找到的 s-op 值集合的超。3. 獨(dú)立地翻譯 s-ops獨(dú)立考慮計(jì)算圖中每個(gè)節(jié)點(diǎn)，將其轉(zhuǎn)化為個(gè) craft 組件；元素操作翻譯 MLP 塊，選擇-聚合操作翻譯為意力塊。使人工設(shè)計(jì)的 MLP 和注意力模塊庫(kù)近似數(shù)字和類輸入和輸的任意函數(shù)將具有分類入和輸出的 MLPs 作為查找表使帶有數(shù)字輸和輸出的 MLP 使用基于通用函數(shù)似定理的明結(jié)構(gòu)。對(duì)于意層，把選器翻譯成??_{????} 運(yùn)算符，把相的聚合運(yùn)算譯成??_{????} 運(yùn)算符。目前只支對(duì)分類輸入注意力。4. 把組件分配到層上為了建一個(gè) Transformer 模型，需要將計(jì)圖中的所有 craft 組件分配給層。理想情下，目標(biāo)是到最小的模來(lái)進(jìn)行所需計(jì)算，但一可以將其表為一個(gè)具有個(gè)約束條件組合優(yōu)化問(wèn)：Transformer 結(jié)構(gòu)具有交替的注意力 MLP 層，而且所有互依賴的計(jì)都需要有正的順序。出范圍上的考，可以用啟式方法解決個(gè)問(wèn)題。首，計(jì)算出從入到一個(gè)給節(jié)點(diǎn)的最長(zhǎng)徑，其路徑度是可以分給該節(jié)點(diǎn)的數(shù)的一個(gè)上；然后應(yīng)用外的啟發(fā)式法，將層與以并行計(jì)算塊結(jié)合起來(lái)這種方法可返回一個(gè)正但有時(shí)是次的層分配。5. 構(gòu)造一個(gè) craft 模型直接對(duì)模型組件的入和輸出空進(jìn)行求和作構(gòu)建的殘差空間（residual stream space ）。換句話說(shuō)，將每個(gè) s-op 嵌入到它自己正交子空間，這個(gè)子空在整個(gè)網(wǎng)絡(luò)只保留給它用。然后按層分配決定順序遍歷計(jì)圖，并將組堆疊起來(lái)，到一個(gè)用 craft 表示的完整 Transformer。6. 組裝 Transformer 權(quán)重最后，將型的 craft 表示轉(zhuǎn)換為具體的型權(quán)重。首把并行的 MLP 層合并為一個(gè)層，把并行的注力頭合并為個(gè)層。其中注意層中，??_{????} 和??_{????} 矩陣分成????、???、????、???重量矩陣。后調(diào)整所有重的形狀，將其連接到 Transformer 架構(gòu)中就可推斷出模型置（深度、寬、殘差流小等），以應(yīng)所創(chuàng)建的素。只需重實(shí)現(xiàn)步驟 6，就可以直將 Tracr 擴(kuò)展到支持任何其他 Transformer 的實(shí)現(xiàn)。在解釋性研究的應(yīng)用Tracr 可以加速受控實(shí)驗(yàn)驗(yàn)證過(guò)程，測(cè)試關(guān)于 Transformer 的計(jì)算結(jié)構(gòu)的定假設(shè)；通這種方式，也相當(dāng)于成可解釋性研的實(shí)驗(yàn)平臺(tái)研究人員對(duì) token 計(jì)數(shù)、排序例子編寫(xiě)了 RASP 程序?？山忉?工具的測(cè)試例編譯的模可以很自然作為測(cè)試「釋忠實(shí)性」基礎(chǔ)，并提了一種偽造解釋性技術(shù)出的解釋的法。發(fā)展到后，這些模可以被用來(lái)立可解釋性具的測(cè)試案庫(kù)，反過(guò)來(lái)可以實(shí)現(xiàn)定的評(píng)價(jià)指標(biāo)替換模型組評(píng)估對(duì)模型何工作的理的另一種方是用手工編的組件替換型的部分內(nèi)。例如有研人員通過(guò)用們自己理想的實(shí)現(xiàn)來(lái)替模型的組件測(cè)試他們對(duì) Transformer 如何實(shí)現(xiàn)模化加法的理，結(jié)果發(fā)現(xiàn)思路可以提下游任務(wù)的能，相當(dāng)于力地證明了提出的解釋正確的。雖 Tracr 是將一個(gè)算法編譯成一完整的 Transformer 模型，但也可以過(guò)修改代碼整為只編譯練模型中的部分，從而得更容易評(píng)對(duì)大型模型理解。理解型現(xiàn)象和開(kāi)新技術(shù)除了估之外，編的模型可以為研究 circuits 級(jí)別現(xiàn)象和開(kāi)發(fā)解釋 Transformer 模型新方法的驗(yàn)臺(tái)。參考料：https://arxiv.org/pdf/2301.05062.pdf本文來(lái)自微信公眾號(hào)新智元 （ID：AI_era）