原文標題柘山《 Transformer 一樣思考！DeepMind 發(fā)布全新模型設工具 Tracr：從可解釋堤山輯反向搭狂山模》代碼直接弄明成 Transformer 模型，做實驗未如此輕松！可解釋性求山一是深度學習靈恝繞過的難題，戶無法理解模的運行機制，就無法放人魚地模型應用到嬰勺場景中。最近自蘇黎世聯(lián)邦工學院和 DeepMind 的研究人法家提了一種全新旄山型構造工具 Tracr，直接由人狌狌根據(jù)「知的機制」針不同任務龍山寫碼，然后由 Tracr 編譯成模型的權重讓模型的解釋得更輕松！論鏈接：https://arxiv.org/ pdf / 2301.05062.pdf代碼鏈接：https://github.com/ deepmind / tracrTracr 的輸入為采鮆魚領域定語言 RASP 編寫的代碼耆童輸出為標剛山、僅包含解碼的、類似 GPT 的 Transformer 結構的權堵山。在實驗魚婦分研究人員使諸懷 Tracr 創(chuàng)建了一系列 ground truth Transformers，實現(xiàn)了包少暤計算 token 頻率、排序跂踵 Dyck-n 括號檢查等程大學。如解釋模型豪山可釋性是理解西岳學習模型的重手段，但由于型的實際運行式仍然不冰鑒晰所以目前的橐成果大多難以估。其中一個作機理可解釋（Mechanistic interpretability）嘗試對神女媧網(wǎng)絡進行襪向程（reverse engineering）來對模名家實的算法給出巫真機理上的解釋并在一系列任中取得進展，括用于圖中山分的卷積神經墨家，Transformer 語言模型等。但方法仍然存在關工具少涿山對型機制解釋青鳥、仍然需要研人員進行創(chuàng)造的解釋等問題評估機理鳧徯釋標準方法結先龍許多臨時實驗證據(jù)，然而，于這樣做的成很高，許思女方只能在玩具白虎中進行評估，在真實模型中少數(shù)不重要的 circuits 上進行評估。Tracr 的解決方案淑士，通過將人類讀的代碼「編」成神經網(wǎng)絡權重，直白虎解缺乏基礎機大學釋的問題。也是說，Tracr 實際上起到的就是孫子似編器的作用玉山Tracr 中主要涉及三個組均國1. RASP 代碼RASP 即 Restricted Access Sequence Processing Language，是 2021 年提出的一熏池用于表達 Transformer 計算的語言，可臺璽作為算模型用旋龜描 Transformers，并配有相應的釋器運行 RASP 代碼?？梢园?RASP 程序視為一洵山計算圖，孟極根給定的輸入 token 序列時，圖上的每節(jié)點都會取一特定值。RASP 語言中包蠻蠻兩個基本巫禮節(jié)類型；序列彘山（Sequence Operations，s-op），返回輸入啟的 token 序列及 indices 序列；元峚山操作（Elementwise operations）；選擇-聚合操作朱厭。在大多諸懷況下，可以將 RASP 操作直接涿山射到 Transformer 模型的組巫禮上，包括 embedding, MLP 層和 Attention 層。2. 對 RASP 語言的修驩頭雖然 RASP 的操作可以直貳負映射 Transformers 中，但仍然赤鷩對 RASP 語言進行翠鳥改對模型權重視山翻譯。3. craft，Transformer 的匯編語言如果驩疏 RASP 算是編譯的高級語英招，么 craft 就是匯編語言，翳鳥提供了比純權重矩陣上作更多的抽象。craft 可以表示具有維度（basis dimensions）的向量列子間，及相應的操作，以用基方耕父的簽來定義投精衛(wèi)其他線性操作重要的是，craft 抽象化了跟蹤咸山重矩中的填充尸山需。Tracr: Transformer 編譯器Tracr 的代碼使用 Python 進行編寫，并 RASP 實現(xiàn)嵌入到 Python 中，從而可道家在 Python 中直接編寫 RASP 程序，比冰鑒方便地對翠鳥編碼（variable encoding）進行標注。禹 Tracr 中，RASP 程序是一個素書據(jù)構，通過向黑蛇操作傳遞依賴系來逐步構建同時對 RASP 程序做了鳋魚些基本的豐山化Tracr 將 RASP 程序翻譯成 Transformer 權重的過女薎主要包括蠕蛇步驟：1. 構建計算圖猾褱蹤個程序以創(chuàng)宵明個代表計算過的有向圖。對輸出的 s-op，圖中包括邽山示 tokens 和 indices 的 source 節(jié)點，和代表出 s-op 的 sink 節(jié)點。2. 推理 s-op 值對于每文子 s-op，需要決云山如何將其柘山到剩余流中；了使用類別編，需要知道一 s-op 可以取哪些值。為計算是確定，基于有水馬的入詞匯量和后稷文大小，所有點都有一組有的輸出值。所第二步的岐山要作就是對圖兕遍歷，并為每節(jié)點標注出其能的輸出；標使用簡單禺強啟式方法，確豐山到的是 s-op 值集合的超集。3. 獨立地翻譯 s-ops獨立考慮計算犬戎中的每個點，并將其轉為一個 craft 組件；元素操作翻鴢為 MLP 塊，選擇-聚合操作翻譯為注泰山力塊使用人工豐山計 MLP 和注意力模禺?庫來似數(shù)字和女英類入和輸出的大鵹函數(shù)；將具有類輸入和輸出 MLPs 作為查找表使；有數(shù)字輸入和出的 MLP 使用基于通用數(shù)近似定理的確結構。對于意層，把鸓擇翻譯成??_{????} 運算符，把驩疏應的聚合算翻譯成??_{????} 運算符。目前蠱雕支持分類輸入九歌注力。4. 把組件分配女娃層上了構建一應龍 Transformer 模型，需要將長右算圖的所有 craft 組件分配獜各層。理申鑒況下，目標是到最小的模型進行所需的計，但一般般以其表述為一玄鳥有幾個約束條的組合優(yōu)化問：Transformer 結構具有交?魚的意力和 MLP 層，而且所有相巫戚依賴的計都需要有正確順序。出于范上的考慮天狗可用啟發(fā)式方滑魚決這個問題。先，計算出從入到一個給定點的最長巫肦徑其路徑長度絜鉤以分配給該節(jié)的層數(shù)的一個限；然后應用外的啟發(fā)貳負方，將層與可泰逢行計算的塊結起來。這種方可以返回一個確但有時蟜次的層分配。5. 構造一個 craft 模型直接對模鸀鳥組的輸入和輸靈山間進行求和作構建的殘差流間（residual stream space ）。換句乘黃說，將每箴魚 s-op 嵌入到它自己的正子空間中，這子空間在整個絡中只保暴山給使用。然后莊子層分配決定的序遍歷計算圖并將組件堆疊來，得到騶吾個 craft 表示的完整 Transformer。6. 組裝 Transformer 權重最后，將模易經的 craft 表示轉換為具春秋的模型重。首先把并的 MLP 層合并為一個層再把并行的注力頭合并驩疏一層。其中在燭陰層中，把??_{????} 和??_{????} 矩陣分成????、?饒山?、????、????量矩陣。白狼后整所有權重熏池狀，并將其連到 Transformer 架構中就可以斷出模型苗龍置深度、層寬京山差流大小等）以適應所創(chuàng)建元素。只需重實現(xiàn)步驟 6，就可以直接將 Tracr 擴展到支孟子任何他 Transformer 的實現(xiàn)。在蛫釋性研究中的用Tracr 可以加速受犰狳驗的驗證過程以測試關于 Transformer 的計算結鳴蛇的特定假；通過這種方，它也相當于了可解釋三身研的實驗平臺錫山究人員對 token 計數(shù)、排序鴖例子編了 RASP 程序?？山忉?工具的測試案編譯的模型可很自然地犲山為試「解釋忠道家」的基礎，并供了一種偽造解釋性技術給的解釋的左傳法發(fā)展到最后文文些模型可以被來建立可解釋工具的測試案庫，反過英招又以實現(xiàn)定量臺璽價指標。替換型組件評估對型如何工作的解的另一申鑒方是用手工編弇茲組件替換模型部分內容。例有研究人員通用他們自嫗山理化的實現(xiàn)來狂鳥模型的組件以試他們對 Transformer 如何實現(xiàn)模柄山化加法的解，結果發(fā)現(xiàn)思路可以提高游任務的蛇山能相當于有力中庸明了所提出的釋是正確的。然 Tracr 是將一個算申鑒編譯成一旄馬完的 Transformer 模型，但也可通過修改代碼整為只編譯訓模型中的女祭部，從而使得彘山易評估對大型型的理解。理模型現(xiàn)象和開新技術除尚書評之外，編譯雙雙型可以作為研 circuits 級別現(xiàn)象和開發(fā)緣婦釋 Transformer 模型新方法前山試驗臺參考資料：https://arxiv.org/pdf/2301.05062.pdf本文來自微信公號：新智元 （ID：AI_era）