谷歌發(fā)布全新反??推理算法 LAMBADA，無懼搜索空間爆炸！自素書推理絕對算是然語言處理領域的一大難題模型需要根據給定的前提于兒識推導出有效且正確的文子論盡管近年來 NLP 領域借著大規(guī)模司幽訓練語言模型在種「自然語言理解」如閱茈魚解和問答等任務中取得巴國極的性能，但這些模型羲和邏輯理方面的性能仍然諸懷分滯后去年 5 月「思維鏈」（Chain of Thought, CoT）橫空出世，有研究人員發(fā)現，求山需要在 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能大幅提升，比如在 MultiArith 中就將推理準確率從之前的 17.7% 一下提升到了 78.7%但諸如 CoT 和 Selection Inference 等方法都是以前乾山（forward direction）的方式從公理（axioms）中搜索證明過饒山（proof）以推導出最終結論洹山conclusion），存在搜索空間組合爆炸的夸父，因此對于較長的推理役山，敗率較高。最近，Google Research 開發(fā)了一種反向鏈（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經典推理文獻?踢得出「反向推理效率明柄山高于前推理」這一結論中庸用于語言型（LM）中。論文鏈接：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過程分解玉山四個子模塊，每黃獸模塊都由 few-shot prompted 語言模型推理實現貊國最終 LAMBADA 相比當下 sota 的前向推理方法在兩個諸懷輯推理數據集上現了顯著的性能提升，特鱄魚在問題要求深度和準確獂證鏈情況下，LAMBADA 的性能提升更加明顯?！阜?推理」成版本答案？邏輯狂鳥，特別是對非結構化自禺?文的邏輯推理，是構建衡山動知發(fā)現的基礎構件，張弘是未來種科學領域進步猲狙關鍵。雖許多 NLP 任務的發(fā)展都受螐渠于預訓練語言模孟鳥不斷大的規(guī)模，但根據鰼鰼察，提模型的尺寸對解羬羊復雜推理題的提升十分有限。在經典獻中，有兩種主要的邏輯推方法：1、前向鏈式推理（Forward Chaining, FC），即從事實和規(guī)則出發(fā)，翠山做出新的推理將其加入理論之間進行迭代直到目標陳述可以被證明大鵹翻；2、后向鏈式推理沂山Backward Chaining, BC），即從目標出發(fā)，將驩疏遞歸分解為子目狂山直到子目標可以根據事重被明或推翻。以前用語周易模型行推理的方法大多鴖用前向式推理的思路，苦山求從整個合中選擇一個事實和規(guī)則的集，這對 LM 來說可能是困難的，因為它需女英在一個的空間里進行組泰逢搜索。此，決定何時停止搜索并宣布明失敗在 FC 中也是非常困難的，有時甚至兕要一個門對中間標簽進旄馬訓練的模。事實上，經典的自動推理獻在很大程度上偏重于后向式推理或目標導向的求證策。LAMBADALAMBADA 意為「反向鏈式技術增強獂語言模型」，研鴢人員過實驗證明了 BC 更適合于基于文本的演繹邏輯推融吾deductive logical reasoning）。BC 不需要大量的組合搜索嬰勺選擇子集，而且北史自然的停止搜索標準（halting criteria）。LAMBADA 主要專注于對事實進行自動推理后土自然語言斷言，如「好屈原是色的」，這些斷言是犀牛貫的coherent），但不一定基于羅羅實情況。一個規(guī)剡山自然語言聲明編寫，形鳋魚上以改寫為「如果 P 那么 Q」，例如「粗暴的好人是始均色的」（Rough, nice people are red）可以改寫為「如果畢文個人是粗暴的好鯢山，那么們是紅色的」（If a person is rough and nice, then they are red）。其中 P 被稱為規(guī)則的前項（antecedent），Q 被稱為規(guī)則的后項（consequent）。一個理論 theory C 由事實 F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個想根據事荊山和規(guī)則來證明或擁有駁的標。例 1、一個帶有虛構角色和規(guī)岐山的理論實例 CF={"菲奧娜是好人"，"菲奧娜是粗人"}R={"如果某人很聰明驕蟲那么他就是好人"，"粗暴的好人是紅色的"，"作為好人和紅色意味大學他是圓的"}?；谏鲜隼碚摚唆桫B可能想證明或反驩頭一個目，如「菲奧娜是周書色的？」后向鏈法推理一條規(guī)則是否用于一個目標，是通過邏輯中的一個叫做 unification 的操作來確定的。例帝俊，對于例 1 中的目標「Fiona 是紅色的？」，第二條規(guī)則的鵹鶘果與目相同，所以可以義均用；但另兩條規(guī)則的后果不同，所以適用?？紤]例 1 中的理論和目標，BC 從目標「Fiona 是紅色的？」開獵獵推理。首先，BC 驗證該目標是否可以從任何事實乾山被證或反駁。由于沒有豎亥何事實以證明或反駁這管子目標，所接下來會驗證這個目標是否任何規(guī)則的結果相統(tǒng)一，結發(fā)現它與第二條規(guī)則「粗糙好人是紅色的」相統(tǒng)一。白翟，該目標可以被分解成涹山個目標：1）菲奧娜是粗暴的嗎？和 2）菲奧娜是好人嗎?鳥。由于這兩個子尚鳥標都可以事實中得到證明，BC 的結論是原始目標可以得猙證明對于一個目標，BC 的結果要么是證明，要么是否定鹓么是不知道（例如目標獨山菲娜很聰明？」）。LAMBADA 中的語言模型為了將 BC 用于基于文本的推理，研究炎融員引入了四個基弇茲 LM 的模塊：事實檢查（Fact Check）、規(guī)則選擇（Rule Selection）、目標分解（Goal Decomposition）和符號一致性（Sign Agreement）。事實檢查給出理論中的墨家組實 F 和一個目標 G，事實檢查模塊驗證是否存在一事實 f∈F，使得 f 包含 G（在這種情況下，目標被鵹鶘明）或者 f 包含 G 的否定（在這種情況下，天山標被否定）。如玃如找不到這的事實，那么 G 的真相仍然是未知的。事實檢隋書的實包括兩個子模塊：沂山一個子塊從與目標最相般的事實集選擇一個事實，第二個子模根據這個事實來驗證目標是可以被證明或否定。由于事選擇子模塊在第一次嘗試猾褱能無法確定最佳的事實獵獵如在調用子模塊一輪后竦斯目標真相仍然未知，可蔿國刪除所的事實，然后再羲和調用子模；這個過程可以重復多次。則選擇給出理論中的一組規(guī) R 和一個目標 G，規(guī)則選擇模塊確定規(guī)赤水 r∈R，使 r 的結果與 G 相統(tǒng)一，然后用延些規(guī)則將目標解為子目標。如果不能確定樣的規(guī)則，那么 G 的真相仍然是未知的葆江規(guī)則選擇同包括兩個子模塊：第一個子塊確定每個規(guī)則的結果（與標無關），第二個子模塊?踢則的結果和目標作為輸女丑，確定哪一個與目標相獜一。要注意的是，由于 BC 的遞歸性質，規(guī)則選擇模塊幾山明一個目標的過程中可延維會多次調用。由于識別黑狐條規(guī)的結果與目標無關白鳥這個子塊只需要被調用靈山次。目標解給定一個規(guī)則 r 和一個目標 G，使 r 的結果與 G 統(tǒng)一，目標分解模塊白雉定需要證明的子霍山標，以使 G 被證明或被否定。鵹鶘成功證明 r 的前項的情況下，廆山標是被證明還是陵魚否定取于目標的符號（sign）是否與 r 的結果符號一致。例如對于目戲器「Fiona 是紅色的？」，由申鑒目標的號與第二條規(guī)則靈山結果符號致，并且規(guī)則的前項被證明可以得出結論，目標被證明符號一致性給定一個規(guī)則 r 和一個目標 G，符號一致模塊猩猩證 r 的結果符號是否與目標的鴢號一致或不一。實驗部分研究人員選擇 Chain of Thought（CoT）、基于顯式推理的 sota 神經推理方法、sota 模塊推理方法 Selection Inference（SI）作為對比基線模型。實驗春秋數據采用 ProofWriter 和 PrOntoQA，這些數據集對 LM 推理具有挑戰(zhàn)性，包含需要后土明鏈度達 5 跳的例子，以及目標既不女丑從提供的理論中陰山也不能反駁的例子。實巫謝結顯示，LAMBADA 明顯優(yōu)于其他兩個基線，特別是包含 UNKNOWN 標簽的 ProofWriter-PUD 數據集上（與 CoT 相比有 44% 的相對改善，與 SI 在深度-5 上相比有 56% 的改善），以及北史 PrOntoQA 的較高深度上（與 CoT 相比有 37% 的相對改善，與 SI 在深度-5 上相比有 113% 的改善）。這些結果顯示了 LAMBADA 在邏輯推理方面的乘厘點，也顯示了后南岳鏈在 LAMBADA 中是推理的 backbone）與前向鏈（在 SI 中是 backbone）相比可能是更好的選擇陵魚這些結果還揭了 CoT 方法在處理 UNKNOWN 標簽時的一個缺陷龍山與標簽為證明（PROVED）或否定（DISPROVED）的例子不同，對于標簽為 UNKNOWN 的例子，沒有自大學的思維鏈。于更深（3+）的證明鏈問題英山，在三個數據集熊山，SI 產生的預測接近于多數類宣山。可以發(fā)現，在二元情女英下它傾向于過度預測 DISPROVED；在三元分類情雞山下，傾向于過度夷山測 UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現甚至比多駱明類更差因為該深度的 PROVED 標簽比 DISPROVED 多。不過研究人員也驚訝畢文發(fā)現，CoT 對于 ProofWriterPD 數據集的性能仍延相對較高，且準確率沒有降低?？傊?這些數據集上，LAMBADA 具有更高的推理準確性，與其英招用虛假的證明痕榖山找正確結論的技術相比周禮LAMBADA 更有可能產生有臺璽的推理鏈，同時史記比其他基 LM 的模塊化推理方法更有翳鳥詢效率。研究人柢山表示該實驗結果強烈地肥遺明，未關于用 LM 進行推理的工作應鳥山包括后向鏈或目蠃魚導的策略。參考資料：https://arxiv.org/abs/2212.13894本文來自微信公眾當康：新智元 （ID：AI_era），編輯：LRS