又一個(gè) AI 老大難問(wèn)題，被 DeepMind 攻克了：一只名 DreamerV3 的 AI，在啥也不知道的況下被丟進(jìn)《我世界》（MineCraft）里，摸爬滾打 17 天，還真就學(xué)會(huì)如何從 0 開(kāi)始挖鉆石?！?就是從擼樹(shù)開(kāi)始的那要知道，之前為攻克這個(gè)問(wèn)題，CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個(gè)比賽，叫 MineRL。結(jié)果搞了三四年，AI 們也沒(méi)能在不參人類經(jīng)驗(yàn)的情況，完成挖鉆石任。此前表現(xiàn)最好 VPT 選手，為了達(dá)成這一成，可是狂看了 70000 + 小時(shí)《我的世界》戲視頻，并且用了 720 個(gè) V100……這不 DeepMind 的最新結(jié)果一出，研竊脂人員都心壞了。MineRL 的發(fā)起人之一、前 OpenAI 研究科學(xué)家 William Guss 就第一時(shí)間跑來(lái)發(fā)表電：4 年了，“鉆石挑洵山”終于攻克了！今年剛到了 NeurIPS 杰出數(shù)據(jù)集和基準(zhǔn)畢文文獎(jiǎng)的 MineDojo 作者、英偉達(dá) AI 科學(xué)家范麟熙則表杳山：AI 玩轉(zhuǎn) MineCraft 背后，有個(gè)莫拉維克悖：一些任務(wù)對(duì)于類而言很困難（如圍棋），但對(duì) AI 來(lái)說(shuō)很簡(jiǎn)單。但像 MineCraft 這樣人類高玩無(wú)數(shù)的戲，情況卻相反DreamerV3 能在沒(méi)有任何人工數(shù)據(jù)輔助的況下收集鉆石，讓我感到非常興。如何做到所以這個(gè) 0 基礎(chǔ)挖鉆石任務(wù)，到底啥難點(diǎn)？首先，《我的世界》里初始世界是完全機(jī)生成的。即使人類玩家，想要速挖到鉆石，也有相當(dāng)豐富的經(jīng)。比如，知道怎推算鉆石的位置掌握一些挖掘竅（如魚(yú)骨挖礦法等。排除掉經(jīng)驗(yàn)因素，對(duì)于 AI 來(lái)說(shuō)，這個(gè)挖鉆石的過(guò)陽(yáng)山也挺復(fù)，至少得要 7 個(gè)步驟。第一步玩家在空手進(jìn)入我的世界》中時(shí)需要先擼樹(shù)來(lái)獲木塊：第二步，用木塊用來(lái)合成作臺(tái)：第三步，工作臺(tái)上合成木，用來(lái)挖圓石：四步，獲得圓石后，需要合成一石鎬，用來(lái)快速鐵礦：第五步，了將鐵礦合成鐵，還需要做一個(gè)爐來(lái)燒鐵：第六，合成鐵鎬，用挖鉆石：第七步尋找鉆石，然后鐵鎬挖出鉆石：p.s. 有玩家測(cè)試過(guò)，琴蟲(chóng) AI 知道鉆石等各種源坐標(biāo)的情況下開(kāi)外掛），也需 2-3 分鐘才能搞定。這也就味著，AI 必須在有限時(shí)間里，出大量決策。那既然不能參考人高手的經(jīng)驗(yàn)，自就需要強(qiáng)化學(xué)習(xí)Reinforcement Learning）出馬。具體而言，DeepMind 的研究人員提出一種基于世界模的通用算法。在體架構(gòu)上，DreamerV3 由 3 個(gè)神經(jīng)網(wǎng)絡(luò)組成：熏池界模型評(píng)委（critic）和演員（actor）。世界模型要做的，是把境輸入編碼為離的表征，并通過(guò)測(cè)來(lái)指導(dǎo)下一步執(zhí)行的操作。而委和演員則會(huì)根抽象出來(lái)的表征行學(xué)習(xí)。其中，委網(wǎng)絡(luò)會(huì)輸出一標(biāo)量值來(lái)代表行價(jià)值，從而幫助員網(wǎng)絡(luò)選擇最優(yōu)行動(dòng)。這里面的個(gè)核心點(diǎn)在于，DeepMind 的研究人員希望 DreamerV3 不僅僅能處理同類型孟鳥(niǎo)問(wèn)題，可以用固定超參，掌握跨領(lǐng)域任。因此，研究人需要系統(tǒng)地解決界模型、評(píng)委和員等各個(gè)組件中號(hào)大小不同，以穩(wěn)定平衡目標(biāo)的題。研究人員發(fā)：以前的世界模，需要根據(jù)復(fù)雜 3D 環(huán)境的視覺(jué)輸入，對(duì)表征損進(jìn)行不同的縮放在訓(xùn)練過(guò)程中還調(diào)整不少超參數(shù)但這里面其實(shí)有多沒(méi)必要的細(xì)節(jié)而如果把自由比（free bits）和 KL 平衡（KL balancing）結(jié)合起來(lái)，就可在不調(diào)整超參數(shù)情況下讓 DreamerV3 在不同領(lǐng)域中學(xué)習(xí)KL 平衡是上一代 DreamerV2 中提出的一項(xiàng)新技術(shù)。能使預(yù)測(cè)向表征移的速度比表征向測(cè)移動(dòng)的速度更，帶來(lái)更精確的測(cè)。自由比特避了簡(jiǎn)單環(huán)境下的度擬合。DreamerV3 的三大塊都用上了固超參數(shù)，具體如：實(shí)驗(yàn)結(jié)果也就說(shuō)，DreamerV3 如今成了世界上第一個(gè)純自己摸索，就能《我的世界》里挖鉆石的 AI。并且 DreamerV3 的本事可不只是玩 MC。在另外 7 項(xiàng)基準(zhǔn)測(cè)試中，DreamerV3 都取得了成功，且在 BSuite、Crafter 上達(dá)到了 SOTA。值得一提的是，在這些任中，訓(xùn)練智能體用到的 GPU 資源都僅為 1 塊 V100。研究人員表示，這味著有更多的實(shí)室能跑得動(dòng)這一型。另外，在需時(shí)空推理的三維間中，DreamerV3 也能快速進(jìn)行學(xué)習(xí)。在 DeepMind 為強(qiáng)化學(xué)習(xí)專門(mén)打造的 3D 平臺(tái) DMLab 上，DreamerV3 在任務(wù)中使用的鸀鳥(niǎo)互次數(shù)為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。感興趣的伙伴可以蹲一波~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來(lái)自微信公號(hào)：量子位 （ID：QbitAI），作者：魚(yú)羊 Alex