又一個(gè) AI 老大難問(wèn)題，被 DeepMind 攻克了：一名叫 DreamerV3 的 AI，在啥也不知的情況下被進(jìn)《我的世》（MineCraft）里，摸爬滾 17 天，還真就學(xué)會(huì)如何從 0 開(kāi)始挖鉆石△ 就是從擼樹(shù)開(kāi)始的那要知道，之為了攻克這問(wèn)題，CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個(gè)比賽叫 MineRL。結(jié)果搞了三四年，AI 們也沒(méi)能在不參考人經(jīng)驗(yàn)的情況，完成挖鉆任務(wù)。此前現(xiàn)最好的 VPT 選手，為了達(dá)成這成就，可是看了 70000 + 小時(shí)《我的世》游戲視頻并且用上了 720 個(gè) V100……這不 DeepMind 的最新結(jié)果出，研究人都開(kāi)心壞了MineRL 的發(fā)起人之一、前 OpenAI 研究科學(xué)家 William Guss 就第一時(shí)間來(lái)發(fā)表賀電4 年了，“鉆石挑戰(zhàn)”于被攻克了今年剛拿到 NeurIPS 杰出數(shù)據(jù)集和基準(zhǔn)文獎(jiǎng)的 MineDojo 作者、英偉達(dá) AI 科學(xué)家范麟熙表示：AI 玩轉(zhuǎn) MineCraft 背后，有個(gè)莫拉維克悖：一些任務(wù)于人類(lèi)而言困難（比如棋），但對(duì) AI 來(lái)說(shuō)很簡(jiǎn)單。但像 MineCraft 這樣人類(lèi)高玩無(wú)的游戲，情卻相反。DreamerV3 能在沒(méi)有任何人工數(shù)輔助的情況收集鉆石，讓我感到非興奮。如何到所以，這 0 基礎(chǔ)挖鉆石任務(wù)，底有啥難點(diǎn)首先，在《的世界》里初始世界是全隨機(jī)生成。即使是人玩家，想要速挖到鉆石也得有相當(dāng)富的經(jīng)驗(yàn)。如，知道怎推算鉆石的置、掌握一挖掘竅門(mén)（魚(yú)骨挖礦法等。排除掉驗(yàn)的因素，于 AI 來(lái)說(shuō)，這個(gè)挖石的過(guò)程也復(fù)雜，至少要 7 個(gè)步驟。第一步玩家在空手入《我的世》中時(shí)，需先擼樹(shù)來(lái)獲木塊：第二，得用木塊來(lái)合成工作：第三步，工作臺(tái)上合木鎬，用來(lái)圓石：第四，獲得圓石后，需要合一個(gè)石鎬，來(lái)快速挖鐵：第五步，了將鐵礦合鐵錠，還需做一個(gè)熔爐燒鐵：第六，合成鐵鎬用來(lái)挖鉆石第七步，尋鉆石，然后鐵鎬挖出鉆：p.s. 有玩家測(cè)試，在 AI 知道鉆石等種資源坐標(biāo)情況下（開(kāi)掛），也需 2-3 分鐘才能搞定這也就意味，AI 必須在有限時(shí)間，做出大量策。那么既不能參考人高手的經(jīng)驗(yàn)自然就需要化學(xué)習(xí)（Reinforcement Learning）出馬。具體而言，DeepMind 的研究人員提出了一基于世界模的通用算法在整體架構(gòu)，DreamerV3 由 3 個(gè)神經(jīng)網(wǎng)絡(luò)組成：界模型、評(píng)（critic）和演員（actor）。世界模型做的，是把境輸入編碼離散的表征并通過(guò)預(yù)測(cè)指導(dǎo)下一步執(zhí)行的操作而評(píng)委和演則會(huì)根據(jù)抽出來(lái)的表征行學(xué)習(xí)。其，評(píng)委網(wǎng)絡(luò)輸出一個(gè)標(biāo)值來(lái)代表行價(jià)值，從而助演員網(wǎng)絡(luò)擇最優(yōu)的行。這里面的個(gè)核心點(diǎn)在，DeepMind 的研究人員希望 DreamerV3 不僅僅能處理同型的問(wèn)題，可以用固定參數(shù)，掌握領(lǐng)域任務(wù)。此，研究人需要系統(tǒng)地決世界模型評(píng)委和演員各個(gè)組件中號(hào)大小不同以及穩(wěn)定平目標(biāo)的問(wèn)題研究人員發(fā)：以前的世模型，需要據(jù)復(fù)雜 3D 環(huán)境的視覺(jué)輸入，對(duì)表損失進(jìn)行不的縮放，在練過(guò)程中還調(diào)整不少超數(shù)，但這里其實(shí)有許多必要的細(xì)節(jié)而如果把自比特（free bits）和 KL 平衡（KL balancing）結(jié)合起來(lái)，就可在不調(diào)整超數(shù)的情況下 DreamerV3 在不同領(lǐng)域中習(xí)。KL 平衡是上一代 DreamerV2 中提出的一項(xiàng)新術(shù)。能夠使測(cè)向表征移的速度比表向預(yù)測(cè)移動(dòng)速度更快，來(lái)更精確的測(cè)。自由比避免了簡(jiǎn)單境下的過(guò)度合。DreamerV3 的三大塊都上了固定超數(shù)，具體如：實(shí)驗(yàn)結(jié)果就是說(shuō)，DreamerV3 如今成了世界上第一純靠自己摸，就能在《的世界》里挖鉆石的 AI。并且 DreamerV3 的本事可不只是玩 MC。在另外 7 項(xiàng)基準(zhǔn)測(cè)試中，DreamerV3 都取得了成功，并且 BSuite、Crafter 上達(dá)到了 SOTA。值得一提的是，在這任務(wù)中，訓(xùn)智能體所用的 GPU 資源都僅為 1 塊 V100。研究人員表示，這味著有更多實(shí)驗(yàn)室能跑動(dòng)這一模型另外，在需時(shí)空推理的維空間中，DreamerV3 也能快速進(jìn)行學(xué)習(xí)在 DeepMind 為強(qiáng)化學(xué)習(xí)專(zhuān)打造的 3D 平臺(tái) DMLab 上，DreamerV3 在任務(wù)中使用的互次數(shù)僅為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。感興趣的伙伴可以蹲波~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來(lái)自微信公號(hào)：量子位 （ID：QbitAI），作者：魚(yú)羊 Alex