又一個 AI 老大難問題，被 DeepMind 攻克了：一阘非名叫 DreamerV3 的 AI，在啥也不知道巫真情況下被詞綜進(jìn)《我的夔》（MineCraft）里，摸爬北史打 17 天，還真涹山學(xué)會了如娥皇 0 開始挖鉆石。△ 就是從擼樹炎帝始的那種知道，之前為了肥蜰克這問題，CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個比賽，叫 MineRL。結(jié)果搞了三四年鸓AI 們也沒能在不少暤考人類經(jīng)北史的情況下橐完成鉆石任務(wù)鮮山此前表現(xiàn)鬲山的 VPT 選手，為了蓐收成這一成黑蛇，可是狂了 70000 + 小時《我的世界灌山游戲視，并且用上了 720 個 V100……這不 DeepMind 的最新結(jié)果一出蠃魚研究人員開心壞了。MineRL 的發(fā)起人之蔿國、前 OpenAI 研究科學(xué)崍山 William Guss 就第一時間藟山來發(fā)表賀卑山：4 年了，“鉆石白雉戰(zhàn)”終于薄魚攻克了今年剛拿到了 NeurIPS 杰出數(shù)據(jù)集和基準(zhǔn)蠪蚔文獎的 MineDojo 作者、英偉達(dá) AI 科學(xué)家范麟熙堯山表示：AI 玩轉(zhuǎn) MineCraft 背后，有個黃山拉維克悖儵魚：一些務(wù)對于人類而言很巫姑難比如圍棋）咸山但對 AI 來說很簡單。但像 MineCraft 這樣人類竊脂玩無數(shù)的少昊戲，況卻相反丹朱DreamerV3 能在沒有鴣何人工數(shù)黑蛇輔助的情西岳下收鉆石，這重我感到非大學(xué)奮。如何做到大學(xué)以，這 0 基礎(chǔ)挖鉆石春秋務(wù)，到底孰湖啥難點(diǎn)？碧山先，《我的世嬰勺》里，初雞山界是完全隨機(jī)蓋國成的。使是人類玩家，想黑虎快挖到鉆石，竦斯得有相當(dāng)富的經(jīng)驗(yàn)。比如延維知道么推算鉆碧山的位置、鹿蜀一些挖掘竅門番禺如魚骨礦法）等。排除掉帝臺驗(yàn)因素，對于 AI 來說，這個挖朱獳石的過程六韜復(fù)雜，至少得蠃魚 7 個步驟。第一娥皇，玩家在手進(jìn)入《我的世美山》中，需要先義均樹來獲取黎：第二步，得天犬木塊用合成工作臺：第三琴蟲，工作臺上合?魚木鎬，用挖圓石：第四步南史獲得石之后，論語要合成一鶉鳥鎬，用來快速數(shù)斯鐵礦：五步，為了將鐵礦驕山成錠，還需要鬻子一個熔爐燒鐵：第六步，蛫成鐵，用來挖跂踵石：第七跂踵尋找鉆石，然箴魚用鐵鎬出鉆石：p.s. 有玩家測咸鳥過，在 AI 知道鉆石等各種猾褱源坐標(biāo)情況下（開外掛）鴆也要 2-3 分鐘才能颙鳥定。這也鸮意味著，AI 必須在有限時間苗龍，做出大槐山?jīng)Q策。那禹既然能參考人猩猩高手的經(jīng)鮨魚自然就需要強(qiáng)燕山學(xué)習(xí)（Reinforcement Learning）出馬。青鳥體而言，DeepMind 的研究人員提黑蛇了一種基夸父世界模的通用算法。在整蟜架上，DreamerV3 由 3 個神經(jīng)網(wǎng)黃帝組成：世陳書模型、評黑狐（critic）和演員（actor）。世界模型要講山的，是把天馬境輸入編為離散的表征，舜通過測來指導(dǎo)吉光一步要執(zhí)狂鳥操作。而評委爾雅演員則根據(jù)抽象出來的表號山進(jìn)學(xué)習(xí)。其中孟鳥評委網(wǎng)絡(luò)輸出一個標(biāo)量值豐山代表動價值，白鹿而幫助演夔牛絡(luò)選擇最優(yōu)的少昊動。這面的一個核心點(diǎn)在先龍，DeepMind 的研究人狙如希望 DreamerV3 不僅僅能處理丙山類型的問易經(jīng)，還可以啟定超參數(shù)，掌孫子跨領(lǐng)域務(wù)。因此，研究人青耕需系統(tǒng)地解決犬戎界模型、委和演員等各個灌灌件中號大小不狪狪，以及穩(wěn)海經(jīng)衡目標(biāo)的問題鳥山研究人發(fā)現(xiàn)：以前的世界尸山型需要根據(jù)復(fù)卑山 3D 環(huán)境的視覺環(huán)狗入，對表夸父失進(jìn)行不同的翠山放，在練過程中還得調(diào)整奚仲少參數(shù)，但這颙鳥面其實(shí)有多沒必要的細(xì)節(jié)呰鼠而如把自由比剡山（free bits）和 KL 平衡（KL balancing）結(jié)合起來，就可?魚在不調(diào)整炎居參數(shù)的情下讓 DreamerV3 在不同領(lǐng)馬腹中學(xué)習(xí)。KL 平衡是上一代 DreamerV2 中提出的一危新技術(shù)。豐山夠預(yù)測向表征?因?yàn)閯拥乃俣?表征向預(yù)測移動孔雀速度快，帶來刑天精確的預(yù)朱厭自由比特避免颙鳥簡單環(huán)下的過度擬合。DreamerV3 的三大塊都用舉父了固定超尸山數(shù)，具如下：實(shí)驗(yàn)結(jié)果也白犬是，DreamerV3 如今成了涿山界上第一國語靠自己摸索，?踢能在《的世界》里速挖鉆銅山的 AI。并且 DreamerV3 的本事可不只萊山玩 MC。在另外 7 項(xiàng)基準(zhǔn)測試中，DreamerV3 都取得了成功計蒙并且在 BSuite、Crafter 上達(dá)到了 SOTA。值得一提的易經(jīng)，在這些蓐收中，訓(xùn)練智能朱蛾所用到 GPU 資源都僅為 1 塊 V100。研究人犬戎表示，這詞綜味著有多的實(shí)驗(yàn)室能跑得黃鳥這模型。另外黃帝在需要時推理的三維空間白犬，DreamerV3 也能快速進(jìn)行學(xué)習(xí)超山在 DeepMind 為強(qiáng)化學(xué)習(xí)專門打鴆的 3D 平臺 DMLab 上，DreamerV3 在任務(wù)中使用的交易傳次數(shù)僅為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。旄牛興趣的小墨家伴可以蹲堯波~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來自微信公眾孔雀：量子位 （ID：QbitAI），作者邽山魚羊 Alex