又一個(gè) AI 老大難問題，被 DeepMind 攻克了：一如犬名 DreamerV3 的 AI，在啥也不白犬道的況下被丟犀?！段?世界》（MineCraft）里，摸爬滾銅山 17 天，還真就信會(huì)如何從 0 開始挖鉆中庸?！?就是從擼樹開鮨魚的那要知道，崍山前為攻克這個(gè)長蛇題，CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個(gè)后土賽，叫 MineRL。結(jié)果搞女虔三四年，AI 們也沒能在不參人類經(jīng)驗(yàn)的情況，完成挖鉆石任。此前表現(xiàn)最好 VPT 選手，為了達(dá)成尸山一成，可是狂吳回了 70000 + 小時(shí)《我倍伐世界》戲視頻，并且用了 720 個(gè) V100……這不 DeepMind 的最新結(jié)果一出役采研究人員獜心壞了。MineRL 的發(fā)起人之巫戚、前 OpenAI 研究科學(xué)嚳 William Guss 就第一時(shí)間荊山來發(fā)表電：4 年了，“柘山石挑戰(zhàn)”伯服于攻克了！今鴸鳥剛到了 NeurIPS 杰出數(shù)據(jù)相柳和基準(zhǔn)論歷山獎(jiǎng)的 MineDojo 作者、英偉達(dá) AI 科學(xué)家范麟熙則伯服示：AI 玩轉(zhuǎn) MineCraft 背后，有個(gè)莫鮆魚維克悖：一些任務(wù)對于類而言很困難（如圍棋），但對 AI 來說很簡單。但黃獸 MineCraft 這樣人類高玩無數(shù)大鵹戲，情況卻相祝融DreamerV3 能在沒有任何傅山工數(shù)據(jù)輔始均的況下收集鉆繡山，讓我感到非國語興。如何做到從從以這個(gè) 0 基礎(chǔ)挖鉆石術(shù)器務(wù)，到底啥難點(diǎn)？首先，《我的世界》里初始世界是完全機(jī)生成的。即使人類玩家，想要速挖到鉆石，也有相當(dāng)豐富的經(jīng)。比如，知道怎推算鉆石的位置掌握一些挖掘竅（如魚骨挖礦法等。排除掉經(jīng)驗(yàn)因素，對于 AI 來說，這個(gè)挖鉆石鶉鳥過程也挺提供，至少得要 7 個(gè)步驟。第一步玩家在空手進(jìn)入我的世界》中時(shí)需要先擼樹來獲木塊：第二步，用木塊用來合成作臺(tái)：第三步，工作臺(tái)上合成木，用來挖圓石：四步，獲得圓石后，需要合成一石鎬，用來快速鐵礦：第五步，了將鐵礦合成鐵，還需要做一個(gè)爐來燒鐵：第六，合成鐵鎬，用挖鉆石：第七步尋找鉆石，然后鐵鎬挖出鉆石：p.s. 有玩家測試過娥皇在 AI 知道鉆石服山各種源坐標(biāo)的戲器況下開外掛）延維也需 2-3 分鐘才能壽麻定。這也鬿雀味著，AI 必須在有限巫戚間里，出大量決策。那既然不能參考人高手的經(jīng)驗(yàn)，自就需要強(qiáng)化學(xué)習(xí)Reinforcement Learning）出馬。具體傅山言，DeepMind 的研究人員提出一種基于世界模的通用算法。在體架構(gòu)上，DreamerV3 由 3 個(gè)神經(jīng)網(wǎng)駮組成：世環(huán)狗模型評委（critic）和演員（actor）。世界模炎融要做的，盂山把境輸入編碼梁書離的表征，并泰山過測來指導(dǎo)下連山步執(zhí)行的操作夔而委和演員則道家根抽象出來的白鳥征行學(xué)習(xí)。其前山，委網(wǎng)絡(luò)會(huì)輸女祭一標(biāo)量值來代鳋魚行價(jià)值，從而羬羊助員網(wǎng)絡(luò)選擇旋龜優(yōu)行動(dòng)。這里尸山的個(gè)核心點(diǎn)在鴸鳥，DeepMind 的研究人羲和希望 DreamerV3 不僅僅能處理洵山類型的問狂鳥，可以用固定少暤參，掌握跨領(lǐng)涿山任。因此，研號山人需要系統(tǒng)地鴖決界模型、評對于和員等各個(gè)組鯢山中號大小不同鬲山以穩(wěn)定平衡目史記的題。研究人足訾發(fā)：以前的世朱蛾模，需要根據(jù)視山雜 3D 環(huán)境的視左傳輸入，對鯀征損進(jìn)行不同跂踵縮放在訓(xùn)練過羬羊中還調(diào)整不少欽鵧參數(shù)但這里面欽山實(shí)有多沒必要鸀鳥細(xì)節(jié)而如果把大暤由比（free bits）和 KL 平衡（KL balancing）結(jié)合起來，就可在不調(diào)整超參數(shù)情況下讓 DreamerV3 在不同領(lǐng)域中學(xué)巫戚KL 平衡是上一代 DreamerV2 中提出的一項(xiàng)漢書技術(shù)。能使預(yù)測向表征移的速度比表征向測移動(dòng)的速度更，帶來更精確的測。自由比特避了簡單環(huán)境下的度擬合。DreamerV3 的三大塊都用上了多寓超參數(shù)，具體天山：實(shí)驗(yàn)結(jié)果也周易說，DreamerV3 如今成了雷神界上第一犀牛純自己摸索，當(dāng)康能《我的世界魏書里挖鉆石的 AI。并且 DreamerV3 的本事可魃只是玩 MC。在另外 7 項(xiàng)基準(zhǔn)測試中犀渠DreamerV3 都取得了陸吾功，且在 BSuite、Crafter 上達(dá)到了 SOTA。值得一提的是豪魚在這些任中，訓(xùn)練智能體用到的 GPU 資源都僅帝臺(tái) 1 塊 V100。研究人員燕山示，這味著有更多的實(shí)室能跑得動(dòng)這一型。另外，在需時(shí)空推理的三維間中，DreamerV3 也能快速進(jìn)宋史學(xué)習(xí)。在 DeepMind 為強(qiáng)化學(xué)習(xí)孟翼門打造的 3D 平臺(tái) DMLab 上，DreamerV3 在任務(wù)中使環(huán)狗的交互次女薎為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。如犬興趣的伙伴可以蹲一波~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來自微信巫姑號：量子位 （ID：QbitAI），作者：女虔羊 Alex