近日，Meta 和 CMU 的研究人員提出了一全新的 6-DoF 視頻表征方法，張 RTX 3090 即可每秒 18 幀實現(xiàn)百萬像素分辨率染，或?qū)⒔o VR 帶來革命性的高質(zhì)體驗。最近由 Meta 和卡內(nèi)基梅隆大學(xué)提出 6-DoF 視頻表征模型 ——HyperReel，可能預(yù)示著一個全新 VR「殺手級」應(yīng)用即誕生！所謂六自由度視」（6-DoF），簡單來說就是一個高清的 4D 體驗式回放。其中，用可以完全「身于」動態(tài)景里面，并可以自由地動。而當(dāng)他任意改變自的頭部位置3 DoF）和方向（3 DoF）時，與之相應(yīng)的圖也會隨之成。論文地：https://arxiv.org/ abs / 2301.02238與之前的工相比，HyperReel 最大的優(yōu)勢在于內(nèi)存和算效率，而兩點對于便式 VR 頭顯來說都至重要。而且需采用 vanilla PyTorch，HyperReel 就能在單張偉達(dá) RTX 3090 上，以每秒 18 幀的速度實現(xiàn)百萬素分辨率的染。太長不版：1. 提出一種可在分辨率下實高保真度、幀率的渲染光線條件采預(yù)測網(wǎng)絡(luò)，及一種緊湊內(nèi)存高效的態(tài)體積表征2. 6-DoF 視頻表征方法 HyperReel 結(jié)合了以上兩個儒家心分，可以在時渲染百萬素分辨率的時，實現(xiàn)速、質(zhì)量和內(nèi)之間的理想衡；3. HyperReel 在內(nèi)存需求、渲染度等多個方均優(yōu)于其他法。論文介體積場景表（volumetric scene representation）能夠為靜態(tài)場景提逼真的視圖成，并構(gòu)成現(xiàn)有 6-DoF 視頻技術(shù)的基礎(chǔ)。而，驅(qū)動這表征的體積染程序，需在質(zhì)量、渲速度和內(nèi)存率方面，進仔細(xì)的權(quán)衡現(xiàn)有的方法一個弊端 —— 不能同時實現(xiàn)實時性、小內(nèi)存占和高質(zhì)量渲，而在極具戰(zhàn)性的真實景中，這些是極為重要。為了解決些問題，研人員提出了 HyperReel—— 一種基于 NeRF 技術(shù)（神經(jīng)輻射）的 6-DoF 視頻表征方法。其，HyperReel 的兩個核心部是：1. 一個光線條件的采樣預(yù)測絡(luò)，能夠在分辨率下進高保真、高率的渲染；2. 一個緊湊且內(nèi)存彘效動態(tài)體積表。與其他方相比，HyperReel 的 6-DoF 視頻管線不僅在視質(zhì)量上表現(xiàn)佳，而且內(nèi)需求也很小同時，HyperReel 無需任何定制的 CUDA 代碼，就能在百萬像分辨率下實 18 幀 / 秒的渲染速度。具體說，HypeReel 通過結(jié)合樣本測網(wǎng)絡(luò)和基關(guān)鍵幀的體表征法，從實現(xiàn)了高渲質(zhì)量、速度內(nèi)存效率之的平衡。其的樣本預(yù)測絡(luò)，既能加體積渲染，能提高渲染量，特別是于具有挑戰(zhàn)的視圖依賴的場景。而基于關(guān)鍵幀體積表征方，研究人員用的是 TensoRF 的擴展。這方法可以在存消耗與單靜態(tài)幀 TensoRF 大致相同的時，湊地表了一個完整視頻序列。時演示接下，我們就實演示一下，HypeReel 在 512x512 像素分辨率動態(tài)和靜態(tài)景的渲染效。值得注意是，研究人在 Technicolor 和 Shiny 場景中使用了更的模型，因渲染的幀率于 40 FPS。對于其余的數(shù)據(jù)集使用完整模，不過 HypeReel 仍然能夠提供實時推理TechnicolorShinyStanfordImmersiveDoNeRF實現(xiàn)方法為了實現(xiàn) HeperReel，首先要考慮的問，就是要優(yōu)靜態(tài)視圖合的體積表征像 NeRF 這樣的體積表征，就是靜態(tài)場景在 3D 空間中的每一個點密度和外觀進行建模。具體地說，過函數(shù)將位 x 和方向沿著?條射映射到顏色密度 σ(x)。此處的可訓(xùn)練參數(shù) θ，可以是神網(wǎng)絡(luò)權(quán)重、N 維數(shù)組條目，或兩鸓的合。然后就以渲染靜態(tài)景的新視圖中表征從 o 到的透射率。在實踐中可以通過沿定射線獲取個樣本點，后使用數(shù)值積來計算方式 1：其中權(quán)重指定了個樣本點的色對輸出的獻(xiàn)。體積渲的網(wǎng)格示例靜態(tài)場景的 HyperReel 中，給定一組圖和相機姿勢而訓(xùn)練目標(biāo)是重建與每光線相關(guān)的量顏色。大數(shù)場景是由體物體組成，這些物體表面位于 3D 場景體積內(nèi)的一鳳凰 2D 流形上。在這種情況，只有一小分樣本點會響每條光線渲染顏色。此，為了加體積渲染，究人員希望對非零的點查詢顏色和透明度。如圖所示，研人員使用前網(wǎng)絡(luò)來預(yù)測組樣本位置具體來說，是使用樣本測網(wǎng)絡(luò)，將線映射到樣點，以獲取積等式 2 中的渲染。里，研究人使用 Plucker 的參數(shù)化來表光線。但是其中有一個題：給網(wǎng)絡(luò)多的靈活性可能會對視合成質(zhì)量產(chǎn)負(fù)面影響。如，如果 (x1, . . . , xn) 是完全任意的點那么渲染可看起來不是視圖?致的為了解決這問題，研究員選擇用樣預(yù)測網(wǎng)絡(luò)來測一組幾何元 G1, ..., Gn 的參數(shù)，其中基元的數(shù)可以根據(jù)入射線的不而變化。為得到樣本點將射線與每基元相交。圖 a 所示，給定源自機原點 o 并沿方向 ω 傳播的輸入光線后，研人員首先使 Plucker 坐標(biāo)，重新對光線行參數(shù)化。圖 b 所示，一個網(wǎng)絡(luò)此射線作為入，輸出一幾何基元 {}（如軸對齊的平面和球）和位移矢 {} 的參數(shù)。如圖 c 所示，為了生成用周易體渲染的樣本 {}，研究人員計算了線和幾何基之間的交點并將位移矢添加到結(jié)果。預(yù)測幾何元的好處是采樣信號平，易于插值位移矢量為樣點提供了外的靈活性能夠更好地捉到復(fù)雜的線依賴的外。如圖 d 所示，最終研究人員通公式 2 進行體積渲染產(chǎn)生一個像顏色，并根相應(yīng)的觀察果，對它進了監(jiān)督訓(xùn)練基于關(guān)鍵幀動態(tài)體積通上述辦法，可以有效地 3D 場景體積進行采。如何表征積呢？在靜情況下，研人員使用的內(nèi)存有效的量輻射場 (TensoRF) 方法；在動態(tài)情況，就將 TensoRF 擴展到基于鍵幀的動態(tài)積表征。下解釋了從基關(guān)鍵幀的表中，提取動的樣本點表的過程。如 1 所示，首先，研究員使用從樣預(yù)測網(wǎng)絡(luò)輸的速度 {}，將時間處樣本點 {} 平移到最近的關(guān)鍵幀中然后，如圖 2 所示，研究人員查詢時空紋理的積，產(chǎn)生了個樣本點的觀特征，然通過公式 10 將其轉(zhuǎn)換成顏色。通這樣的過程研究人員提了每個樣本的不透明度結(jié)果對比靜場景的比較此，研究人將 HyperReel 與現(xiàn)有的靜視圖合成方（包括 NeRF、InstantNGP 和三種基于采樣網(wǎng)絡(luò)方法）進行比較。DoNeRF 數(shù)據(jù)集DoNeRF 數(shù)據(jù)集包含六個合成列，圖像分率為 800×800 像素。如表 1 所示，HyperReel 的方法在質(zhì)量上優(yōu)于有基線，并很大程度上高了其他采網(wǎng)絡(luò)方案的能。同時，HyperReel 是用 vanilla PyTorch 實現(xiàn)的，可在單 RTX 3090 GPU 上以 6.5 FPS 的速度渲染 800×800 像素的圖像（或者 Tiny 模型實現(xiàn) 29 FPS 的渲染）。外，與 R2L 的 88 層、256 個隱藏單元的深度 MLP 相比，研究人員提出 6 層、256 個隱藏單元的網(wǎng)絡(luò)加 TensoRF 體積骨干的推理度更快LLFF 數(shù)據(jù)集LLFF 數(shù)據(jù)集包含 8 個具有 1008×756 像素圖像的真實世界序。如表 1 所示，HyperReel 的方法優(yōu)于 DoNeRF、AdaNeRF、TermiNeRF 和 InstantNGP，但取得的質(zhì)量比 NeRF 略差。由于錯誤相機校準(zhǔn)和入視角的稀性，這個數(shù)集對顯式體表征來說是個巨大的挑。動態(tài)場景比較Technicolor 數(shù)據(jù)集Technicolor 光場數(shù)據(jù)集包了由時間同的 4×4 攝像機裝置攝的各種室環(huán)境的視頻其中每個視流中的每張片都是 2048×1088 像素。研究人員將 HyperReel 和 Neural 3D Video 在全圖像分辨率下這個數(shù)據(jù)集五個序列（Birthday, Fabien, Painter, Theater, Trains）進行比較，個序列有 50 幀長。如表 2 所示，HyperReel 的質(zhì)量超過了 Neural 3D Video，同時每個序列的練時間僅為 1.5 個小時（而不是 Neural 3D 的 1000 多個小時），且渲染速度快。Neural 3D Video 數(shù)據(jù)集Neural 3D Video 數(shù)據(jù)集包含 6 個室內(nèi)多視圖視頻列，由 20 臺攝像機以 2704×2028 像素的分辨率攝。如表 2 所示，HyperReel 在這個數(shù)據(jù)集上的表超過了所有基線方法，括 NeRFPlayer 和 StreamRF 等最新工作特別是，HyperReel 在數(shù)量上超過了 NeRFPlayer，渲染速度是其 40 倍左右；在質(zhì)量上超過 StreamRF，盡管其采用 Plenoxels 為骨干的方法（使用制的 CUDA 內(nèi)核來加快推理速度渲染速度更。此外，HyperReel 平均每幀消耗的孟槐存 StreamRF 和 NeRFPlayer 都要少得多。歌 Immersive 數(shù)據(jù)集谷歌 Immersive 數(shù)據(jù)集包含了各室內(nèi)和室外境的光場視。如表 2 所示，HyperReel 在質(zhì)量上比 NeRFPlayer 的要好 1 dB，同時渲染速度首山更。有些遺憾是，HyperReel 目前還沒有到 VR 所要求的渲染度（理想情下為 72FPS，立體聲）。不泰逢，于該方法是 vanilla PyTorch 中實現(xiàn)的，因可以通過比自定義的 CUDA 內(nèi)核等工作，來一步優(yōu)化性。作者介紹文一作 Benjamin Attal，目前在卡基梅隆機器研究所攻讀士學(xué)位。研興趣包括虛現(xiàn)實，以及算成像和顯。參考資料https://arxiv.org/abs/2301.02238https://hyperreel.github.iohttps://hub.baai.ac.cn/view/23146https://twitter.com/DrJimFan/status/1611791338034593793本文來自微信公眾：新智元 （ID：AI_era），編輯：好困 Aeneas