激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

斯坦福大學(xué)師生打造電影級CG渲染：神經(jīng)光圖技術(shù)驚艷登場！

發(fā)布時間：2023-12-09 11:55:50 瀏覽量：125次

來源：unite ai

編輯：yaxin

【新智元導(dǎo)讀】近日，斯坦福研究人員發(fā)表的一篇論文中，對現(xiàn)有的2個數(shù)量級圖像進行了改進，展示了通過機器學(xué)習(xí)管道實現(xiàn)實時CG渲染的幾個步驟。


神經(jīng)輻射場(NeRF)這一技術(shù)能夠創(chuàng)建人工智能生成的三維環(huán)境和三維物體。


但這種新的圖像合成技術(shù)需要大量的訓(xùn)練時間，并且缺乏實現(xiàn)實時、高度響應(yīng)接口的實現(xiàn)。


然而，企業(yè)和學(xué)術(shù)界之為這一挑戰(zhàn)提供了新的思路——新視圖合成 (NVS)。


近日，一篇題為Neural Lumigraph Rendering的研究論文聲稱，它對現(xiàn)有的2個數(shù)量級圖像進行了改進，展示了通過機器學(xué)習(xí)管道實現(xiàn)實時 CG 渲染的幾個步驟。



與以前的方法相比，神經(jīng)光圖渲染提供了更好的混合偽像分辨率，并改進了遮擋的處理。



除了斯坦福大學(xué)(Stanford University)和全息顯示技術(shù)公司 Raxium 的研究人員，這篇論文的貢獻者還包括谷歌首席機器學(xué)習(xí)架構(gòu)師、 Adobe 的計算機科學(xué)家，以及 StoryFile 的首席技術(shù)官。


體積捕獲的原理是拍攝主題的靜態(tài)圖像或視頻，并使用機器學(xué)習(xí)來「填充」原始文檔未涵蓋的觀點的想法。



上圖取自 Facebook AI 的 2019 AI 研究 ，可以看出體積捕獲的四個階段:


1 多個攝像機獲取圖像/畫面;

2 編碼器/解碼器架構(gòu)(或其他架構(gòu))計算并連接視圖的相關(guān)性;

3 射線行進算法計算空間中每個點的體素(或其他 XYZ 空間幾何單位) ;

4 訓(xùn)練合成一個完整的實體，可以實時操作。


到目前為止，正是這種數(shù)據(jù)量大的訓(xùn)練階段使得新視圖合成超出了實時或高響應(yīng)捕獲的范疇。


事實上，新視圖合成制作了一個完整3D地圖的體積空間，意味著它是把這些點縫合到一個傳統(tǒng)的計算機生成的網(wǎng)格，有效地捕捉和連接一個實時CGI 角色。


使用 NeRF 的方法依靠點云和深度圖在捕獲設(shè)備的稀疏視點之間生成插值:



盡管 NeRF 能夠計算網(wǎng)格，但大多數(shù)并不使用它來生成體積場景。


相比之下，魏茨曼科學(xué)研究所（Weizmann Institute of Science）在2020年10月發(fā)布的隱式可區(qū)分渲染(IDR)方法，取決于利用從捕獲數(shù)組自動生成的3D網(wǎng)格信息。



雖然 NeRF 缺乏 IDR 的形狀估計能力，IDR無法比擬的nerf的圖像質(zhì)量，而且兩者都需要大量的資源來訓(xùn)練和整理。


NLR的Custom相機裝置具有16臺GoPro HERO7和6臺中央Back-Bone H7PRO相機。對于實時渲染，它們的最低運行速度為60fps。



相反，神經(jīng)光圖渲染利用 SIREN (正弦表示網(wǎng)絡(luò))將每種方法的優(yōu)點整合到它自己的框架中，目的是生成直接可用于現(xiàn)有實時圖形管道的輸出。


在過去一年中，SIREN 已被用于類似場景，現(xiàn)在是圖像合成社區(qū)中業(yè)余愛好者 Colabs 的一個流行的 API 調(diào)用。


然而，NLR 的創(chuàng)新是將 SIREN 應(yīng)用于二維多視圖圖像監(jiān)控。


從陣列圖像中提取 CG 網(wǎng)格后，通過 OpenGL 對網(wǎng)格進行柵格化，將網(wǎng)格的頂點位置映射到適當(dāng)?shù)南袼攸c，然后計算各種貢獻圖的融合。


結(jié)果得到的網(wǎng)格比 NeRF 的網(wǎng)格更加具有代表性，需要更少的計算，并且不會將過多的細節(jié)應(yīng)用到不能從中受益的區(qū)域(如光滑的面部皮膚) :



另一方面，NLR 還沒有任何動態(tài)照明或重點照明的能力，輸出僅限于陰影地圖和其他照明時獲得的信息。研究人員打算在未來的工作中解決這個問題。


此外，論文承認由 NLR 生成的圖形并不像一些替代方法那樣精確，或者前面提到的魏茨曼科學(xué)研究。


利用神經(jīng)網(wǎng)絡(luò)從一系列有限的照片中創(chuàng)建3D實體的想法早于 NeRF，而相關(guān)研究可以追溯到2007年或更早。


在2019年，F(xiàn)acebook 的人工智能研究部門發(fā)表了一篇開創(chuàng)性的研究論文Neural volume: Learning Dynamic Renderable volume from Images)，該論文首次為基于機器學(xué)習(xí)的體積捕獲生成的合成人啟用了響應(yīng)界面。




參考資料：

https://www.unite.ai/towards-real-time-ai-humans-with-neural-lumigraph-rendering/

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定