Facebook：Avatar VR頭像系統(tǒng)已經(jīng)可以模擬全身

時(shí)間：2023-06-26 06:06:02 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-06-26 06:06:02 來(lái)源：網(wǎng)站運(yùn)營(yíng)

Facebook：Avatar VR頭像系統(tǒng)已經(jīng)可以模擬全身：兩年前，F(xiàn)acebook Reality Labs公布了一款超逼真的虛擬頭像系統(tǒng)Codec Avatar，該系統(tǒng)基于容積攝影等3D動(dòng)捕技術(shù)，可在AR/VR中動(dòng)態(tài)渲染高度還原的面部表情和特征，與真人樣貌十分接近。而且五官、眉毛、胡子、膚色等特征看起來(lái)足夠細(xì)節(jié)、自然。







當(dāng)然，Codec Avatar的重點(diǎn)主要是模擬實(shí)時(shí)的人臉表情變化和面部特征，完整的AR/VR虛擬形象還需要顯示頭發(fā)、軀干等更多部分。前不久，青亭網(wǎng)報(bào)道了Facebook在毛發(fā)渲染上的最新成果，已經(jīng)可以對(duì)頭發(fā)進(jìn)行3D建模，細(xì)致到可渲染一縷發(fā)絲。







除此之外，近期Facebook也公布了一項(xiàng)基于容積捕捉的動(dòng)態(tài)全身虛擬形象方案：可感知驅(qū)動(dòng)信號(hào)的全身動(dòng)態(tài)虛擬形象系統(tǒng)。其特點(diǎn)是采用一個(gè)根據(jù)條件變化的自動(dòng)編碼模型，可以將姿態(tài)、面部關(guān)鍵點(diǎn)等不完整的驅(qū)動(dòng)信號(hào)轉(zhuǎn)化成動(dòng)畫(huà)數(shù)據(jù)，生動(dòng)且逼真的體現(xiàn)人體結(jié)構(gòu)和動(dòng)態(tài)外觀變化。

實(shí)際上，全身動(dòng)態(tài)形象生成所面臨的困難是，包括面部在內(nèi)的全身動(dòng)作捕捉信息不完整，因此通過(guò)解析動(dòng)捕系統(tǒng)獲得驅(qū)動(dòng)信號(hào)，來(lái)實(shí)現(xiàn)更加通用的全身動(dòng)態(tài)模型效果。此外，還結(jié)合潛在空間模型，來(lái)捕捉動(dòng)態(tài)虛擬形象所需的其余信息。利用驅(qū)動(dòng)數(shù)據(jù)，該方案生成的變分模型將包含一小部分由缺失數(shù)據(jù)組成的不確定內(nèi)容，然后通過(guò)算法來(lái)預(yù)測(cè)和分配這一部分的數(shù)據(jù)。







同時(shí)，科研人員還提出一種自學(xué)習(xí)式本地化的壓縮方案，有助于提升驅(qū)動(dòng)數(shù)據(jù)處理的通用性，以及降低真實(shí)數(shù)據(jù)集中常出現(xiàn)的全局偶然相關(guān)影響。

科研人員表示：這項(xiàng)研究的目標(biāo)是，利用低成本傳感器，來(lái)生成在幾何結(jié)構(gòu)和外觀上看起來(lái)足夠逼真的全身虛擬形象。實(shí)際上在圖形渲染領(lǐng)域，具有表現(xiàn)力的動(dòng)態(tài)虛擬人已經(jīng)得到深入研究，尤其是在特效后期領(lǐng)域，已經(jīng)有成熟的數(shù)字替身技術(shù)，通常結(jié)合動(dòng)作捕捉系統(tǒng)來(lái)實(shí)現(xiàn)（比如《阿麗塔：戰(zhàn)斗天使》、《阿凡達(dá)》等電影就是通過(guò)真人動(dòng)捕來(lái)控制特效替身來(lái)實(shí)現(xiàn)）。







此前也有一些實(shí)時(shí)數(shù)字替身的案例，比如：Epic根據(jù)真人開(kāi)發(fā)的數(shù)字虛擬人Siren、數(shù)字王國(guó)開(kāi)發(fā)的DigiDoug等等。今年，Epic還推出了數(shù)字虛擬人創(chuàng)作平臺(tái)Metahuman Craetor，讓你可以在網(wǎng)頁(yè)端就能制作制作高保真、細(xì)節(jié)豐富的3D虛擬人，其支持骨架和面部綁定，可在PC和VR應(yīng)用中運(yùn)行。

不過(guò)，這些虛擬替身技術(shù)通常依賴于高成本動(dòng)捕系統(tǒng)，以及詳細(xì)復(fù)雜的姿態(tài)和表情腳本。此外，其原理是在模型上手動(dòng)渲染動(dòng)態(tài)細(xì)節(jié)，缺點(diǎn)是需要人工合成姿態(tài)，而且依賴于高端傳感器（比如Xsens、OptiTrack等全身動(dòng)捕方案）。而且，動(dòng)捕模型需要根據(jù)不同的傳感器方案獨(dú)立訓(xùn)練，不具備通用性。







相比之下，F(xiàn)acebook的全身建模方案更側(cè)重結(jié)合驅(qū)動(dòng)信號(hào)，同時(shí)結(jié)合容積捕捉系統(tǒng)和動(dòng)態(tài)傳感器來(lái)捕捉全身數(shù)據(jù)，然后通過(guò)不完整的驅(qū)動(dòng)信號(hào)來(lái)直接復(fù)原完整的人體外觀和形態(tài)。

其實(shí)，這種方案可識(shí)別的驅(qū)動(dòng)數(shù)據(jù)類型有限，而且動(dòng)態(tài)傳感數(shù)據(jù)與虛擬人模型存在信息不對(duì)稱，從而產(chǎn)生一對(duì)多映射問(wèn)題，也就是說(shuō)基于全身關(guān)節(jié)角度生成的數(shù)據(jù)可能并不包含對(duì)應(yīng)的服裝褶皺、肌肉收縮等完整信息。此外，面部關(guān)鍵點(diǎn)數(shù)據(jù)通常也不包含注視點(diǎn)、頭發(fā)、舌頭運(yùn)動(dòng)等信息。







為了解決上述問(wèn)題，并幫助學(xué)習(xí)模型根據(jù)缺少信息的驅(qū)動(dòng)信號(hào)來(lái)推算全身數(shù)字模型，F(xiàn)acebook科研人員提出了一種變分模型，明確捕捉兩種類型的變量：1）根據(jù)驅(qū)動(dòng)信號(hào)可靠計(jì)算的觀測(cè)數(shù)據(jù)；2）建模階段所預(yù)測(cè)的缺失數(shù)據(jù)。

細(xì)節(jié)方面，科研人員通過(guò)構(gòu)建根據(jù)空間變化的驅(qū)動(dòng)信號(hào)模型，來(lái)優(yōu)化第一種變量，然后通過(guò)潛在空間來(lái)分離觀測(cè)數(shù)據(jù)與變量，進(jìn)而僅捕捉對(duì)于重建人體模型必要的變量。此外，還采用肢體運(yùn)動(dòng)的粗糙模型和環(huán)境光遮擋貼圖，來(lái)幫助模型自動(dòng)渲染陰影。







簡(jiǎn)單來(lái)講，整個(gè)方案將觀測(cè)數(shù)據(jù)和缺少的數(shù)據(jù)分開(kāi)處理，好處是可以根據(jù)不同的應(yīng)用場(chǎng)景來(lái)采用合適的分配策略，流程足夠有效且簡(jiǎn)單。模型還會(huì)結(jié)合面部表情和姿態(tài)與服裝的褶皺和陰影，模擬逼真的全身動(dòng)態(tài)變化。

數(shù)據(jù)處理流程：輸入圖像源、前景掩膜分割、重建3D模型、識(shí)別關(guān)鍵節(jié)點(diǎn)、應(yīng)用表面網(wǎng)格。







在驗(yàn)證實(shí)驗(yàn)中，頭顯和周圍環(huán)境中各配備一對(duì)立體攝像頭，用于捕捉實(shí)時(shí)的驅(qū)動(dòng)信號(hào)（面部表情和姿態(tài)）。這樣低成本的方案足以呈現(xiàn)逼真的VR臨場(chǎng)感，適用于雙向社交場(chǎng)景。此外，實(shí)驗(yàn)展示了利用少量傳感器和VR頭顯來(lái)模擬全身動(dòng)態(tài)模型的效果，從demo視頻來(lái)看效果足夠逼真自然。







據(jù)了解，這項(xiàng)全身動(dòng)捕方案基于Facebook研發(fā)的球形容積攝影工作室Mugsy，該工作室專門用于拍攝面部表情，它的外形像呈圓頂狀，墻壁和天花板上安裝了132顆佳能攝像頭和350個(gè)光源，它們?nèi)繉?duì)準(zhǔn)工作室中央的一把椅子。在這里拍攝人臉就像是在拍大頭照（Mugshot），因此得名Mugsy。參考：FB