為了VR社交，F(xiàn)acebook打造出最逼真虛擬頭像系統(tǒng)

時(shí)間：2023-06-26 04:21:01 | 來源：網(wǎng)站運(yùn)營

時(shí)間：2023-06-26 04:21:01 來源：網(wǎng)站運(yùn)營

為了VR社交，F(xiàn)acebook打造出最逼真虛擬頭像系統(tǒng)：去年底，曾傳Facebooks將神秘部門Building 8更名為Portal，并將部分研究工作轉(zhuǎn)移到Facebook Reality Labs（FRL）部門。FRL部門的負(fù)責(zé)人是Facebook首席科學(xué)家Michael Abrash，主要研究項(xiàng)目包括腦機(jī)接口、可穿戴、柔性體感皮膚等。







Abrash曾多次表達(dá)對(duì)VR/AR技術(shù)的看好，他深深相信這項(xiàng)技術(shù)在接下來的50年里，將會(huì)成為工作、娛樂和溝通的主要方式，就像是個(gè)人電腦和智能手機(jī)從45年前到現(xiàn)在一直在改變世界一樣。

他表示：我曾描述過AR/VR在未來需要哪些技術(shù)來支撐，但從未公開這些技術(shù)的開發(fā)過程及幕后團(tuán)隊(duì)。因此，他宣布在接下來一年里，F(xiàn)RL部門將通過一系列博文向大家展示FRL團(tuán)隊(duì)在5年里都進(jìn)行了哪些研究。







Michael Abrash（來源：UploadVR）

Abrash還希望通過這些文章分享他們的信念，讓那些對(duì)AR/VR抱遲疑態(tài)度的人改變觀點(diǎn)，并通過交流來了解大眾希望如何將AR/VR融入到日常生活中。

據(jù)悉，F(xiàn)acebook FRL部門的實(shí)驗(yàn)室分布在美國多座城市，包括：雷德蒙德、華盛頓、索薩利托、匹茲堡，每個(gè)實(shí)驗(yàn)室分別負(fù)責(zé)不同的研究，但都同樣致力于推動(dòng)AR/VR向下一代計(jì)算平臺(tái)的發(fā)展。FRL在沉浸式平臺(tái)的研究上投入了大量資源，并且聚集了大批優(yōu)秀人才，這里是VR/AR實(shí)踐研究的最佳地點(diǎn)之一。







FRL匹茲堡實(shí)驗(yàn)室

今天，F(xiàn)RL匹茲堡實(shí)驗(yàn)室率先發(fā)表了第一篇博客，講述了他們?nèi)绾卫脙蓚€(gè)大型3D動(dòng)捕工作室制作了逼真的虛擬形象，并計(jì)劃在未來通過優(yōu)化的AI來簡化制作流程、降低成本。

據(jù)悉，F(xiàn)RL匹茲堡實(shí)驗(yàn)室匯集了一批語言學(xué)、娛樂技術(shù)、計(jì)算機(jī)視覺、人體建模、機(jī)器學(xué)習(xí)等領(lǐng)域的專家，而且因?yàn)閳F(tuán)隊(duì)擴(kuò)張，該實(shí)驗(yàn)室將會(huì)在今年底搬到更大的場(chǎng)地。

接下來FRL將會(huì)分享這些實(shí)驗(yàn)室在材料科學(xué)、機(jī)器學(xué)習(xí)、光學(xué)、顯示技術(shù)、計(jì)算機(jī)視覺、音頻、圖像、體感交互、腦機(jī)接口、眼球/手勢(shì)/面部/身體動(dòng)作追蹤等領(lǐng)域的研究。

”大多數(shù)人，包括我自己，在長大后就已離開了成長的家鄉(xiāng)。我這輩子沒少搬家，每次從一個(gè)城市到另一個(gè)城市，都意味著遠(yuǎn)離一些對(duì)我來說重要的人。“Facebook Reality Labs研究主任Yaser Sheikh如是說道。

他深深地感受到了地理位置對(duì)人際交往帶來的限制，因此他希望通過科技來尋找人與人溝通的新方式。這也就是為什么他在FRL部門負(fù)責(zé)一個(gè)名為“Codec Avatars（編碼人像）”的實(shí)驗(yàn)項(xiàng)目，據(jù)悉，該項(xiàng)目希望通過逼真的虛擬人像來縮小人與人之間的距離。

據(jù)青亭網(wǎng)了解，這項(xiàng)研究希望通過3D捕捉技術(shù)和AI系統(tǒng)，以更快速簡便的方法，將VR社交變得與真實(shí)社交一樣自然。







High Fidelity

虛擬形象在游戲領(lǐng)域中應(yīng)用多年，而且許多VR社交平臺(tái)也支持各種不同的自定義虛擬形象，比如：Altspace、Rec Room可讓用戶選擇比較卡通的形象，而盡管High Fidelity可讓用戶通過掃描自己的3D模型來制作虛擬形象，其效果還稱不上逼真。Sheikh認(rèn)為只有準(zhǔn)確度極高的虛擬形象才能顛覆VR/AR社交，苦笑、皺眉等表情都需要在虛擬人上得到體現(xiàn)。

Sheikh表示：Codec Avatars的研究方向不僅在于高清的畫質(zhì)或高級(jí)動(dòng)捕技術(shù)，而是更注重為VR用戶提供一種自然、簡單的交互方式，讓遠(yuǎn)程交流變得更像是面對(duì)面。

社交臨場(chǎng)感




對(duì)于社交場(chǎng)景來講，“瞬移”后的虛擬形象需要盡可能體現(xiàn)用戶的情緒和表情，這樣才能實(shí)現(xiàn)更順暢、自然的交流。為了驗(yàn)證虛擬形象是否成功，F(xiàn)RL實(shí)驗(yàn)室采用了兩種簡單的測(cè)試：“ego test”（自我測(cè)試）和"mother test"（母親測(cè)試），簡單來講就是作為用戶的你可以接受這樣的虛擬形象，同時(shí)你媽媽也能認(rèn)出你來。




在視頻通話剛出現(xiàn)的時(shí)候，不需要有人強(qiáng)調(diào)這項(xiàng)技術(shù)的重要性，你就知道它很有用，因?yàn)橐曨l可以讓你實(shí)現(xiàn)遠(yuǎn)程面對(duì)面交流，甚至在家里也能開會(huì)辦公。




而利用虛擬形象通話會(huì)給基于平面的視頻通話帶來一層逼真的社交臨場(chǎng)感，有點(diǎn)像是在《星際迷航》的全息甲板上通話，用戶可以在模擬的場(chǎng)景中實(shí)現(xiàn)會(huì)面。不過要做到逼真和自然這兩點(diǎn)，對(duì)于匹茲堡的FRL團(tuán)隊(duì)來說是個(gè)不小的挑戰(zhàn)。

多年來，該科研團(tuán)隊(duì)一直致力于研發(fā)可用于未來VR/AR頭顯的虛擬社交技術(shù)。Sheikh表示，在未來的社交場(chǎng)景中，距離已經(jīng)不是限制兩個(gè)人關(guān)系的主要因素，具有臨場(chǎng)感的虛擬社交同樣也是Facebook核心業(yè)務(wù)的重要組成部分，F(xiàn)acebook希望利用這種技術(shù)發(fā)展虛擬社區(qū)，拉近人與人之間的關(guān)系。

逼真感來源于細(xì)節(jié)

據(jù)悉，F(xiàn)RL匹茲堡實(shí)驗(yàn)室號(hào)稱擁有世界最先進(jìn)的掃描設(shè)備，用這臺(tái)設(shè)備，科研人員掃描了鞋、玩具、干冰、點(diǎn)燃的蠟燭等各種各樣的日常物品，目的是優(yōu)化算法，讓未來的沉浸式設(shè)備能夠輕松渲染復(fù)雜的虛擬形象。

而他們研發(fā)的虛擬形象最大的不同之處是，它們不是游戲中和你長得很像的自定義角色，而是對(duì)你近乎完美的復(fù)制。而實(shí)現(xiàn)逼真感的關(guān)鍵，在于外形和動(dòng)作的細(xì)節(jié)，比如閱讀時(shí)眼球下轉(zhuǎn)動(dòng)的動(dòng)作。FRL研究院Shoou-I Yu表示：制作完整虛擬形象的一大挑戰(zhàn)是，人臉的每個(gè)微妙表情都需要捕捉到。

逼真的虛擬形象技術(shù)在視覺特效行業(yè)已經(jīng)存在多年，但是目前的技術(shù)需要藝術(shù)家人工制作，時(shí)間可能要花上數(shù)月，而且他們一般不會(huì)涉獵虛擬形象之間的實(shí)時(shí)交互。







在2016年的F8大會(huì)上，F(xiàn)acebook CTO Mike Schroepfer宣布Facebook Spaces VR應(yīng)用中將用全新的虛擬形象取代之前使用的藍(lán)色頭像，這些新形象支持更多面部特征，還能追蹤模擬用戶的唇部活動(dòng)。







兩年后，他又在F8大會(huì)上展示了FRL匹茲堡研發(fā)的更優(yōu)化的虛擬形象，在Demo演示中，F(xiàn)RL兩名成員用Oculus Rift演示了逼真虛擬形象的實(shí)時(shí)交互。

兩間動(dòng)捕工作室







在2016和2018年兩年時(shí)間里，F(xiàn)RL搭建了Mugsy和Sociopticon3D動(dòng)捕工作室，并利用它們分別收集了大量人臉和身體的數(shù)據(jù)，接著用這些數(shù)據(jù)做出了創(chuàng)建虛擬形象的自動(dòng)化方案。最近，它們利用機(jī)器學(xué)習(xí)技術(shù)，實(shí)現(xiàn)了對(duì)超逼真虛擬形象的實(shí)時(shí)生成。

據(jù)悉，Mugsy是FRL專門用于拍攝面部表情的工作室，它的外形像呈圓頂狀，墻壁和天花板上安裝了132顆佳能攝像頭和350個(gè)光源，它們?nèi)繉?duì)準(zhǔn)工作室中央的一把椅子。在這里拍攝人臉就像是在拍大頭照（Mugshot），因此得名Mugsy。







而Sociopticon（由Sheikh在卡內(nèi)基梅隆大學(xué)建立）名字來源于“圓形監(jiān)獄”（Panopticon），它是專門用于拍攝身體（以及衣服隨身體的變化）動(dòng)作的，占地面積比Mugsy更大。與微軟MR動(dòng)捕工作室相比，Sociopticon采用了更多攝像頭（180顆），攝像頭最大能拍攝分辨率更高（4K）、刷新率更高（90FPS）的容積視頻。

兩間動(dòng)捕工作室采用的攝像頭每秒需要拍攝的數(shù)據(jù)量達(dá)1GB，也就是它們分別在每秒最多可拍攝到180GB的數(shù)據(jù)，F(xiàn)RL用這些數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)從多個(gè)角度，去匹配聲音、肌肉變化與面部表情、身體動(dòng)作。拍攝到的數(shù)據(jù)越多，其面部渲染模型“Deep Appearance”解碼/編碼的效率越高，才能更適合家用VR/AR頭顯。







接受面部捕捉的研究員

Yu表示：使用FRL動(dòng)捕工作室拍攝三秒，筆記本電腦的512GB磁盤空間就不夠用了，而我們拍攝一次約15分鐘。也就是說，采用這么多攝像頭是對(duì)存儲(chǔ)硬件的一種挑戰(zhàn)，不過有了這么大量的數(shù)據(jù)才能創(chuàng)造出這么逼真的虛擬形象。據(jù)悉，這兩家動(dòng)捕工作室中的麥克風(fēng)數(shù)量最多可達(dá)1700個(gè)，可重建完全沉浸的3D聲場(chǎng)。

其實(shí)，Codec Avatars并不是FRL部門對(duì)逼真虛擬形象進(jìn)行的唯一研究，其索薩利托的團(tuán)隊(duì)正在研究一款基于物理學(xué)的虛擬形象，特點(diǎn)是支持與任何虛擬環(huán)境的交互。

通過對(duì)生物力學(xué)、神經(jīng)科學(xué)、動(dòng)作分析、身體動(dòng)作模擬等領(lǐng)域進(jìn)行了基礎(chǔ)研究，他們研發(fā)的虛擬形象技術(shù)依賴與Codec Avatars相似的實(shí)時(shí)數(shù)據(jù)捕捉，不過它并沒有利用實(shí)時(shí)傳感數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，而是訓(xùn)練了一個(gè)模仿人體解剖的物理學(xué)模型（年底Facebook將會(huì)透露更多細(xì)節(jié)）。

創(chuàng)建Codec Avatars







Codec在英文中有編解碼器的意思，選用這個(gè)名字是因?yàn)?，Codec Avatars是一種利用機(jī)器學(xué)習(xí)去收集、學(xué)習(xí)和重建人類社會(huì)表現(xiàn)的方式，而整個(gè)過程中的關(guān)鍵步驟就是數(shù)據(jù)編碼和解碼。







人文學(xué)家Edward Sapir曾在《The Unconscious Patterning of Behavior in Society》（直譯為《社會(huì)行為的無意識(shí)規(guī)律》）中寫道：人類會(huì)對(duì)“不成文的復(fù)雜肢體密碼產(chǎn)生回應(yīng)，這些信息并不是約定俗成的，但每個(gè)人都能理解?！钡拇_，解碼/編碼的過程其實(shí)就像是人類正常交流的方式。







首先，機(jī)器學(xué)習(xí)模型需要通過大量數(shù)據(jù)去理解人類交互，然后通過解碼/編碼將語音、肢體語言、語言提示等大量信息整合成可量化的數(shù)據(jù)，這些數(shù)據(jù)將被用來渲染虛擬形象，并通過虛擬形象幫助用戶傳遞信息。

原理是，利用頭顯上搭載的傳感器系統(tǒng)和麥克風(fēng)捕捉目標(biāo)任務(wù)的動(dòng)作和周圍環(huán)境，在捕捉到信息后，編碼器會(huì)分析收集到的數(shù)據(jù)并匯編成全新的代碼，通過數(shù)字來傳輸制作虛擬形象所需的信息。然后，另一端的解碼器會(huì)將收到的代碼再次編譯成語音和視覺信號(hào)，組成可以被肉眼觀看的虛擬形象和表情。

FRL科研人員Tomas Simons表示：Codec Avatars的基礎(chǔ)是信息的量化，逼真的虛擬形象依靠的是準(zhǔn)確的測(cè)量和數(shù)據(jù)，因此它的關(guān)鍵是找到測(cè)量斜眼、皺鼻子等細(xì)微表情的方式。

利用這種方法，用戶不需要使用動(dòng)捕工作室或者捕捉大量數(shù)據(jù)，只需要拍少量照片/視頻就能制作逼真的虛擬形象，而這種方式也更適合批量用于VR/AR頭顯中。







虛擬人（右）與真人（左）對(duì)比

沒有兩片葉子是相同的，人和人也一樣，因此他們掃描了各種外形的人，比如戴耳環(huán)、鼻環(huán)的、或者發(fā)型夸張的、戴腦電圖帽子的。不過從視頻中來看，目前體驗(yàn)者的爆炸發(fā)型在Codec Avatars中就還沒得到完全體現(xiàn)，而且她快速移動(dòng)的舌頭看起來也有點(diǎn)模糊。

簡化的原型設(shè)備

從成本和時(shí)間上考慮，利用大型動(dòng)捕工作室制作虛擬形象還是不太實(shí)際。為了能在輕量級(jí)頭顯中實(shí)現(xiàn)對(duì)虛擬形象的實(shí)時(shí)渲染，F(xiàn)RL的科研人員決定將追蹤捕捉的重點(diǎn)放在人的頭和手上（Magic Leap的Avatar Chat也是主要基于面部和手勢(shì)動(dòng)作），并利用一系列定制的頭戴捕捉系統(tǒng)（HMCs，內(nèi)部代號(hào)為Argent）原型機(jī)來捕捉大量面部表情和手勢(shì)。據(jù)悉，這些HMCs上搭載了攝像頭、加速針、陀螺儀、磁強(qiáng)計(jì)、LED紅外燈和麥克風(fēng)。

據(jù)青亭網(wǎng)了解，制作一款HMCs并不容易，因?yàn)樯厦娲钶d了許多傳感器，他們不得不考慮佩戴的舒適性。為了不讓打光燈引起用戶不適，HMCs才采用肉眼看不到的紅外光源。

FRL科研人員Hernan Badino表示：為了讓HMCs捕捉面部表情的體驗(yàn)與人與人面對(duì)面無異，我們不僅要考慮高質(zhì)量的傳感，還需要確保用戶的活動(dòng)不會(huì)因?yàn)轭^顯而受限。

關(guān)于HMCs頭顯的軟件部分，F(xiàn)RL的科研人員開發(fā)了一系列能夠設(shè)定拍攝區(qū)域的軟件，這些軟件還提供了校準(zhǔn)、數(shù)據(jù)診斷和分析工具。

關(guān)于信息安全

考慮到制作逼真虛擬形象需要采集用戶的大量外形和聲音信息，信息的安全性也是值得關(guān)注的問題，對(duì)于Facebook來說尤為如此。如果這些信息被盜用，很有可能會(huì)被用來欺騙用戶的親朋好友。

對(duì)此，F(xiàn)RL表示：Codec Avatars可捕捉到咯咯笑和眨眼等極其細(xì)微的面部表情，而且眼球、聲音甚至行為習(xí)慣都多多少少可以作為生物識(shí)別的依據(jù)。不過FRL部門目前正在著手將虛擬人像與用戶和設(shè)備的安全認(rèn)證和硬件加密等功能結(jié)合，防止?jié)撛诘陌踩[患。

同時(shí)，他們也在考慮多種不同的安全機(jī)制，比如為虛擬形象綁定認(rèn)證賬號(hào)等。盡管距離這種逼真程度的虛擬人像普及還需要幾年，他們已經(jīng)開始測(cè)試多種解決方案了。

虛擬形象的前景

通過逼真的虛擬形象，我們可以與地球任何一個(gè)角落的人見面，這對(duì)于遠(yuǎn)距離交友等場(chǎng)景都有很大幫助。而這項(xiàng)技術(shù)的存在，并不是為了代替人與人真實(shí)的社交，而是為了讓你在沒法親臨現(xiàn)場(chǎng)的時(shí)候更好地與對(duì)方交流。

當(dāng)然，Codec Avatars這種新型的交流方式還存在許多需要解決的問題，距離正式推廣還需要許多年，這的確超出了Sheikh之前的預(yù)期，不過他表示：我們擁有驅(qū)動(dòng)新思路的資源，也有專家和人才，現(xiàn)在我們將加速研發(fā)更創(chuàng)新的技術(shù)。

此外，Abrash在去年10月也表達(dá)了對(duì)逼真虛擬形象的積極看法，他表示：四年內(nèi)也許不會(huì)出現(xiàn)能夠推廣的逼真虛擬形象，但也不能否定其可能性。

接下來，他們還將著手研發(fā)基于全身掃描的虛擬形象，這樣的技術(shù)需要考慮到用戶周圍的光線、6DoF追蹤、周圍人干擾（在VR中）等因素。他們還將考慮用AI預(yù)測(cè)動(dòng)作，不過這就沒辦法將意外因素考慮在內(nèi)，逼真感可能也會(huì)因此受到影響。

社交場(chǎng)景很有希望成為VR的殺手級(jí)應(yīng)用，如果Facebook能率先推出基于逼真虛擬形象的社交平臺(tái)，也許它又能再一次席卷社交媒體市場(chǎng)。

另外也可以想象，將這種技術(shù)與影視媒體結(jié)合，或許可以制作逼真的交互式VR電影/表演，演員可以采用實(shí)時(shí)表演的方式，也可以利用AI來替人表演，而這種形式會(huì)不會(huì)就是一直在尋找的VR敘事語言呢？