秒影工場(chǎng)公開“角色人臉識(shí)別與虛擬重建”四項(xiàng)專利，低成本達(dá)到逼真效果

時(shí)間：2022-05-28 22:33:01 | 來源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-05-28 22:33:01 來源：行業(yè)動(dòng)態(tài)

還記得燃到爆表的諜戰(zhàn)大戲《速度與激情8》嗎？電影里的天眼系統(tǒng)能夠調(diào)用地球上任何位置的攝像頭和音頻系統(tǒng)，讓你想要搜索到的人或事物無所遁形。它可以利用監(jiān)控?cái)z像頭/反光鏡面捕捉影像，然后人臉識(shí)別技術(shù)鎖定人物。

（圖片來源于網(wǎng)絡(luò)）

還記得《黑客帝國(guó)2》影片中所呈現(xiàn)的無與倫比的特效和特技嗎？其發(fā)明的“全息捕捉”技術(shù)，可以捕捉到演員臉部的每一個(gè)精細(xì)反應(yīng)，從一根發(fā)絲的擺動(dòng)到每條皺紋的抽動(dòng)方式都不會(huì)錯(cuò)過，再將這些真實(shí)的面部表情根據(jù)設(shè)計(jì)好的情節(jié)"貼"到相應(yīng)的虛擬人身上，簡(jiǎn)直與真實(shí)世界中的演員別無二致。

（圖片來源于網(wǎng)絡(luò)）

可以說，從人臉識(shí)別到人臉虛擬重建，與人臉相關(guān)的技術(shù)已被靈活運(yùn)用于影視、游戲、短視頻等眾多領(lǐng)域，前景廣闊。

人臉作為人類日常情感表達(dá)和交流最直接和最重要的載體，真實(shí)逼真的人臉建模一直備受關(guān)注。然而從人臉識(shí)別、提取、調(diào)整再到重建一個(gè)高精度的人臉掃描結(jié)果并不容易，不僅需要借助專業(yè)的儀器重建，而且工藝復(fù)雜、價(jià)格高昂。

近日，秒影工場(chǎng)公開了四項(xiàng)關(guān)于角色人臉識(shí)別與虛擬重建的發(fā)明專利，從人臉提取、對(duì)齊、調(diào)整、重建四維外形方面，對(duì)現(xiàn)有角色人臉技術(shù)進(jìn)行了優(yōu)化與提升，利于以更低的成本達(dá)到更高精度的逼真效果。下面對(duì)這四項(xiàng)發(fā)明進(jìn)行逐一介紹。



01

提取人臉

一種基于多級(jí)CNN的影片人臉提取的方法

現(xiàn)有人臉提取的方法效率低且準(zhǔn)確率低，特別是對(duì)多人短視頻的計(jì)算成本高，處理效率低。傳統(tǒng)的人臉檢測(cè)方式?jīng)]有考慮人臉檢測(cè)和人臉對(duì)齊兩個(gè)重要步驟之間的關(guān)聯(lián)。以前少量的圖片類人臉檢測(cè)可以通過AE軟件人工獲得，但短視頻行業(yè)需要高效的獲得人臉，這就很難高質(zhì)量快速的達(dá)成。傳統(tǒng)CNN的人臉提取，在一些過濾中缺少特征多樣性，限制了產(chǎn)生差異性描述的可能性。



一種基于多級(jí)CNN的影片人臉提取的方法，充分挖掘了每一幀圖像中人臉的特征，減少過濾，增加特征點(diǎn)跟蹤，提高識(shí)別的準(zhǔn)確率；通過重疊區(qū)域快速整合，提高了提取時(shí)間效率和計(jì)算消耗；經(jīng)過分層多次CNN網(wǎng)絡(luò)處理，達(dá)到多個(gè)小消耗CNN達(dá)到一個(gè)大消耗CNN所很難達(dá)到的提取效果；還考慮了視頻相對(duì)圖片的更豐富時(shí)間連續(xù)特征，人臉的關(guān)鍵點(diǎn)位置擁有連續(xù)運(yùn)動(dòng)軌跡，對(duì)于孤立考慮單張圖片的傳統(tǒng)方法更接近人腦本身的處理方式。

02

對(duì)齊人臉

一種基于卷積神經(jīng)網(wǎng)絡(luò)的高清視頻人臉對(duì)齊的方法

近年來，大部分高清視頻人臉對(duì)齊方法都和普通圖片識(shí)別方法類似，是基于形狀索引特征。在這類方法中圖片特征或經(jīng)過機(jī)器學(xué)習(xí)轉(zhuǎn)換得到特征，都是從圍繞特征點(diǎn)區(qū)域片段中抽取計(jì)算得到的，然后這些特征被反復(fù)用在這些特征點(diǎn)位置的微調(diào)。這種方法在普通照片上可能還行，但在高清照片或視頻上其效率非常低下，且效果也很差。這是因?yàn)樵诟咔逭掌蛘咭曨l中獲得這些片段無法給出足夠的信息，導(dǎo)致信息不全面，所以往往會(huì)訓(xùn)練獲得局部最優(yōu)點(diǎn)，而不是整體最優(yōu)點(diǎn)，這樣帶來的問題影響整個(gè)模型的效率和效果。



一種基于卷積神經(jīng)網(wǎng)絡(luò)的高清視頻人臉對(duì)齊的方法，能高效準(zhǔn)確的處理大量高清視頻的人臉對(duì)齊問題。其處理過程傳承了整個(gè)視頻連續(xù)幀的關(guān)鍵信息，相較于局部區(qū)域?qū)R處理的方法，能適應(yīng)不同的頭部姿態(tài)和初始形象；通過視頻連續(xù)幀的時(shí)間線的特征點(diǎn)連續(xù)位置擬合，保證了同一個(gè)臉在不同視頻幀的互相擬合，極大提高了識(shí)別準(zhǔn)確率，特別是側(cè)臉、低頭、光照忽明忽暗等情況；也為其他高效高質(zhì)量的業(yè)務(wù)人臉處理提供了基礎(chǔ)保證。

03

調(diào)整人臉

一種基于GAN和三維模型參數(shù)的可調(diào)人臉圖片生成方法

當(dāng)前，通過GAN或GAN的衍生算法來生成二維的人臉圖片已經(jīng)比較成熟，效果也非常好，但臉型、動(dòng)作和表情無法編輯，算法生成什么樣就是什么樣。三維捏臉模型對(duì)于生成動(dòng)態(tài)的三維人臉模型也比較成熟，能夠很容易控制臉型、動(dòng)作和表情，但生成的三維模型渲染后能讓人一眼就識(shí)別不是真人，很多局部細(xì)節(jié)很難逼真的模擬，比如牙齒、眼睛的局部會(huì)失真。



一種基于GAN和三維模型參數(shù)的可調(diào)人臉圖片生成方法，不僅能用GAN算法生成逼真的二維人臉，而且能通過具體的人臉控制參數(shù)控制它。也就是將目前現(xiàn)存的兩種各有優(yōu)劣的方式結(jié)合來生成可參數(shù)控制的逼真人臉圖片，將2D人臉生成模型StyleGAN2與三維捏臉模型結(jié)合。

04

重建人臉

一種基于幀連續(xù)四維掃描的人臉形狀表情模型構(gòu)建方法

如今，三維人臉形狀的構(gòu)建可經(jīng)過大量人力修正后，達(dá)到人眼無法識(shí)別的逼真度，但耗費(fèi)成本巨大，只有在特定高端電影制作中才能負(fù)擔(dān)得起此種人力財(cái)力密集的操作，而且很難推廣復(fù)用，普通的商業(yè)短視頻或動(dòng)畫根本無法承擔(dān)這樣高昂的成本。更重要的是，普通輕度的三維掃描大部分是基于普通三維模型的，這些模型缺乏表現(xiàn)自然人臉形狀和表情的能力，無法生成有表情差異的照片，更不用說視頻與動(dòng)畫了。因此，秒影工場(chǎng)使用嚴(yán)格幀連續(xù)四維掃描能以更低的成本，獲得更有表現(xiàn)力的人臉形狀和表情模型。



一種基于幀連續(xù)四維掃描的人臉形狀表情模型構(gòu)建方法，使用我們現(xiàn)有的圖形軟件和系統(tǒng)相關(guān)數(shù)據(jù)、現(xiàn)有的大量3D模型數(shù)據(jù)集，學(xué)習(xí)臉的運(yùn)動(dòng)過程，形成幀連續(xù)時(shí)間線性形狀空間，包括正在說話的下巴、脖子和眼球，以及其他基于姿勢(shì)調(diào)整的其他臉部融合控制面，可以使用更少的維度達(dá)到更高的表達(dá)力。

對(duì)秒影工場(chǎng)而言，以上四項(xiàng)關(guān)于人臉技術(shù)的專利只是一個(gè)開始，該類技術(shù)所包含的內(nèi)容豐富程度及深度任重道遠(yuǎn)，公司也將繼續(xù)研究，將該技術(shù)與商業(yè)短視頻有機(jī)結(jié)合，為短視頻行業(yè)創(chuàng)造更大的價(jià)值。