從2D到3D GANverse3D獨辟蹊徑
時間：2022-03-25 03:54:01 | 來源：行業(yè)動態(tài)
時間：2022-03-25 03:54:01 來源：行業(yè)動態(tài)
為了從現(xiàn)實世界的數(shù)據(jù)中獲得多視圖圖像，例如網(wǎng)上公開的汽車圖像，NVIDIA研究人員轉而使用GAN模型，修改其神經(jīng)網(wǎng)絡層，將其轉化為數(shù)據(jù)生成器。
為了生成訓練數(shù)據(jù)集，研究人員利用生成性對抗網(wǎng)絡GAN合成圖像，從多個角度描繪同一物體就像攝影師繞著一輛停著的汽車走動，從不同的角度拍攝。這些多視圖圖像被插入到逆圖形的渲染框架中，逆圖形是從2D圖像推斷3D網(wǎng)格模型的過程。
該團隊發(fā)現(xiàn)，僅訓練神經(jīng)網(wǎng)絡的前4層，凍結剩余的12層參數(shù)，可以讓GAN從不同的角度渲染同一對象的圖像；保持前4層參數(shù)凍結，其他12層可變，可以讓神經(jīng)網(wǎng)絡基于同一角度生成不同的圖像。
通過手動分配標準角度，在特定高度和距離拍攝車輛照片，研究人員可以從單個2D圖像快速生成多視圖數(shù)據(jù)集。
一旦完成了多視圖圖像訓練，GANverse3D只需要一個2D圖像即可預測3D網(wǎng)格模型。該模型可以與3D神經(jīng)渲染器一起使用，使開發(fā)人員能夠自定義對象和交換背景。
例如，單張汽車照片可以轉換為3D模型，該模型可以在虛擬場景中行駛，并配有逼真的前燈、尾燈和轉向燈。
最終的模型，在55000由GAN生成的汽車圖像上訓練而得，優(yōu)于在流行的Pascal3D數(shù)據(jù)集上訓練的逆圖形網(wǎng)絡。
在線咨詢