“解放”設(shè)計(jì)師！谷歌新工具可從網(wǎng)頁自動生成短視頻

時間：2023-09-09 20:06:01 | 來源：網(wǎng)站運(yùn)營

時間：2023-09-09 20:06:01 來源：網(wǎng)站運(yùn)營

“解放”設(shè)計(jì)師！谷歌新工具可從網(wǎng)頁自動生成短視頻：

公眾號：將門創(chuàng)投 (thejiangmen)
From: UIST 2020; 編譯: T.R

現(xiàn)如今，越來越多的網(wǎng)站開始上線短視頻，為頁面、產(chǎn)品或服務(wù)生成介紹，其中以電子商務(wù)網(wǎng)站尤甚。但是，為如此多的頁面制作視頻是十分繁瑣、耗時的事。機(jī)器是否可以代替我們完成這個任務(wù)呢？

視頻的設(shè)計(jì)需要充分考慮受眾，不僅需要考慮設(shè)計(jì)元素的排版，還要考慮出場時間的先后，保證視頻的敘事性與吸引力。

一般而言，制作視頻所需的視覺元素大多都已經(jīng)包含于網(wǎng)站頁面中，利用機(jī)器學(xué)習(xí)工具將網(wǎng)頁上的文字、圖片轉(zhuǎn)換成視頻片段，能夠提供更好的輸出，覆蓋更廣泛的受眾。

---

為利用機(jī)器學(xué)習(xí)從網(wǎng)頁自動創(chuàng)建短視頻，谷歌研究人員在最近舉辦的UIST 2020 (User Interface Software and Technology) 會議上提出了名為URL2Video的工具，它可以自動將網(wǎng)頁內(nèi)容轉(zhuǎn)換為內(nèi)容連續(xù)、有良好觀感的短視頻片段。

在一定的時間約束和視覺審美要求下，URL2Video解析、抽取網(wǎng)頁內(nèi)容，分析頁面設(shè)計(jì)風(fēng)格，將頁面的視覺元素組合成具有良好空間排布的序列，并使其保持與原頁面的風(fēng)格一致性，繼而輸出視頻。

在設(shè)定的輸出設(shè)備寬高比例和視頻長度下，URL2Video可以將頁面自動渲染為一段連續(xù)、合理、風(fēng)格一致的短視頻介紹，這會使介紹商品和服務(wù)頁面的視頻廣告十分有吸引力。

URL2Video 整體架構(gòu)

當(dāng)用戶提供目標(biāo)產(chǎn)品或服務(wù)的頁面URL后，URL2Video將自動從頁面中選取關(guān)鍵元素并決定按照怎樣的時空關(guān)系對這些元素進(jìn)行呈現(xiàn)。隨后，根據(jù)視頻或廣告設(shè)計(jì)師的訪談內(nèi)容，URL2Video再對已有元素進(jìn)行啟發(fā)式設(shè)計(jì)。

這些設(shè)計(jì)師的思想將啟發(fā)算法捕捉常見的視頻編輯風(fēng)格，包括內(nèi)容層次、信息呈現(xiàn)和持續(xù)時間，以及商品在顏色和風(fēng)格上的一致性等等。利用設(shè)計(jì)師給的這些信息，URL2Video可以嚴(yán)謹(jǐn)有序地處理頁面、分析內(nèi)容并選取顯著內(nèi)容，同時保持設(shè)計(jì)風(fēng)格的一致性，隨后將這些元素按照需求組織為特定的視頻。

URL2Video的具體工作流程如下：

1. 網(wǎng)頁分析

在給定頁面的URL后，URL2Video會抽取頁面的DOM信息和多媒體材料，并將包括標(biāo)題、圖像、按鈕、細(xì)節(jié)描述等信息抽取出來形成候選資源列表，并抓取對應(yīng)的原始素材以及對應(yīng)的HTML標(biāo)簽和CSS風(fēng)格。

隨后它將基于視覺呈現(xiàn)和標(biāo)注對這些資源組進(jìn)行評分排序，主要考量的要素包括HTML標(biāo)簽、渲染大小、頁面上的順序等等。比如，在頁面上占據(jù)較大區(qū)域且在頂部的元素將會獲得更高的得分。

2. 基于約束的內(nèi)容選擇

在視頻構(gòu)建時需要考慮兩個目標(biāo)：其一，每個短視頻應(yīng)該提供簡潔明了的信息；其二，視覺設(shè)計(jì)應(yīng)該與原頁面保持一致。這兩個目標(biāo)是生成視頻片段的約束條件，包括用戶期望的視頻持續(xù)時間以及屏幕比例。URL2Video將自動從頁面資源中選擇元素并進(jìn)行排列以優(yōu)化最終的優(yōu)先級得分。

為了使內(nèi)容簡潔，視頻僅僅呈現(xiàn)了頁面的主要元素，例如標(biāo)題和少量的多媒體內(nèi)容。同時URL2Video在呈現(xiàn)元素的過程中也限制了每個元素的呈現(xiàn)時間。通過這樣的方式，短視頻將強(qiáng)調(diào)頁面中最為顯著的部分，較長的視頻則會包含更多產(chǎn)品的相關(guān)元素。

3. 場景重構(gòu)和視頻渲染

得到了基于DOM層級結(jié)構(gòu)的資源列表和基于設(shè)計(jì)師訪談的啟發(fā)式信息后，URL2Video可從空間和時間上排布每個元素，將圖形化的排版轉(zhuǎn)換為視頻對應(yīng)的比例，同時將原頁面風(fēng)格應(yīng)用于字體和顏色的選擇中。

為了獲得更為動態(tài)和沉浸感的視頻，它還能夠自適應(yīng)地調(diào)整視頻中每個信息的呈現(xiàn)時間、方式和速度，最后通過MPEG-4容器格式渲染成最終的視頻。

4. 用戶控制

交互界面可以讓用戶預(yù)覽得到的視頻，用戶可在預(yù)覽的基礎(chǔ)上調(diào)整元素的位置和排序，改變設(shè)計(jì)的細(xì)節(jié)，調(diào)整字體、大小和顏色，URL2Video可自適應(yīng)地生成新的視頻。

URL2Video樣例

下面展示利用這一方法為網(wǎng)頁生成視頻介紹的樣例。

目標(biāo)頁面是谷歌搜索的介紹頁面，URL2Video會將頁面轉(zhuǎn)換為一段12秒的視頻剪輯。值得注意的是，整個算法會自動決定視頻生成過程中所需的字體、顏色以及轉(zhuǎn)場時間點(diǎn)。

下面視頻講述了這一技術(shù)的實(shí)現(xiàn)細(xì)節(jié)：

為了測評自動生成的視頻質(zhì)量，研究邀請了設(shè)計(jì)師對生成視頻進(jìn)行評測。結(jié)果表明URL2Video可以有效地抽取頁面中的主要元素。設(shè)計(jì)師們也認(rèn)為，這一工具可以有效支持短視頻的創(chuàng)作過程。

未來展望

關(guān)于網(wǎng)頁自動創(chuàng)建短視頻，當(dāng)前研究主要集中在視覺呈現(xiàn)上。目前，研究人員在繼續(xù)研究如何將音頻和旁白也添加到視頻編輯中去，希望未來能夠研發(fā)出一款高級的多媒體交互創(chuàng)作工具，將讓機(jī)器學(xué)習(xí)工具來完成最基本的圖像編輯、視頻創(chuàng)作任務(wù)，使設(shè)計(jì)師解放出來，集中精力去進(jìn)行更高級的創(chuàng)意設(shè)計(jì)。




re：

https://uist.acm.org/uist2020/

https://research.google/pubs/pub49618/

https://dl.acm.org/doi/proceedings/10.1145/3379350




-The End-

＠將門創(chuàng)投· 讓創(chuàng)新獲得認(rèn)可

如果喜歡，別忘了贊同、關(guān)注、分享三連哦！筆芯?