Stability AI推出文字轉(zhuǎn)視頻模型，曾參與《瞬息全宇宙》特效制作
時間：2023-08-31 04:42:02 | 來源：網(wǎng)站運營
時間：2023-08-31 04:42:02 來源：網(wǎng)站運營
Stability AI推出文字轉(zhuǎn)視頻模型，曾參與《瞬息全宇宙》特效制作：Runway 是一家研發(fā)生成式人工智能技術(shù)的初創(chuàng)公司，它在 2022 年共同創(chuàng)建了爆火的文本到圖像模型 Stable Diffusion。近日，該公司又發(fā)布了一個新的人工智能模型，可以通過文本提示或參考圖像指定的任何風(fēng)格，將現(xiàn)有視頻轉(zhuǎn)換為新的視頻。
（來源：RUNWAY）在其網(wǎng)站上發(fā)布的演示視頻中，Runway 展示了其名為 Gen-1 的軟件如何將街道上的行人變成粘土木偶，或者將堆在桌子上的書變成城市景觀。Runway 希望 Gen-1 之于視頻的價值，就像 Stable Diffusion 之于圖像一樣。Runway 的 CEO 兼聯(lián)合創(chuàng)始人克里斯托瓦爾·巴倫蘇埃拉（Cristóbal Valenzuela）說：“我們已經(jīng)看到了圖像生成模型的爆發(fā)。我相信，2023 年將會是視頻之年?！?br>
Runway 成立于 2018 年，多年來一直在開發(fā)人工智能視頻編輯軟件。它的工具被主播、視頻博主以及主流電影和電視工作室使用。一些電視節(jié)目使用 Runway 軟件編輯圖像；電影《瞬息全宇宙》背后的視覺效果團(tuán)隊同時使用了該公司的技術(shù)來幫助創(chuàng)建某些場景。
2021 年，Runway 與德國慕尼黑大學(xué)的研究人員合作，構(gòu)建了第一個版本的 Stable Diffusion。英國初創(chuàng)公司 Stability AI 隨后介入，提供了在更多數(shù)據(jù)上訓(xùn)練模型所需的計算資源和資金。2022 年，Stability AI 公司將 Stable Diffusion 模型帶進(jìn)大眾的視野，將其從研究項目轉(zhuǎn)變?yōu)樯缃黄脚_上的熱門話題。
但現(xiàn)在這兩家公司已不再合作。Getty 現(xiàn)在正在對 Stability AI 采取法律行動——聲稱該公司在未經(jīng)允許的情況下使用了 Getty 的圖像，它出現(xiàn)在 Stable Diffusion 模型的訓(xùn)練數(shù)據(jù)中——而 Runway 公司希望與之保持距離。
Gen-1 代表了 Runway 公司的一個新起點。在 2022 年底，谷歌和 Meta 都推出過文本到視頻的模型，他們都可以從零開始生成非常短的視頻片段。它也類似于谷歌最近發(fā)布的生成式人工智能 Dreamix，可以通過應(yīng)用特定的風(fēng)格從現(xiàn)有的視頻中創(chuàng)建新的視頻。
不過從 Runway 的演示視頻來看，Gen-1 似乎在視頻質(zhì)量方面更勝一籌。因為它可以轉(zhuǎn)換現(xiàn)有的視頻片段，所以它可以產(chǎn)生比以前大多數(shù)模型生產(chǎn)的長得多的視頻。該公司表示，將在未來幾天里在其官網(wǎng)上發(fā)布有關(guān) Gen-1 產(chǎn)品的技術(shù)細(xì)節(jié)。
與 Meta 和谷歌不同，Runway 在建造模型時考慮了客戶。巴倫蘇埃拉說：“這是第一批與視頻制作者社區(qū)密切開發(fā)的模型之一。它基于我們對電影制作人和視頻特效編輯是如何進(jìn)行后期制作的了解。”
Gen-1 通過 Runway 的網(wǎng)站在云端運行，首先將向少數(shù)被邀請的用戶開放，并將在幾周內(nèi)向候補名單上的所有人開放。
2022 年，生成式人工智能的爆炸式增長吸引了數(shù)百萬人，他們第一次獲得了強大的創(chuàng)意工具。很快，社交平臺上就充滿了他們分享的成果。巴倫祖埃拉希望，將 Gen-1 交到創(chuàng)意專業(yè)人士手中，將很快對視頻制作領(lǐng)域產(chǎn)生類似的影響。
他說：“我們已經(jīng)非常接近于制作完整的故事片了。有一天，你在網(wǎng)上看到的大部分視頻內(nèi)容，可能都是（用類似方法）生成的?！?br>
支持：Ren
原文：
https://www.technologyreview.com/2023/02/06/1067897/runway-stable-diffusion-gen-1-generative-ai-for-video/
在線咨詢