火星網(wǎng)校
你寫腳本，AI自動剪視頻:13分鐘完成剪輯師7小時創(chuàng)作 | 清華北航
發(fā)布時間：2024-02-27 19:01:38 瀏覽量：122次
魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
鏡頭切換自然，節(jié)奏有急有緩，創(chuàng)作這樣高質(zhì)量的視頻，需要怎樣的專業(yè)剪輯技巧？
答案是，不用剪，會寫就行。
比如要剪輯一個有關(guān)長頸鹿的片段，你只需要告訴AI：
The giraffe is the world’s tallest animal, and well known for its long legs and neck.
長頸鹿是世界上最高的動物，以其長腿和長脖子聞名于世。
It has a brown mane on the neck, and its head has two hairy horns.
它的脖子上有棕色的鬃毛，頭上長了兩只毛茸茸的角。
AI就能自動剪輯完成這樣的畫面：
先展示一下長頸鹿群的全貌。接著鏡頭切給一只奔跑中的長頸鹿，展示一下它的長腿長脖子。按照指示，再給鬃毛和犄角來個特寫，齊活！
是的，不再需要費勁挑選素材，一幀一幀地來回倒騰：
△剪輯真是體力活
只需要把你腦海中的創(chuàng)意轉(zhuǎn)化成簡短的文字，這個名叫Write-A-Video的AI就能讀懂你的心，從選材到剪輯，一站式完成創(chuàng)作。
這就是北航、清華、哈佛和以色列赫茲利亞跨學(xué)科研究中心的科學(xué)家聯(lián)手打造的最新AI神器，只需主題腳本，就能生成視頻。
用文字創(chuàng)作視頻
現(xiàn)在，準(zhǔn)備好素材，我們一起來看看，Write-A-Video到底是怎樣“寫”出一個視頻來的。
整個過程分為三步。
第一步，用戶以文本的形式提供輸入。Write-A-Video會挑選出句子中的關(guān)鍵詞。
第二步，Write-A-Video會利用關(guān)鍵詞，把素材庫里與之相匹配的候選片段挑出來。
文本和鏡頭之間的視覺語義匹配主要包括兩個步驟：關(guān)鍵字匹配和視覺語義嵌入。
首先，AI會根據(jù)腳本從素材庫中檢索所有帶有關(guān)鍵字標(biāo)簽的視頻鏡頭。
素材庫中的所有視頻均被分割為快照，便于語義匹配，還能在下一步正式剪輯視頻時，讓用戶用電影術(shù)語來指導(dǎo)AI創(chuàng)作。
Write-A-Video的作者，北京航空航天大學(xué)的汪淼老師介紹說，Write-A-Video允許用戶在輸入文本中使用電影術(shù)語，以探索每個場景不同的視覺風(fēng)格，比如調(diào)整電影的節(jié)奏，畫面的調(diào)動等。
此外，采用基于直方圖的分割算法，如果幀與幀之間在HSV色域中的直方圖相差超過80%，并且追蹤的SURF關(guān)鍵點80%以上不匹配，那么算法就會以這兩幀為界，切分鏡頭。
太長（>30s）或太短（<2s）的鏡頭也會被舍棄，因為短鏡頭觀感不好，而長鏡頭會降低效率和可變性
而后，視覺語義嵌入技術(shù)會為每個檢索到的鏡頭計算匹配分?jǐn)?shù)，排名最高的鏡頭就會被選為候選鏡頭。
這里采用的方法是 VSE++ （論文地址見文末）。該方法能將跨模型內(nèi)容編碼到聯(lián)合特征空間中，比如把文本和鏡頭聯(lián)系起來。
在嵌入空間中，從鏡頭中每十幀抽取一幀，計算其與文本之間的余弦相似度，最后取平均值，即為判斷鏡頭能否入選的最終得分。
第三步，就是將這些鏡頭組合在一起，完成視頻的剪輯。
這一步，其實是Write-A-Video對鏡頭的混合優(yōu)化。而它也有自己的審美標(biāo)準(zhǔn)。
首先，畫面應(yīng)該是明亮而生動的。
其次，鏡頭不能晃動得太厲害。
最后，要避免不連貫的跳接（jump cut）和相反的相機(jī)運動。
值得一提的是，Write-A-Video對用戶非常友好。
△加上新的文本，對應(yīng)素材就自動續(xù)上了
查找對應(yīng)鏡頭，剪切，重新排列，都可以用添加、刪除文本及移動句子等文本編輯的形式進(jìn)行。不用掌握剪輯技巧，更不用會敲代碼。
不僅如此，敲進(jìn)去的文字還可以轉(zhuǎn)成配音旁白，渲染影片氣氛。
并且，旁白和視頻完全同步，對應(yīng)得十分自然。提到白金漢宮時，鏡頭就自然地轉(zhuǎn)到了白金漢宮門前。而提到皇家護(hù)衛(wèi)隊時，畫面便給到了表演中的皇家護(hù)衛(wèi)隊。
研究團(tuán)隊表示，跟商用的逐幀處理視頻編輯器比起來，用上Write-A-Video，創(chuàng)作起來快多了。
有了Write-A-Video，甚至新手，都能以快得多的速度（13分鐘：7小時），完成質(zhì)量與職業(yè)剪輯師差距不大的視頻剪輯任務(wù)。
△剪輯師用Pr，新手用Write-A-Video
在剛剛結(jié)束的SIGGRAPH Asia 2019會議上，研究團(tuán)隊報告并展示了Write-A-Video這一成果，得到了國際同行的廣泛認(rèn)可。
北航清華團(tuán)隊出品
Write-A-Video的第一作者汪淼博士，現(xiàn)為北京航空航天大學(xué)虛擬現(xiàn)實技術(shù)與系統(tǒng)國家重點實驗室助理研究員，碩士生導(dǎo)師。
△汪淼
他本科畢業(yè)于西安電子科技大學(xué)，后于2016年獲得清華大學(xué)博士學(xué)位，師從論文通訊作者，清華大學(xué)計算機(jī)系胡事民教授。
論文作者中的楊國煒參加該項目時，只是一位本科生，現(xiàn)已在清華大學(xué)計算機(jī)系攻讀博士學(xué)位。
另外兩位作者，分別是菲爾茲獎得主、哈佛大學(xué)教授、美籍華人數(shù)學(xué)家丘成桐，以及以色列赫茲利亞跨學(xué)科研究中心院長艾里爾·沙米爾（Ariel Shamir）。
傳送門
視頻鏈接：
https://vimeo.com/357657704
論文地址：
http://www.faculty.idc.ac.il/arik/site/writeVideo.asp
https://dl.acm.org/citation.cfm?id=3355089
注：TOG2019年的第177號論文
VSE++論文地址：
https://arxiv.org/abs/1707.05612
— 完 —
量子位 QbitAI · 頭條號簽約
關(guān)注我們，第一時間獲知前沿科技動態(tài)
熱門課程推薦
熱門資訊
-
想了解動畫制作和影視特效的區(qū)別嗎？本文將帶您深入探討動畫制作和影視特效之間的關(guān)系，幫助你更好地理解這兩者的差異。
-
想知道快影、剪映、快剪輯這三款軟件哪個更適合小白？看看這篇對比評測，帶你了解這三款軟件的功能和特點，快速選擇適合自己的視頻剪輯軟件。
-
剪映專業(yè)版新增全局預(yù)覽縮放功能，可以輕松放大或縮小時間軌道。學(xué)習(xí)如何使用時間線縮放功能，提升剪輯效率。
-
4. 豆瓣8.3《鐵皮鼓》|電影符號學(xué)背后的視覺盛宴、社會隱喻主題
文|悅兒(叮咚,好電影來了!)《鐵皮鼓》是施隆多夫最具代表性的作品,影片于... 分析影片的社會隱喻主題;以及對于普通觀眾來說,它又帶給我們哪些現(xiàn)實啟發(fā)...
-
5. 從宏觀蒙太奇思維、中觀敘事結(jié)構(gòu)、微觀剪輯手法解讀《花樣年華》
中觀層面完成敘事結(jié)構(gòu)、以及微觀層面的剪輯手法,3個層次來解讀下電影《花樣年華》的蒙太奇魅力。一、 宏觀層面:運用蒙太奇思維構(gòu)建電影劇本雛形。蒙...
-
6. 15種電影剪輯/轉(zhuǎn)場藝術(shù)，賦予影片絕妙魅力
15種電影剪輯/轉(zhuǎn)場手法，讓影片更吸引眼球！回顧電影中豐富多樣的專場技巧，比如瞬間從一個場景中變換到空中... 現(xiàn)在是測試技術(shù)的時候了！以下是一些常見剪輯手法，讓你觀影過程更加華麗動人！
-
7. 零基礎(chǔ)怎么學(xué)習(xí)視頻剪輯?新手視頻剪輯教程
1、每個切點需要理由和動機(jī) 很剪輯師認(rèn)為,賦予每一個切點動機(jī)是非常困難的。很多...
-
本文介紹了十款強(qiáng)大的PR視頻剪輯插件，幫助提升視頻剪輯效率，提高創(chuàng)作品質(zhì)，并降低創(chuàng)作難度。
-
電影創(chuàng)作者可以通過表意、造型、畫面展示等元素對隱身性的含義進(jìn)行隱喻,打... 電影和夢境都具有普遍性的象征意義,夢境中的元素能夠代表人內(nèi)心的欲望,...
-
10. 《肖申克的救贖》通過鏡頭語言，向觀眾展現(xiàn)了安迪自我救贖的過程
以突出劇情的緊張氛圍和角色的情感變化。此外,電影的拍攝手法和剪輯方案還與影片的敘事結(jié)構(gòu)和主題緊密相連。導(dǎo)演巧妙地運用回憶、閃回和象征性鏡頭等...
最新文章
