激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

AI剪片新進展!“一心二用”讀劇本看影像，讓預(yù)告片有情緒

發(fā)布時間：2024-04-08 20:47:09 瀏覽量：166次

智東西（公眾號：zhidxcom）

編譯| 程茜

編輯 | 李水青

智東西11月30日消息，本周一，愛丁堡大學(xué)的研究人員開發(fā)了一種基于人工神經(jīng)網(wǎng)絡(luò)的模型，用以自動生成電影預(yù)告片。

電影制作公司發(fā)布的預(yù)告片，通常是其宣傳新電影時采用的促銷策略中的關(guān)鍵要素。為了讓預(yù)告片的效益最大化，該短片應(yīng)該簡要總結(jié)電影的情節(jié)，以吸引人的方式傳達其藝術(shù)風(fēng)格和情緒意境。

到目前為止，電影預(yù)告片主要是由人類制作的。然而，最近一些計算機科學(xué)家開始探索這些宣傳片也可以由機器自動生成的可能性。

愛丁堡大學(xué)的研究人員將電影片段建模為圖形，通過無監(jiān)督學(xué)習(xí)算法來識別、生成電影預(yù)告片。

該模型在11月16日發(fā)表于arXiv上的一篇論文中提出。

論文鏈接：

https://techxplore.com/news/2021-11-automatically-movie-trailers.html

一、AI剪片，兼顧敘事結(jié)構(gòu)和情感

為了自動創(chuàng)建預(yù)告片，研究人員構(gòu)建的算法模型需要先執(zhí)行低級別的任務(wù)，如人物識別、動作識別和情緒預(yù)測，還需要執(zhí)行更高級別的任務(wù)，如理解事件之間的聯(lián)系及其因果關(guān)系，對特征及其動作進行推斷。

考慮到任務(wù)的復(fù)雜性，算法模型直接從電影預(yù)告片中獲取所有這些信息將需要成千上萬個樣本，而這些樣本的處理和標(biāo)注也將是一個挑戰(zhàn)。

因此，以前的自動預(yù)告片生成方法僅僅集中在視聽特征上是不足為奇的。

受人工編輯預(yù)告片的創(chuàng)造性過程的啟發(fā)，為了更好地處理自動電影預(yù)告片生成的任務(wù)，愛丁堡大學(xué)的研究人員采用了一種自下而上的方法來生成預(yù)告片，他們將預(yù)告片分解為兩個更簡單且定義明確的子任務(wù)，即電影敘事結(jié)構(gòu)的識別和對其傳達的情感的預(yù)測，他們創(chuàng)建的模型可以處理電影的一部分視頻和電影劇本中的文本提取。

“我們利用劇本作為信息的來源，提取關(guān)于電影中的事件、角色和場景的知識，然后利用這些知識在視頻中確定值得發(fā)布預(yù)告片的鏡頭?！?/p>

“我們將電影建模為圖形，鏡頭作為節(jié)點，用來表示圖形之間的語義關(guān)系?！边M行這項研究的三位研究人員Pinelopi Papalamidi、Frank Keller和Mirella Lapata在他們的論文中寫道。

建立圖片模型

“我們使用聯(lián)合對比訓(xùn)練來學(xué)習(xí)這些鏡頭關(guān)系，通過無監(jiān)督算法模型瀏覽圖片并生成預(yù)告片?！?/p>

此外，未標(biāo)注的劇本文本語料庫也比較容易獲得，可以用來對該模型進行預(yù)訓(xùn)練。

二、五大步驟，兩個模型“研磨”劇本和影像

在這個算法模型中，對兩個子任務(wù)的實現(xiàn)方式與傳統(tǒng)的預(yù)告片產(chǎn)生方式不同。

首先是敘事結(jié)構(gòu)的識別，即檢索電影中最重要的事件。電影編劇中普遍采用的理論認(rèn)為，電影中有五種關(guān)鍵事件，稱為轉(zhuǎn)折點（TPs），如下圖所示，這五個關(guān)鍵事件分別為機會、計劃改變、沒有回報、主要挫折、高潮。

電影敘事中的五個關(guān)鍵事件

第二個子任務(wù)是情緒預(yù)測，研究人員將其視為鏡頭和喚起的情緒之間的關(guān)系近似值。

研究人員按照一種非監(jiān)督的基于圖形的方法來生成預(yù)告片。此外，鏡頭帶有表示它們是否是關(guān)鍵事件的標(biāo)簽，并帶有表示情緒強度，如積極或消極的分?jǐn)?shù)。

選取關(guān)鍵轉(zhuǎn)折點

該算法通過瀏覽利用電影建模生成的圖形來創(chuàng)建預(yù)告片序列，然后由人工編輯進行審核和修改。

關(guān)鍵事件轉(zhuǎn)折點識別和情緒預(yù)測的任務(wù)都得益于對電影內(nèi)容的較低層次的理解。

事實上，該算法可以利用現(xiàn)成的模塊來識別字符和圖形位置、記錄動作和定位語義單元。然而，這種方法大大增加了訓(xùn)練和推理過程中的預(yù)處理時間和內(nèi)存需求，并且產(chǎn)生理解錯誤的問題。

因此，研究人員提出了一種對比學(xué)習(xí)機制，在這種機制中，利用只有在培訓(xùn)時間才能獲得的電影劇本中的有效信息。電影劇本可以揭示電影如何被分割成場景，電影角色基本情況，他們在和誰說話，他們在哪里，他們在做什么等內(nèi)容，也就是電腦的“場景標(biāo)題”和“動作線”可以解釋動作發(fā)生的位置、描述鏡頭看到的東西。

生成預(yù)告片

具體來說，研究人員構(gòu)建了兩個獨立的神經(jīng)網(wǎng)絡(luò)模型，一個是基于劇本的文本網(wǎng)絡(luò)，另一個是基于視頻的時間線網(wǎng)絡(luò)，并使用對比對它們進行聯(lián)合訓(xùn)練。

結(jié)合起來，這兩個神經(jīng)網(wǎng)絡(luò)可以識別電影中的關(guān)鍵時間，并呈現(xiàn)在預(yù)告片中。

文本網(wǎng)絡(luò)還可以通過自我監(jiān)督的學(xué)習(xí)對大量的電影劇本進行預(yù)處理，而不必收集和處理相應(yīng)的電影畫面。實驗結(jié)果表明，這種對比訓(xùn)練方法是有益的，可以使預(yù)告片在內(nèi)容和吸引力方面得到人們的好評。

研究人員提出的神經(jīng)網(wǎng)絡(luò)模型框架

三、41部預(yù)告片，轉(zhuǎn)折點評估更準(zhǔn)確

研究人員通過一系列測試來評估該模型制作電影預(yù)告片的水平，結(jié)果顯示它可以比其他用于生成電影預(yù)告片的基線方法更準(zhǔn)確地識別電影中的轉(zhuǎn)折點。

此外，研究人員還使用他們的模型為41部不同的電影制作了預(yù)告片。然后，他們在美國數(shù)據(jù)標(biāo)注眾包平臺Amazon Mechanical Turk招募了一些觀眾，詢問他們喜歡看的電影預(yù)告片是哪些，然后將電影原有的預(yù)告片和通過他們的模型生產(chǎn)的預(yù)告片進行對比，獲得觀眾的兩種預(yù)告片的評價。

有趣的是，大多數(shù)受訪者更喜歡由他們的無監(jiān)督模型創(chuàng)建的預(yù)告片，而不是由監(jiān)督模型制作的預(yù)告片。也有部分預(yù)告片獲得了較低的評價。

將電影建模為圖片并進行大范圍的計算，替代之前的單獨選擇鏡頭，有助于創(chuàng)建連貫的預(yù)告片。然而，同樣的模式也存在確定，這種方法本身并不能保證高質(zhì)量的預(yù)告片產(chǎn)出。

研究人員在他們的論文中補充說：“未來，我們希望更多專注于預(yù)測電影中的細(xì)粒度情緒的方法，例如，悲傷、厭惡、恐怖、快樂。在這項工作中，由于缺乏標(biāo)記數(shù)據(jù)集，我們將積極、消極情緒視為情緒的替代品?！?/p>

結(jié)語：加速預(yù)告片制作，情感數(shù)據(jù)集仍欠缺

初步實驗表明，Papalampidi、Keller和Lapata創(chuàng)建的模型可能還不能制作出完美的預(yù)告片，對于預(yù)告片是否劇透、情緒傳遞的準(zhǔn)確性問題還有待解決。將精細(xì)的情感知識從其他領(lǐng)域轉(zhuǎn)移到預(yù)告片制作領(lǐng)域會導(dǎo)致不可靠的預(yù)測。未來的工作包括新的電影情感數(shù)據(jù)集，以及基于文本和視聽線索的情感檢測模型。

但該模型最終可能會被電影制作公司用來促進和加快預(yù)告片的制作。同時，該團隊計劃繼續(xù)研究他們的技術(shù)，以進一步提高其生產(chǎn)的預(yù)告片的質(zhì)量。

來源：Tech Xplore

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定