本文首發(fā)網(wǎng)易游學(xué)APP（原網(wǎng)易游戲?qū)W院）

GDC是在全球范圍內(nèi)享有最高影響力的游戲開發(fā)者會議，已舉辦35屆，今年于3月21至25日在舊金山舉行。網(wǎng)易互娛今年有12位大咖的9個提案入圍GDC非贊助類演講，包括1項核心演講和8項主題峰會演講，讓我們一起圍觀入圍的提案和大神風(fēng)采！

一、技術(shù)概述

標準的劇情動畫設(shè)計通常先由游戲設(shè)計師構(gòu)建故事情節(jié)，然后資源制作組基于故事情節(jié)來制作動畫。但是這個動畫設(shè)計過程往往伴隨著多次的溝通和修改，因為制作的動畫不一定能與游戲設(shè)計師的想法所對應(yīng)，這個過程會浪費大量的時間和人力。

為了提高角色動畫制作過程中的溝通和開發(fā)效率，我們提出了一個低資源依賴的易用過場動畫預(yù)覽工具。這個工具包含5個插件，可以根據(jù)游戲劇本一鍵生成配音和動畫原型。游戲設(shè)計師們可以十分容易地利用這些插件來構(gòu)造原型，并且用于溝通和修改。這個工具可以有效地減少了資源的浪費，以及方便了劇情動畫開發(fā)過程中的溝通和調(diào)整。

目前方案的其中4個插件已全部接入Messiah和Montage的劇情編輯器中，而且每個插件也可以單獨拆分，服務(wù)于相應(yīng)的功能。

目前方案已被GDC2022的tool submit接收：

https://schedule.gdconf.com/session/tools-summit-an-easy-to-use-cutscenes-preview-tool-with-low-resources/883132

https://www.gdcvault.com/play/1027946/Tools-Summit-An-Easy-to

二、問題背景

劇情動畫設(shè)計往往需要伴隨大量的資源準備，然而每一次的劇情迭代都會牽動很多資源的改動。傳統(tǒng)的劇情動畫設(shè)計，一般是先由策劃撰寫一個完整的劇本，然后為每個角色和對白標記上對應(yīng)的情緒，確定好之后會分別由美術(shù)和音頻的同學(xué)進行動畫繪制和音頻配音，從而拼接起來完成一個完整的劇情動畫。然而大多數(shù)情況下，這個過程會需要多次的溝通和修改，甚至可能會因為劇本的問題需要推翻重來，因此帶來了資源的浪費。

傳統(tǒng)劇情動畫制作流程

在一個完整劇情動畫設(shè)計中會涉及到一些重復(fù)迭代的部分，包括：劇本撰寫、劇本情緒識別、配音、嘴型動畫、表情和動作、站位鏡頭等，現(xiàn)有的成熟的AI技術(shù)理論上能處理劇本情緒識別、配音、嘴型動畫、表情和動作的部分了，但是還需要針對實際項目中的一些問題進行適配，比如劇本數(shù)據(jù)領(lǐng)域、配音情緒處理、不同游戲的動畫設(shè)計等。另外的劇本撰寫和站位鏡頭相關(guān)技術(shù)仍在發(fā)展階段。

總的來說，劇情動畫制作，在實際項目中會遇到以下問題：

1. 劇情動畫工具對于非專業(yè)人員入門十分困難，而且反復(fù)地修改劇情會帶來資源的浪費；
2. 劇本相比于一般自然文本來講更短而且上下文依賴性更強，同一句話在不同的上下文情況下情緒會不一樣，而且同一個人對不同的對象也會有不同的情緒，還有一些游戲風(fēng)格類型的文本風(fēng)格適配問題；
3. 配音往往會更關(guān)注情緒表達，語音合成技術(shù)在對于情緒表達方面也需要依賴大量的標注數(shù)據(jù)，而且還有音色轉(zhuǎn)換等問題；
4. 嘴型動畫通常是比較繁瑣重復(fù)的工作，一般在初期的劇情動畫設(shè)計中不涉及，因此會缺少很多角色表現(xiàn)力；
5. 表情和動作同樣也是角色表現(xiàn)力的體現(xiàn)，初期缺少了會影響劇情動畫原型的一些質(zhì)量，從而沒能更直觀地體現(xiàn)出成品，可能會導(dǎo)致設(shè)計師們對于后續(xù)劇情動畫迭代的一些細節(jié)的把握不夠精細。

為了緩解上述問題，我們參考CG制作過程中的分鏡概念，借助劇情動畫原型來介入劇情動畫制作過程，并且期望劇情動畫原型在制作過程中，可以十分方便地讓游戲設(shè)計師們自行調(diào)整至自己滿意的程度，再去做進一步的溝通和制作，這樣可以很好的地避免時間和資源的浪費。

游戲設(shè)計師可自行調(diào)整，方便后續(xù)資源準備和溝通

另外，為了達到便捷易用，這個工作提出了一個劇情動畫自動化生成AI工具包，可以一鍵生成劇情原型，使得劇情動畫原型更貼近成品，提高劇情動畫設(shè)計過程中的開發(fā)和溝通效率。該工具包集小說轉(zhuǎn)劇本、劇本情緒識別、情緒語音合成、嘴型動畫與表情動作四個插件匹配于一身，既能一鍵生成劇情原型，又能單獨拎出每個插件服務(wù)于對應(yīng)場景。

劇情動畫自動化生成AI工具包可以直觀地展示出游戲設(shè)計師前期的劇情設(shè)計，讓設(shè)計師自行調(diào)整劇本內(nèi)容和效果，再使用產(chǎn)生的原型與負責(zé)資源的同學(xué)進行溝通，可以有效地減少了資源的浪費，以及方便了劇情動畫開發(fā)過程中的溝通和調(diào)整。而且其中的嘴型動畫可以達到直接可用的程度，減輕了美術(shù)同學(xué)的工作。

三、技術(shù)實現(xiàn)

我們受CG制作的啟發(fā)，CG制作通常會先讓設(shè)計師制作原型，一般通過漫畫、分鏡、故事版等方式表現(xiàn)，然后再針對原型來準備資源，最終完成一個完整的CG。其中的原型起到了十分關(guān)鍵的提效作用，資源同事可以十分清晰地明確整個CG的流程和細節(jié)。

換而言之，在劇情動畫制作過程中使用原型，也是可以提高制作效率。因為劇情動畫通常都是使用游戲中的角色資源來制作，那么我們希望劇情動畫的原型是可以更直觀而且更容易去制作，以便游戲設(shè)計師都可以自行制作，因此我們提出了一個劇情動畫自動化生成AI工具包，主要包含4個順序的插件：小說轉(zhuǎn)劇本、劇本情緒分析、情感可控語音合成、嘴型表情動畫合成。每一個插件都是相輔相成，也可以單獨拎出來成為一個插件，即插即用。

劇情動畫自動化生成AI工具包流程圖

總的來說，我們的劇情動畫生成方案包含5個插件：小說續(xù)寫、小說轉(zhuǎn)劇本、劇本情緒分析、情感可控語音合成、嘴型表情動畫合成。每一個插件都是可以相輔相成，也可以單獨拎出來成為一個小部件，即插即用。

方案的整體流程是：

1. 先輸入一段小說，或者一個片段的開頭，小說續(xù)寫模塊可以天馬行空地去往下續(xù)寫到無窮長。
2. 然后基于輸入或者生成的小說形式的文本，通過小說轉(zhuǎn)劇本模塊，轉(zhuǎn)換成“角色：對白”這樣的節(jié)點圖。
3. 得到節(jié)點圖后，通過劇本情緒識別模塊，對每句對白提取出對應(yīng)的情緒。
4. 將角色、對白以及情緒輸入到語音合成模塊中，輸出帶有情緒的配音合成文件。
5. 嘴型表情動畫模型將配音和對白進行自動對齊，然后合成出對應(yīng)的嘴型動畫，同時也使用情緒結(jié)果來產(chǎn)生對應(yīng)的表情動畫。

下面是除了第一步之外的其他四步一鍵生成的例子，分別集成到了內(nèi)部的Montage和Messiah劇情編輯器：

四、插件介紹

1. 小說續(xù)寫

對輸入的小說片段進行續(xù)寫，下面是一個例子，可以生成豐富多樣的續(xù)寫結(jié)果。

? 例子1：

輸入：幾經(jīng)修煉，葉凌天的虛靈神掌已經(jīng)修煉得出神入化

1. 不但能夠使得身體發(fā)光，更是在掌法上達到了另一個境界，可以隨意揮灑，威力也大幅度提升。<eos> 這一刻，他的手上靈紋閃耀，每一道靈紋都是由精粹的銀色符文構(gòu)建而成，靈氣逼人而充沛，似乎已經(jīng)具備了生命，就像一個活物一般在他手中跳躍掙扎。<eos> 這是一套極為高深、玄奧，堪稱逆天的武功秘法！<eos> 葉凌天的心神沉浸其中，他的身體內(nèi)部似乎有了生命一般，每一根毛孔都開始吸取著天地間的靈氣和精華，而且隨著時間推移，他感覺自己好像與外界產(chǎn)生共鳴，就像一個小孩在呼吸一樣，不知道是什么原因，他的感官變得敏銳了起來。<eos> 這一日，葉凌天再次來到了制符室，這里依舊是在石屋內(nèi)，但是卻多出了一個空曠的大廳。<eos> "師父，今天我們可以進去嗎？" <eos> 他看著面帶笑容站在大廳內(nèi)的師父，語氣平靜無比。<eos> "當(dāng)然！你要記住，此刻可是修煉關(guān)鍵時刻，切忌貪功冒進，不能因為修煉就忽視了這一點。" <eos> 聽聞此言，葉凌天頓覺渾身舒爽，臉上也浮現(xiàn)著激動的神色，不由大聲說道："弟子知曉了！" <eos> "嗯，知道了！" <eos> "師父，您現(xiàn)在是否已經(jīng)掌握了‘如意通’之術(shù)了？" <eos> "...

2. 此刻他的肉身經(jīng)脈已經(jīng)徹底恢復(fù)了，可以動用真氣，不過這種狀態(tài)卻是需要消耗大量精力。虛靈神掌，乃是武者所必修，其實力更多的是在于肉身上，一旦肉身達到極限就會有一個飛躍性的增長，而且隨著武者境界提升，肉身力量也會隨之提高，這是因為每一次進階都伴隨著巨大的收益，而這一次卻是精血出現(xiàn)了問題。<eos> 所以，這一次的提升是有限度的，不過他虛靈神掌卻也是可以進階的了。<eos> "呼！" <eos> 葉凌天深呼一口氣，就開始準備第二爐靈材熬制了。<eos> 這時候，天色已晚，他將手中的靈材投入到火堆里，隨后就盤膝坐下，靜等著煉制成功。<eos> 他的魂海中，此刻正在凝聚著一團銀色符紙，它就是那種能夠增長真氣的銀色符紙，只不過因為其上的符咒較多，所以并沒有什么攻擊力。<eos> 但是，在他修煉的期間，那些符紙都會自動飛向他的體內(nèi)，被他吸收，轉(zhuǎn)化成精純的真氣流入丹田，滋養(yǎng)經(jīng)脈，同時，他還不斷消耗那些符咒的力量，使得自身更強大一些。<eos> 如此過去了十日，葉凌天終于完成了最后一道工序，接下來便是第三爐靈材的煎制了，這一爐藥材是用來煉制‘百靈丸...

3. 此時他體內(nèi)的真氣澎湃而又磅礴，就仿佛要爆發(fā)開來的樣子，但是他的心境也在逐漸恢復(fù)著。<eos> "這次我終于練成了‘虛靈掌’了？" <eos> 葉凌天輕嘆一聲，他已經(jīng)完全適應(yīng)了虛靈神掌所具備的威能以及對其掌握程度的感悟，現(xiàn)在的掌法與功法相互配合，他的實戰(zhàn)水準提升了好幾個層次，這讓他更加堅信自己的武道修為還有可能得以提升，不過他還是忍不住有些擔(dān)心，畢竟這樣一來，自己就沒必要再繼續(xù)去嘗試如意掌了。<eos> 在這一刻，葉凌天很期待下次與那人交戰(zhàn)，當(dāng)初他甚至懷疑自己到底是否能夠真正將‘虛靈掌’練到大成境界呢？<eos> 這一點，是那人無論如何也不會想到的。<eos> "我已經(jīng)習(xí)慣這門功法了！" <eos> 葉凌天深吸口氣，目光中閃爍著睿智的神采，喃喃開聲，隨后便開始準備煉制符紙和符墨了。<eos> 他的目標，就是那三種靈材。<eos> 他之所以會如此決絕，是因為那三種靈材，一旦出現(xiàn)，就會引起其他門派覬覦，屆時恐怕就會引發(fā)各方勢力的瘋狂追殺，這對于他而言并非什么好事，反而是一個很大的隱患。<eos> 所以，在如今的形勢下，他必須保持低調(diào)行事...

? 例子2：

輸入：此時喬峰三處傷口血流如注，抱著阿朱的左手已無絲毫力氣，一被長繩卷起，阿朱當(dāng)即滾在地下。眾人但見長繩彼端是個黑衣大漢，站在屋頂，身形魁梧，臉蒙黑布，只露出了兩只眼睛。

1. 喬峰當(dāng)即上前扶住阿朱，開口道："阿朱！你沒事吧？" <eos> "沒事的。" <eos> 阿朱虛弱說了句話，就再度昏睡過去了，她身旁的喬峰則是滿臉陰沉地看著黑衣大漢。<eos> 此時他的傷勢比之方才還要重一分，但因為有長繩作為牽引，所以無需喬峰催動靈元，只是憑借強橫的實力將之拖拽至地下，而后那個黑衣人帶著阿朱離開了這處小屋子，繼續(xù)在外面游蕩著。<eos> "你們是什么人？" <eos> 喬峰目光冷峻的問道。<eos> 他現(xiàn)在心情十分糟糕。<eos> 他已經(jīng)在此戰(zhàn)斗了數(shù)時辰了，可是對方卻始終沒有顯露身份，甚至連自己都不知道自己究竟遇到了何事，這使他很是郁悶，更令他感到憤怒的是對方居然還能如此鎮(zhèn)定，不僅如此，還能夠輕易的將他們二人重傷至此，這絕非...

2. 眾人見狀皆大吃一驚。<eos> 這黑衣大漢的修為竟然也是三重天之境，且不說他能夠以一敵二，單是這修為實力就非同小可，此時他們的身旁還有個小姑娘在旁，她可是喬峰的女人。<eos> "阿朱?。?！" <eos> 喬峰驚叫出聲，雙眼瞪得滾圓，滿臉都是不相信的神色。<eos> 只見阿朱渾身浴血，躺在地上，臉色蒼白如紙，氣若游絲，看來已經(jīng)受了不輕的傷勢，這一刻她幾乎是要暈厥過去的，他卻又不能有所作為。<eos> "我沒事，阿朱你先起來，我們還有話要說呢？" <eos> 喬峰將阿朱抱著放下，語氣平穩(wěn)地說道。<eos> 而這話語中的意思卻是再明白不過了。<eos> 他現(xiàn)在已經(jīng)知曉了對方的實力，這樣的強者自然不會輕易放掉自己等人，但如果這黑衣大漢真想要殺他們，他必不能如他所愿，這樣一...

3. 眾人皆驚，心中不免有些駭然。<eos> 這黑衣大漢的實力之強可是超出了他們所有人想象的地步，即便是喬峰都沒辦法輕松應(yīng)對此人的攻擊了。<eos> "小子，你這是在干什么？！" <eos> 那黑衣大漢見狀不禁冷聲質(zhì)問道。<eos> 喬峰聞言只是嘿然一笑："你們還真當(dāng)自己天下無敵了嗎？！告訴你們，這里是我的家，而且還是你們這些土著的家。<eos> 現(xiàn)在阿朱已經(jīng)是我的女人了，就是我死了，她也是我的女人。至于你們嘛，哼，我喬峰可不怕你們。" <eos> "放肆！" <eos> 黑衣大漢勃然大怒，"既然你要找上門來，那老夫就成全你！" <eos> 話落，他一掌拍出。<eos> 霎時間勁氣如潮水般洶涌而出，直接就朝著喬峰拍去，看樣子是打算先將對方鎮(zhèn)壓再說的。<eos> 這一掌勢若驚雷，速度極快，就連屋頂都被掌風(fēng)吹...

2. 小說轉(zhuǎn)劇本

對小說格式的文本進行說話人和對白提取，轉(zhuǎn)換成對白節(jié)點圖，方便后續(xù)的分析和處理。

? 輸入

? 輸出

3. 劇本情緒分析

對劇本中的每一句對白進行自動情緒分析。

劇情類游戲（RPG、AVG等）的游戲劇本中，往往存在大量的對話文本。為了準確把握角色當(dāng)下的情緒，作為游戲中角色做表情或動作的基準，游戲策劃需要通讀整個劇本后再給每句話打上情緒標簽，比較費時費力?；蔄I Lab研發(fā)了一套劇本情緒識別系統(tǒng)，能根據(jù)劇本中角色的對話自動識別當(dāng)前角色情緒，提高游戲開發(fā)效率。

目前支持normal（無情緒）、serious（嚴肅）、happiness（高興）、sadness（悲傷）、fear（恐懼）、embarrassed（尷尬/害羞）、anger（憤怒）、surprise（驚訝）、unhappy（煩躁）、thinking（疑惑/思考)、kidding（捉弄/調(diào)皮）等11種情緒。

4. 跨語言跨說話人情緒可控語音合成

通過一定量的情緒語音及跨語言語料來實現(xiàn)跨語言跨說話人情緒可控的語音合成，通過情緒控制變量來豐富語音合成結(jié)果的表現(xiàn)力。

5. 嘴型表情動畫

通過自動的語音-文本對齊技術(shù)，以及嘴型動畫合成技術(shù)，還有情緒+表情生產(chǎn)技術(shù)，一鍵生成豐富的角色表現(xiàn)效果。

五、致謝

感謝Messiah和Montage的劇情編輯器的大力支持，也感謝天下3、夢幻西游、明日之后、荒野行動等游戲的資源支持。