本文首發(fā)網(wǎng)易游學(xué)APP（原網(wǎng)易游戲?qū)W院）

GDC是在全球范圍內(nèi)享有最高影響力的游戲開發(fā)者會(huì)議，已舉辦35屆，今年于3月21至25日在舊金山舉行。網(wǎng)易互娛今年有12位大咖的9個(gè)提案入圍GDC非贊助類演講，包括1項(xiàng)核心演講和8項(xiàng)主題峰會(huì)演講，讓我們一起圍觀入圍的提案和大神風(fēng)采！

一、技術(shù)概述

標(biāo)準(zhǔn)的劇情動(dòng)畫設(shè)計(jì)通常先由游戲設(shè)計(jì)師構(gòu)建故事情節(jié)，然后資源制作組基于故事情節(jié)來(lái)制作動(dòng)畫。但是這個(gè)動(dòng)畫設(shè)計(jì)過程往往伴隨著多次的溝通和修改，因?yàn)橹谱鞯膭?dòng)畫不一定能與游戲設(shè)計(jì)師的想法所對(duì)應(yīng)，這個(gè)過程會(huì)浪費(fèi)大量的時(shí)間和人力。

為了提高角色動(dòng)畫制作過程中的溝通和開發(fā)效率，我們提出了一個(gè)低資源依賴的易用過場(chǎng)動(dòng)畫預(yù)覽工具。這個(gè)工具包含5個(gè)插件，可以根據(jù)游戲劇本一鍵生成配音和動(dòng)畫原型。游戲設(shè)計(jì)師們可以十分容易地利用這些插件來(lái)構(gòu)造原型，并且用于溝通和修改。這個(gè)工具可以有效地減少了資源的浪費(fèi)，以及方便了劇情動(dòng)畫開發(fā)過程中的溝通和調(diào)整。

目前方案的其中4個(gè)插件已全部接入Messiah和Montage的劇情編輯器中，而且每個(gè)插件也可以單獨(dú)拆分，服務(wù)于相應(yīng)的功能。

目前方案已被GDC2022的tool submit接收：

https://schedule.gdconf.com/session/tools-summit-an-easy-to-use-cutscenes-preview-tool-with-low-resources/883132

https://www.gdcvault.com/play/1027946/Tools-Summit-An-Easy-to

二、問題背景

劇情動(dòng)畫設(shè)計(jì)往往需要伴隨大量的資源準(zhǔn)備，然而每一次的劇情迭代都會(huì)牽動(dòng)很多資源的改動(dòng)。傳統(tǒng)的劇情動(dòng)畫設(shè)計(jì)，一般是先由策劃撰寫一個(gè)完整的劇本，然后為每個(gè)角色和對(duì)白標(biāo)記上對(duì)應(yīng)的情緒，確定好之后會(huì)分別由美術(shù)和音頻的同學(xué)進(jìn)行動(dòng)畫繪制和音頻配音，從而拼接起來(lái)完成一個(gè)完整的劇情動(dòng)畫。然而大多數(shù)情況下，這個(gè)過程會(huì)需要多次的溝通和修改，甚至可能會(huì)因?yàn)閯”镜膯栴}需要推翻重來(lái)，因此帶來(lái)了資源的浪費(fèi)。

傳統(tǒng)劇情動(dòng)畫制作流程

在一個(gè)完整劇情動(dòng)畫設(shè)計(jì)中會(huì)涉及到一些重復(fù)迭代的部分，包括：劇本撰寫、劇本情緒識(shí)別、配音、嘴型動(dòng)畫、表情和動(dòng)作、站位鏡頭等，現(xiàn)有的成熟的AI技術(shù)理論上能處理劇本情緒識(shí)別、配音、嘴型動(dòng)畫、表情和動(dòng)作的部分了，但是還需要針對(duì)實(shí)際項(xiàng)目中的一些問題進(jìn)行適配，比如劇本數(shù)據(jù)領(lǐng)域、配音情緒處理、不同游戲的動(dòng)畫設(shè)計(jì)等。另外的劇本撰寫和站位鏡頭相關(guān)技術(shù)仍在發(fā)展階段。

總的來(lái)說(shuō)，劇情動(dòng)畫制作，在實(shí)際項(xiàng)目中會(huì)遇到以下問題：

1. 劇情動(dòng)畫工具對(duì)于非專業(yè)人員入門十分困難，而且反復(fù)地修改劇情會(huì)帶來(lái)資源的浪費(fèi)；
2. 劇本相比于一般自然文本來(lái)講更短而且上下文依賴性更強(qiáng)，同一句話在不同的上下文情況下情緒會(huì)不一樣，而且同一個(gè)人對(duì)不同的對(duì)象也會(huì)有不同的情緒，還有一些游戲風(fēng)格類型的文本風(fēng)格適配問題；
3. 配音往往會(huì)更關(guān)注情緒表達(dá)，語(yǔ)音合成技術(shù)在對(duì)于情緒表達(dá)方面也需要依賴大量的標(biāo)注數(shù)據(jù)，而且還有音色轉(zhuǎn)換等問題；
4. 嘴型動(dòng)畫通常是比較繁瑣重復(fù)的工作，一般在初期的劇情動(dòng)畫設(shè)計(jì)中不涉及，因此會(huì)缺少很多角色表現(xiàn)力；
5. 表情和動(dòng)作同樣也是角色表現(xiàn)力的體現(xiàn)，初期缺少了會(huì)影響劇情動(dòng)畫原型的一些質(zhì)量，從而沒能更直觀地體現(xiàn)出成品，可能會(huì)導(dǎo)致設(shè)計(jì)師們對(duì)于后續(xù)劇情動(dòng)畫迭代的一些細(xì)節(jié)的把握不夠精細(xì)。

為了緩解上述問題，我們參考CG制作過程中的分鏡概念，借助劇情動(dòng)畫原型來(lái)介入劇情動(dòng)畫制作過程，并且期望劇情動(dòng)畫原型在制作過程中，可以十分方便地讓游戲設(shè)計(jì)師們自行調(diào)整至自己滿意的程度，再去做進(jìn)一步的溝通和制作，這樣可以很好的地避免時(shí)間和資源的浪費(fèi)。

游戲設(shè)計(jì)師可自行調(diào)整，方便后續(xù)資源準(zhǔn)備和溝通

另外，為了達(dá)到便捷易用，這個(gè)工作提出了一個(gè)劇情動(dòng)畫自動(dòng)化生成AI工具包，可以一鍵生成劇情原型，使得劇情動(dòng)畫原型更貼近成品，提高劇情動(dòng)畫設(shè)計(jì)過程中的開發(fā)和溝通效率。該工具包集小說(shuō)轉(zhuǎn)劇本、劇本情緒識(shí)別、情緒語(yǔ)音合成、嘴型動(dòng)畫與表情動(dòng)作四個(gè)插件匹配于一身，既能一鍵生成劇情原型，又能單獨(dú)拎出每個(gè)插件服務(wù)于對(duì)應(yīng)場(chǎng)景。

劇情動(dòng)畫自動(dòng)化生成AI工具包可以直觀地展示出游戲設(shè)計(jì)師前期的劇情設(shè)計(jì)，讓設(shè)計(jì)師自行調(diào)整劇本內(nèi)容和效果，再使用產(chǎn)生的原型與負(fù)責(zé)資源的同學(xué)進(jìn)行溝通，可以有效地減少了資源的浪費(fèi)，以及方便了劇情動(dòng)畫開發(fā)過程中的溝通和調(diào)整。而且其中的嘴型動(dòng)畫可以達(dá)到直接可用的程度，減輕了美術(shù)同學(xué)的工作。

三、技術(shù)實(shí)現(xiàn)

我們受CG制作的啟發(fā)，CG制作通常會(huì)先讓設(shè)計(jì)師制作原型，一般通過漫畫、分鏡、故事版等方式表現(xiàn)，然后再針對(duì)原型來(lái)準(zhǔn)備資源，最終完成一個(gè)完整的CG。其中的原型起到了十分關(guān)鍵的提效作用，資源同事可以十分清晰地明確整個(gè)CG的流程和細(xì)節(jié)。

換而言之，在劇情動(dòng)畫制作過程中使用原型，也是可以提高制作效率。因?yàn)閯∏閯?dòng)畫通常都是使用游戲中的角色資源來(lái)制作，那么我們希望劇情動(dòng)畫的原型是可以更直觀而且更容易去制作，以便游戲設(shè)計(jì)師都可以自行制作，因此我們提出了一個(gè)劇情動(dòng)畫自動(dòng)化生成AI工具包，主要包含4個(gè)順序的插件：小說(shuō)轉(zhuǎn)劇本、劇本情緒分析、情感可控語(yǔ)音合成、嘴型表情動(dòng)畫合成。每一個(gè)插件都是相輔相成，也可以單獨(dú)拎出來(lái)成為一個(gè)插件，即插即用。

劇情動(dòng)畫自動(dòng)化生成AI工具包流程圖

總的來(lái)說(shuō)，我們的劇情動(dòng)畫生成方案包含5個(gè)插件：小說(shuō)續(xù)寫、小說(shuō)轉(zhuǎn)劇本、劇本情緒分析、情感可控語(yǔ)音合成、嘴型表情動(dòng)畫合成。每一個(gè)插件都是可以相輔相成，也可以單獨(dú)拎出來(lái)成為一個(gè)小部件，即插即用。

方案的整體流程是：

1. 先輸入一段小說(shuō)，或者一個(gè)片段的開頭，小說(shuō)續(xù)寫模塊可以天馬行空地去往下續(xù)寫到無(wú)窮長(zhǎng)。
2. 然后基于輸入或者生成的小說(shuō)形式的文本，通過小說(shuō)轉(zhuǎn)劇本模塊，轉(zhuǎn)換成“角色：對(duì)白”這樣的節(jié)點(diǎn)圖。
3. 得到節(jié)點(diǎn)圖后，通過劇本情緒識(shí)別模塊，對(duì)每句對(duì)白提取出對(duì)應(yīng)的情緒。
4. 將角色、對(duì)白以及情緒輸入到語(yǔ)音合成模塊中，輸出帶有情緒的配音合成文件。
5. 嘴型表情動(dòng)畫模型將配音和對(duì)白進(jìn)行自動(dòng)對(duì)齊，然后合成出對(duì)應(yīng)的嘴型動(dòng)畫，同時(shí)也使用情緒結(jié)果來(lái)產(chǎn)生對(duì)應(yīng)的表情動(dòng)畫。

下面是除了第一步之外的其他四步一鍵生成的例子，分別集成到了內(nèi)部的Montage和Messiah劇情編輯器：

四、插件介紹

1. 小說(shuō)續(xù)寫

對(duì)輸入的小說(shuō)片段進(jìn)行續(xù)寫，下面是一個(gè)例子，可以生成豐富多樣的續(xù)寫結(jié)果。

? 例子1：

輸入：幾經(jīng)修煉，葉凌天的虛靈神掌已經(jīng)修煉得出神入化

1. 不但能夠使得身體發(fā)光，更是在掌法上達(dá)到了另一個(gè)境界，可以隨意揮灑，威力也大幅度提升。<eos> 這一刻，他的手上靈紋閃耀，每一道靈紋都是由精粹的銀色符文構(gòu)建而成，靈氣逼人而充沛，似乎已經(jīng)具備了生命，就像一個(gè)活物一般在他手中跳躍掙扎。<eos> 這是一套極為高深、玄奧，堪稱逆天的武功秘法！<eos> 葉凌天的心神沉浸其中，他的身體內(nèi)部似乎有了生命一般，每一根毛孔都開始吸取著天地間的靈氣和精華，而且隨著時(shí)間推移，他感覺自己好像與外界產(chǎn)生共鳴，就像一個(gè)小孩在呼吸一樣，不知道是什么原因，他的感官變得敏銳了起來(lái)。<eos> 這一日，葉凌天再次來(lái)到了制符室，這里依舊是在石屋內(nèi)，但是卻多出了一個(gè)空曠的大廳。<eos> "師父，今天我們可以進(jìn)去嗎？" <eos> 他看著面帶笑容站在大廳內(nèi)的師父，語(yǔ)氣平靜無(wú)比。<eos> "當(dāng)然！你要記住，此刻可是修煉關(guān)鍵時(shí)刻，切忌貪功冒進(jìn)，不能因?yàn)樾逕捑秃鲆暳诉@一點(diǎn)。" <eos> 聽聞此言，葉凌天頓覺渾身舒爽，臉上也浮現(xiàn)著激動(dòng)的神色，不由大聲說(shuō)道："弟子知曉了！" <eos> "嗯，知道了！" <eos> "師父，您現(xiàn)在是否已經(jīng)掌握了‘如意通’之術(shù)了？" <eos> "...

2. 此刻他的肉身經(jīng)脈已經(jīng)徹底恢復(fù)了，可以動(dòng)用真氣，不過這種狀態(tài)卻是需要消耗大量精力。虛靈神掌，乃是武者所必修，其實(shí)力更多的是在于肉身上，一旦肉身達(dá)到極限就會(huì)有一個(gè)飛躍性的增長(zhǎng)，而且隨著武者境界提升，肉身力量也會(huì)隨之提高，這是因?yàn)槊恳淮芜M(jìn)階都伴隨著巨大的收益，而這一次卻是精血出現(xiàn)了問題。<eos> 所以，這一次的提升是有限度的，不過他虛靈神掌卻也是可以進(jìn)階的了。<eos> "呼！" <eos> 葉凌天深呼一口氣，就開始準(zhǔn)備第二爐靈材熬制了。<eos> 這時(shí)候，天色已晚，他將手中的靈材投入到火堆里，隨后就盤膝坐下，靜等著煉制成功。<eos> 他的魂海中，此刻正在凝聚著一團(tuán)銀色符紙，它就是那種能夠增長(zhǎng)真氣的銀色符紙，只不過因?yàn)槠渖系姆漭^多，所以并沒有什么攻擊力。<eos> 但是，在他修煉的期間，那些符紙都會(huì)自動(dòng)飛向他的體內(nèi)，被他吸收，轉(zhuǎn)化成精純的真氣流入丹田，滋養(yǎng)經(jīng)脈，同時(shí)，他還不斷消耗那些符咒的力量，使得自身更強(qiáng)大一些。<eos> 如此過去了十日，葉凌天終于完成了最后一道工序，接下來(lái)便是第三爐靈材的煎制了，這一爐藥材是用來(lái)煉制‘百靈丸...

3. 此時(shí)他體內(nèi)的真氣澎湃而又磅礴，就仿佛要爆發(fā)開來(lái)的樣子，但是他的心境也在逐漸恢復(fù)著。<eos> "這次我終于練成了‘虛靈掌’了？" <eos> 葉凌天輕嘆一聲，他已經(jīng)完全適應(yīng)了虛靈神掌所具備的威能以及對(duì)其掌握程度的感悟，現(xiàn)在的掌法與功法相互配合，他的實(shí)戰(zhàn)水準(zhǔn)提升了好幾個(gè)層次，這讓他更加堅(jiān)信自己的武道修為還有可能得以提升，不過他還是忍不住有些擔(dān)心，畢竟這樣一來(lái)，自己就沒必要再繼續(xù)去嘗試如意掌了。<eos> 在這一刻，葉凌天很期待下次與那人交戰(zhàn)，當(dāng)初他甚至懷疑自己到底是否能夠真正將‘虛靈掌’練到大成境界呢？<eos> 這一點(diǎn)，是那人無(wú)論如何也不會(huì)想到的。<eos> "我已經(jīng)習(xí)慣這門功法了！" <eos> 葉凌天深吸口氣，目光中閃爍著睿智的神采，喃喃開聲，隨后便開始準(zhǔn)備煉制符紙和符墨了。<eos> 他的目標(biāo)，就是那三種靈材。<eos> 他之所以會(huì)如此決絕，是因?yàn)槟侨N靈材，一旦出現(xiàn)，就會(huì)引起其他門派覬覦，屆時(shí)恐怕就會(huì)引發(fā)各方勢(shì)力的瘋狂追殺，這對(duì)于他而言并非什么好事，反而是一個(gè)很大的隱患。<eos> 所以，在如今的形勢(shì)下，他必須保持低調(diào)行事...

? 例子2：

輸入：此時(shí)喬峰三處傷口血流如注，抱著阿朱的左手已無(wú)絲毫力氣，一被長(zhǎng)繩卷起，阿朱當(dāng)即滾在地下。眾人但見長(zhǎng)繩彼端是個(gè)黑衣大漢，站在屋頂，身形魁梧，臉蒙黑布，只露出了兩只眼睛。

1. 喬峰當(dāng)即上前扶住阿朱，開口道："阿朱！你沒事吧？" <eos> "沒事的。" <eos> 阿朱虛弱說(shuō)了句話，就再度昏睡過去了，她身旁的喬峰則是滿臉陰沉地看著黑衣大漢。<eos> 此時(shí)他的傷勢(shì)比之方才還要重一分，但因?yàn)橛虚L(zhǎng)繩作為牽引，所以無(wú)需喬峰催動(dòng)靈元，只是憑借強(qiáng)橫的實(shí)力將之拖拽至地下，而后那個(gè)黑衣人帶著阿朱離開了這處小屋子，繼續(xù)在外面游蕩著。<eos> "你們是什么人？" <eos> 喬峰目光冷峻的問道。<eos> 他現(xiàn)在心情十分糟糕。<eos> 他已經(jīng)在此戰(zhàn)斗了數(shù)時(shí)辰了，可是對(duì)方卻始終沒有顯露身份，甚至連自己都不知道自己究竟遇到了何事，這使他很是郁悶，更令他感到憤怒的是對(duì)方居然還能如此鎮(zhèn)定，不僅如此，還能夠輕易的將他們二人重傷至此，這絕非...

2. 眾人見狀皆大吃一驚。<eos> 這黑衣大漢的修為竟然也是三重天之境，且不說(shuō)他能夠以一敵二，單是這修為實(shí)力就非同小可，此時(shí)他們的身旁還有個(gè)小姑娘在旁，她可是喬峰的女人。<eos> "阿朱?。?！" <eos> 喬峰驚叫出聲，雙眼瞪得滾圓，滿臉都是不相信的神色。<eos> 只見阿朱渾身浴血，躺在地上，臉色蒼白如紙，氣若游絲，看來(lái)已經(jīng)受了不輕的傷勢(shì)，這一刻她幾乎是要暈厥過去的，他卻又不能有所作為。<eos> "我沒事，阿朱你先起來(lái)，我們還有話要說(shuō)呢？" <eos> 喬峰將阿朱抱著放下，語(yǔ)氣平穩(wěn)地說(shuō)道。<eos> 而這話語(yǔ)中的意思卻是再明白不過了。<eos> 他現(xiàn)在已經(jīng)知曉了對(duì)方的實(shí)力，這樣的強(qiáng)者自然不會(huì)輕易放掉自己等人，但如果這黑衣大漢真想要?dú)⑺麄?，他必不能如他所愿，這樣一...

3. 眾人皆驚，心中不免有些駭然。<eos> 這黑衣大漢的實(shí)力之強(qiáng)可是超出了他們所有人想象的地步，即便是喬峰都沒辦法輕松應(yīng)對(duì)此人的攻擊了。<eos> "小子，你這是在干什么？！" <eos> 那黑衣大漢見狀不禁冷聲質(zhì)問道。<eos> 喬峰聞言只是嘿然一笑："你們還真當(dāng)自己天下無(wú)敵了嗎？！告訴你們，這里是我的家，而且還是你們這些土著的家。<eos> 現(xiàn)在阿朱已經(jīng)是我的女人了，就是我死了，她也是我的女人。至于你們嘛，哼，我喬峰可不怕你們。" <eos> "放肆！" <eos> 黑衣大漢勃然大怒，"既然你要找上門來(lái)，那老夫就成全你！" <eos> 話落，他一掌拍出。<eos> 霎時(shí)間勁氣如潮水般洶涌而出，直接就朝著喬峰拍去，看樣子是打算先將對(duì)方鎮(zhèn)壓再說(shuō)的。<eos> 這一掌勢(shì)若驚雷，速度極快，就連屋頂都被掌風(fēng)吹...

2. 小說(shuō)轉(zhuǎn)劇本

對(duì)小說(shuō)格式的文本進(jìn)行說(shuō)話人和對(duì)白提取，轉(zhuǎn)換成對(duì)白節(jié)點(diǎn)圖，方便后續(xù)的分析和處理。

? 輸入

? 輸出

3. 劇本情緒分析

對(duì)劇本中的每一句對(duì)白進(jìn)行自動(dòng)情緒分析。

劇情類游戲（RPG、AVG等）的游戲劇本中，往往存在大量的對(duì)話文本。為了準(zhǔn)確把握角色當(dāng)下的情緒，作為游戲中角色做表情或動(dòng)作的基準(zhǔn)，游戲策劃需要通讀整個(gè)劇本后再給每句話打上情緒標(biāo)簽，比較費(fèi)時(shí)費(fèi)力。互娛AI Lab研發(fā)了一套劇本情緒識(shí)別系統(tǒng)，能根據(jù)劇本中角色的對(duì)話自動(dòng)識(shí)別當(dāng)前角色情緒，提高游戲開發(fā)效率。

目前支持normal（無(wú)情緒）、serious（嚴(yán)肅）、happiness（高興）、sadness（悲傷）、fear（恐懼）、embarrassed（尷尬/害羞）、anger（憤怒）、surprise（驚訝）、unhappy（煩躁）、thinking（疑惑/思考)、kidding（捉弄/調(diào)皮）等11種情緒。

4. 跨語(yǔ)言跨說(shuō)話人情緒可控語(yǔ)音合成

通過一定量的情緒語(yǔ)音及跨語(yǔ)言語(yǔ)料來(lái)實(shí)現(xiàn)跨語(yǔ)言跨說(shuō)話人情緒可控的語(yǔ)音合成，通過情緒控制變量來(lái)豐富語(yǔ)音合成結(jié)果的表現(xiàn)力。

5. 嘴型表情動(dòng)畫

通過自動(dòng)的語(yǔ)音-文本對(duì)齊技術(shù)，以及嘴型動(dòng)畫合成技術(shù)，還有情緒+表情生產(chǎn)技術(shù)，一鍵生成豐富的角色表現(xiàn)效果。

五、致謝

感謝Messiah和Montage的劇情編輯器的大力支持，也感謝天下3、夢(mèng)幻西游、明日之后、荒野行動(dòng)等游戲的資源支持。