4 月 3 日，藍(lán)光加長全網(wǎng)最完整版《指環(huán)王》三部曲在 Bilibili 上線。時隔 18 年，這部帶有龐大世界觀與史詩格調(diào)的經(jīng)典科幻電影再次重回大家視野。但即使現(xiàn)在回看，這部巨作的拍攝手法與特效質(zhì)量仍未過時，仍能充分讓觀眾感受到各場大戰(zhàn)場面的壯闊感，感嘆背后特效公司水平之高超，再次重溫后也無比激動。這也激起了我們對于 AI 時代下數(shù)字特效技術(shù)將為我們帶來更多新驚喜的憧憬。

作者 | 申一帆、樊曉芳
隨著全球影視產(chǎn)業(yè)逐步走向工業(yè)化、規(guī)?；彤a(chǎn)業(yè)化，我們陸續(xù)看到《阿麗塔：戰(zhàn)斗天使》、《盜夢空間》、《流浪地球》、《阿凡達(dá)》、《復(fù)仇者聯(lián)盟》等科幻電影因震撼的視聽感受、新穎的電影題材獲得票房、口碑雙收?，F(xiàn)今特效技術(shù)已被廣泛應(yīng)用于各類電影動畫中，工業(yè)光魔、Weta 等世界頂級視覺特效公司及大型影視制作團(tuán)隊，都已嘗試使用計算機(jī)圖形圖像技術(shù)（CGI）輔助制作一些高呈現(xiàn)難度的數(shù)字特效。CGI 讓影視特效創(chuàng)作得到技術(shù)保障，讓有視野與高度的藝術(shù)創(chuàng)作可以盡情發(fā)揮，也讓各類本身具有新穎主題和宏大世界觀的影視作品或游戲的美學(xué)屬性得到更大程度的表達(dá)與傳遞。

「指環(huán)王 2：雙塔奇兵」最后圣盔谷之戰(zhàn)甘道夫率洛汗援軍沖下大斜坡與獸人士兵正面交鋒場面數(shù)字特效的發(fā)展史可以看作是電影制作的技術(shù)發(fā)展史，在電影剛剛出現(xiàn)的那幾年，任何的視覺效果都是局限在相機(jī)內(nèi)完成的工作，例如替換鏡頭，或簡單的幀分割技術(shù)。1896 年，法國著名魔術(shù)師及電影制片人、數(shù)字特效鼻祖、科幻電影先驅(qū)喬治·梅里埃偶然發(fā)明了一種電影特效技術(shù)——停機(jī)再拍，仿佛可以通過控制攝像機(jī)來操控并改造畫面中的「現(xiàn)實」。隨后其創(chuàng)造的兩部畫面光怪陸離、劇情近乎夢幻的電影——「月球旅行記」與「奇幻旅程」，也作為科幻電影的坐標(biāo)原點，開啟了人類對超現(xiàn)實主題電影與特效制作的無盡想象。

「月球旅行記」電影宣傳封面圖進(jìn)入 50 年代后，隨著計算機(jī)技術(shù)的發(fā)展，特效的制作也開始借助計算機(jī)圖形學(xué)的知識，用電腦來生成圖像（CGI），這種技術(shù)到 70 年代后逐漸成熟，出現(xiàn)了像《星球大戰(zhàn)》這樣的經(jīng)典特效電影。1985 年，迪士尼公司創(chuàng)造了第一個使用電腦繪制的動畫角色——年輕的夏洛克·霍姆斯的彩色玻璃人。20 年之后，《指環(huán)王》和《阿凡達(dá)》的成功掀起了一場技術(shù)革命，數(shù)字虛擬角色的制作在電影當(dāng)中開始靠動作捕捉技術(shù)來制作。隨著計算機(jī)技術(shù)的不斷發(fā)展，特效的制作開始走向數(shù)字化，從傳統(tǒng)的機(jī)內(nèi)特效，特效化妝，光學(xué)洗印等物理特效手段發(fā)展至到現(xiàn)在的數(shù)字合成、數(shù)字繪景、流體動力學(xué)等電腦生成圖像。同時，隨著數(shù)據(jù)分析、計算機(jī)視覺、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等數(shù)據(jù)智能技術(shù)的不斷應(yīng)用，提升了數(shù)字特效的自動化處理和分析的水平，賦予了數(shù)字特效更多的智能化屬性，進(jìn)一步減輕了特效工作人員繁瑣的工作，降低了人力成本和時間成本。

《阿凡達(dá)》實地拍攝場面與虛擬攝像機(jī)實時預(yù)覽畫面對比機(jī)器之心希望通過本報告《世界頂級電影特效公司都在讓 AI「接管」特效制作——數(shù)字特效中人工智能技術(shù)的應(yīng)用現(xiàn)狀及趨勢展望》，介紹現(xiàn)有機(jī)器學(xué)習(xí)算法在數(shù)字特效中的應(yīng)用現(xiàn)狀、未來技術(shù)發(fā)展及落地應(yīng)用趨勢，幫助做機(jī)器學(xué)習(xí)、影視制作等相關(guān)的特效制作人員、特效團(tuán)隊、視效總監(jiān)、電影導(dǎo)演，尋找機(jī)器學(xué)習(xí)技術(shù)應(yīng)用的可行性，以及為新型影視的制作策略和特效技術(shù)開發(fā)提供參考。

報告目錄

部分應(yīng)用案例

4.1《復(fù)仇者聯(lián)盟 3》使用新的機(jī)器學(xué)習(xí)算法來推進(jìn)人物角色面部表情捕捉過程

滅霸在《復(fù)仇者聯(lián)盟》中承擔(dān)重要的角色，特效團(tuán)隊對他的定位是一個龐大而憤怒的角色，但是又同時充滿感情。所以，特效團(tuán)隊更希望花心思捕捉到演員表情的微妙方面，特別是他的表情變化。負(fù)責(zé)制作滅霸的特效公司 Digital Domain 使用了一種名為假面舞會（Masquerade）的定制機(jī)器學(xué)習(xí)軟件，使動作捕捉性能看起來更自然。

首先，他們使用動作捕捉技術(shù)在演員 Brolin 的臉上放置 100 到 150 個跟蹤點，用兩個垂直方向的高清攝像頭捕獲這些跟蹤點數(shù)據(jù)。和傳統(tǒng)的動作捕捉不同，這是一個相當(dāng)?shù)唾|(zhì)量的渲染，采用低分辨率網(wǎng)絡(luò)可以讓機(jī)器學(xué)習(xí)算法判斷哪種高分辨率的形狀將會是針對該鏡頭的最佳解決方案。得到電腦生成的方案后，制作人員會對效果不好的鏡頭在建模中進(jìn)行調(diào)整。如果需要滅霸的眉毛或者嘴唇更高，他們會將這些調(diào)整的數(shù)據(jù)反饋給基于機(jī)器學(xué)習(xí)的人工智能系統(tǒng)，系統(tǒng)會根據(jù)這些數(shù)據(jù)進(jìn)行學(xué)習(xí)，逐步制作出符合特效團(tuán)隊設(shè)想的滅霸。

接下來是一個稱為「直接驅(qū)動」的過程。它采用高分辨率面罩，置于滅霸的角色模型上。然后會經(jīng)歷一個和上文類似的過程，用于滅霸的表情制作。如果他的表情沒有表現(xiàn)的「更加驚訝」或者「感到難過」，就會針對性的做一些調(diào)整，慢慢「教會」基于機(jī)器學(xué)習(xí)算法的人工智能系統(tǒng)自動調(diào)節(jié)滅霸的表情。通過不斷的調(diào)整和反饋，在下一次將相同的數(shù)據(jù)輸入到「直接驅(qū)動系統(tǒng)」當(dāng)中的時候，將得到更加準(zhǔn)確和符合團(tuán)隊期望的結(jié)果。

導(dǎo)演 Joe 和 Anthony Russo 將演員帶入動作捕捉頭盔并且測試他的部分線條，試圖嘗試不同的線路以及如何在調(diào)試到最接近預(yù)想的滅霸形態(tài)的時候?qū)⑵浔４嫦聛怼Ｊ褂眠@些線條能夠捕捉到他臉上幾乎難以察覺的動作和神情。在捕捉到他的眼睛和臉頰上細(xì)微的動作之后，我們可以清晰的看出來他對失去 Gamora 的沮喪或悲傷，以及他對 Tony 的憤怒。這種技術(shù)上的革命使得 CG 效果在真實感和數(shù)字虛擬人物的性格表達(dá)上更上一層。

4.4《指環(huán)王:護(hù)戒使者》使用群體模擬系統(tǒng)制作大規(guī)模群體數(shù)字士兵及萬人打斗場面Weta Digital 公司負(fù)責(zé)電影《指環(huán)王：護(hù)戒使者》的 Massive 角色創(chuàng)建，為此篇的序幕制作了一個多達(dá)十幾萬精靈、人類以及其他生物組成的聯(lián)盟軍與黑暗魔君索隆的妖魔大軍的混戰(zhàn)場面。Weta Digital 公司使用了 Massive (Multiple Agent Simulation System in Virtual Environment )「虛擬環(huán)境群體模擬系統(tǒng)」一種計算機(jī)人工智能動畫制作軟件，創(chuàng)建了戰(zhàn)斗場景中的 70，000 余個人工智能角色，并使每一個 Massive 角色都擁有自己的「大腦」。Massive 是由軟件開發(fā)師、群體模擬人的總監(jiān)史迪芬 · 瑞杰勒斯 (Stephen Regelous) 用了五年時間開發(fā)出來并逐漸完善的大型群組動畫軟件，并因此榮獲 2003 年奧斯卡科學(xué)與工程獎。原始模擬人的動作是由動作采集器 (Motion Capture) 獲得的, 動作采集小組為序曲戰(zhàn)斗中的士兵們設(shè)計了跑、襲擊、刺殺、倒下、死去等動作。當(dāng)把這些動作數(shù)據(jù)輸入到智能模擬人的大腦中之后，模擬人們就會自動地逐項篩選以選擇適合于他的動作。導(dǎo)演彼得·杰克遜在序幕戰(zhàn)役場景中安排 了 5 萬到 10 萬人的戰(zhàn)爭場面, 10 多萬人的動畫調(diào)試工程量非常的大，即使利用先進(jìn)的「動作采集器」( Motion Capture) 的動作捕捉技術(shù)可以獲得真正的人物動作，但也無法真正地實現(xiàn)數(shù)十萬個數(shù)字人之間真實的互動對抗、拼殺撕打，并且很難讓千千萬萬的不同個體人在特征上與動作上產(chǎn)生千變?nèi)f化的差異。為此，12 位動畫工程師用 Maya 為主要的生物設(shè)置了關(guān)鍵幀動畫，動畫部門用 Massive 程序也為數(shù)字特技替身演員（Digital Doubles）、半獸人（咕魯）和一些基本的運動編輯了動作，并制作動作庫使角色大腦和身體的動作庫多樣化。該動作庫的準(zhǔn)備工作花了 2 年時間。同時，也因為角色是由帶有物理特性的原模型創(chuàng)建的，考慮到要物理模擬，Massive 程序帶有固體動力學(xué)（Rigid Body Dynamics），這樣能使打斗的武士落在粗糙的地面上。由于這部影片的目的就是要使每個角色（武士、妖精、數(shù)字特技替身演員）的外表和動作都與眾不同，所以，Massive 的工作人員為每一類角色都設(shè)計了多種多樣的工具、服裝和皮膚顏色。工作人員首先列出每一類型的角色，然后給他們設(shè)置特定的動作，例如武士，他們要擊打、側(cè)跨臺階、把武器向后拉并且阻擋（對方），這些動作要有變化，因為角色會出現(xiàn)在不同的環(huán)境中，這就意味著需要捕捉好幾百個動作。Massive 軟件能非常容易的產(chǎn)生變量，從而來改變幾何體或特性。每個角色都有許多變量，他的靴子上可以滿是泥濘，或者他又是非常好斗的，Massive 可以改變骨骼的比例、shader 參數(shù)和腦部變量。一般要為每一類型的角色捕捉 150 到 350 個動作。Massive 程序帶有一個動畫混合引擎，在角色飛行中它能修改動作，例如，讓角色瞄準(zhǔn)武器，或拽住另外的角色。角色們能用反向運動學(xué)控制他們的四肢。角色的大腦是用模塊（輸入輸出節(jié)點、控制節(jié)點和模糊邏輯節(jié)點的網(wǎng)絡(luò)）來創(chuàng)建的；通常，大腦有 6000 到 8000 個這樣的節(jié)點。角色們能"看見"渲染他們周圍的圖像的掃描線，"聽見"聲音的頻率，并確定他們所處的位置，然后做出與人類相似的反應(yīng)。每個角色都有一個特殊的大腦，因此他能做出獨特的反應(yīng)。他們做出反應(yīng)的速度是每秒 24 幀。工作人員用 Massive 來處理影片中數(shù)千個武士——一旦從戰(zhàn)場上出發(fā)，角色們就會鎖定目標(biāo)（敵人），然后開始「交戰(zhàn)」。

報告如何獲取？

本報告《世界頂級電影特效公司都在讓 AI「接管」特效制作——數(shù)字特效中人工智能技術(shù)的應(yīng)用現(xiàn)狀及趨勢展望》是機(jī)器之心產(chǎn)業(yè)研究團(tuán)隊推出的《「智周」人工智能技術(shù)應(yīng)用報告系列》之一。本系列報告全部被收錄于

人工智能領(lǐng)域?qū)I(yè)信息及數(shù)據(jù)平臺「機(jī)器之心Pro」。

訪問「機(jī)器之心Pro」，認(rèn)證成為專業(yè)用戶，即可免費獲取報告。
pro.jiqizhixin.comPC訪問，體驗更佳