機(jī)器之心報(bào)道

編輯：Panda W

圖像生成、視頻生成、整合語音合成的人臉動(dòng)畫、生成三維的人物運(yùn)動(dòng)以及 LLM 驅(qū)動(dòng)的工具…… 一切都在這篇文章中。

生成式 AI 已經(jīng)成為互聯(lián)網(wǎng)的一個(gè)重要內(nèi)容來源，現(xiàn)在你能看到 AI 生成的文本、代碼、音頻、圖像以及視頻和動(dòng)畫。今天我們要介紹的文章來自立陶宛博主和動(dòng)畫師 aulerius，其中按層級(jí)介紹和分類了動(dòng)畫領(lǐng)域使用的生成式 AI 技術(shù)，包括簡要介紹、示例、優(yōu)缺點(diǎn)以及相關(guān)工具。

他寫道：「作為一位動(dòng)畫制作者，我希望一年前就有這樣一份資源，那時(shí)候我只能在混亂的互聯(lián)網(wǎng)上自行尋找可能性和不斷出現(xiàn)的進(jìn)展?！?/span>

本文的目標(biāo)讀者是任何對這一領(lǐng)域感興趣的人，尤其是不知如何應(yīng)對 AI 領(lǐng)域新技術(shù)發(fā)展的動(dòng)畫師和創(chuàng)意人士。另需說明，視頻風(fēng)格化雖然也是相關(guān)技術(shù)，但本文基本不會(huì)涉及這方面。

本文的文章結(jié)構(gòu)。

圖像生成

圖像生成技術(shù)是指使用 AI 模型生成圖像的技術(shù)，這些 AI 模型的訓(xùn)練使用了靜態(tài)圖像。

將生成的圖像用作素材

將任意 AI 應(yīng)用生成的靜態(tài)圖像用作 2D 剪貼畫、數(shù)字處理、拼貼等傳統(tǒng)工作流程中的素材，或者用作其它 AI 工具的資源，比如提供給圖像轉(zhuǎn)視頻（image2video）工具來生成視頻。除了作為圖像和素材來源，這類技術(shù)還需依賴剪切和圖像編輯等一些常用技能。

短片《Planets and Robots》中使用了數(shù)字剪貼畫來將生成的 AI 圖像動(dòng)畫化，其中的配音也是使用 LLM 基于腳本生成的。

視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650907887&idx=4&sn=ca30f3fbde94ec74b32d75b638013594&chksm=84e46091b393e987d442c8c414bdb9b76741d60116bee3419f36a3cb5961906e5d33b4ab312b&token=1179435113&lang=zh_CN#rd

優(yōu)點(diǎn)：

• 現(xiàn)有動(dòng)畫師就很容易上手使用
• 可用于生成背景圖

缺點(diǎn)：

• 生成結(jié)果沒有多少「新意」
• 需要?jiǎng)赢嫀焻f(xié)調(diào)處理素材和動(dòng)畫

免費(fèi)工具（任何生成圖像模型或應(yīng)用）：

• Stable Diffusion（SD，運(yùn)行在本地計(jì)算機(jī)上）或這些在線應(yīng)用：Craiyon
• Invokeai （使用了 SD）
• Enfugue （使用了 SD）
• SkyBox AI—— 能生成適用于 VR 的 360 度場景圖

插件和附加組件：

• 在 Blender 中使用的 ComfyUI 節(jié)點(diǎn)
• Krita 上的 Stable Diffusion
• Krita 上的 ComfyUI—— 界面簡單易用，對藝術(shù)家友好

此外，Hugging face space 上還有一些免費(fèi)的演示：https://huggingface.co/spaces

付費(fèi)工具（任何生成圖像模型或應(yīng)用）：

• MidJourney
• Runway
• DALL?E 2
• Adobe 的 FireFly

注：動(dòng)畫制作使用的工具包括 After Effects、Moho、Blender……

逐幀生成圖像

這類技術(shù)是以一種相當(dāng)程度上立足動(dòng)畫根源的精神來使用生成式擴(kuò)散圖像模型，其是以逐幀方式生成動(dòng)作序列，就像是傳統(tǒng)動(dòng)畫制作的繪制再拍攝過程。其中的一大關(guān)鍵是這些模型在生成每張圖像時(shí)沒有時(shí)間或運(yùn)動(dòng)的概念，而是通過某種機(jī)制或各種應(yīng)用或擴(kuò)展來幫助得到某種程度上的動(dòng)畫，從而實(shí)現(xiàn)所謂的「時(shí)間一致性（temporal consistency）」。

這些技術(shù)得到的動(dòng)畫往往會(huì)出現(xiàn)閃爍現(xiàn)象。盡管許多使用這些工具的用戶會(huì)努力清理這些閃爍，但動(dòng)畫師卻會(huì)把這視為一種藝術(shù)形式，稱為 boiling。

這方面最常用的是 Stable Diffusion 等開源模型以及基于它們構(gòu)建的工具。用戶可以使用公開的參數(shù)來配置它們，還可以將它們運(yùn)行在本地計(jì)算機(jī)上。相較之下，MidJourney 工具的模型沒有公開，而且主要是為圖像生成設(shè)計(jì)的，因此無法用來生成逐幀動(dòng)畫。

視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650907887&idx=4&sn=ca30f3fbde94ec74b32d75b638013594&chksm=84e46091b393e987d442c8c414bdb9b76741d60116bee3419f36a3cb5961906e5d33b4ab312b&token=1179435113&lang=zh_CN#rd

動(dòng)畫也可能使用 Stable WarpFusion 來制作，這其中涉及到圖像轉(zhuǎn)圖像的工作流程，通過一些扭變（置換）將底層的視頻輸入變成動(dòng)畫。視頻作者：Sagans。

用逐幀圖像來制作動(dòng)畫通常需要混合使用以下工具：

一步到位的工具（文本轉(zhuǎn)圖像）

有一些新技術(shù)支持直接通過文本 prompt 和參數(shù)調(diào)配來生成動(dòng)畫：

• 參數(shù)插值（變形）

在每張生成的圖像幀上逐漸進(jìn)行參數(shù)插值，以得到過渡動(dòng)畫。這里的參數(shù)可能包括任何與模型相關(guān)的設(shè)定，比如文本 prompt 本身或底層的種子（隱空間游走）。

prompt 編輯法，即通過逐漸改變權(quán)重來創(chuàng)建動(dòng)畫過渡。這里使用了 Depth ControlNet 來保持手部整體形狀的一致性。

• 圖像到圖像（I2I）反饋循環(huán)

通過圖像到圖像技術(shù)，將每張生成的圖像幀作為輸入來生成動(dòng)畫的下一幀。這樣在其它參數(shù)和種子變化時(shí)也可以生成看起來相似的幀序列。這個(gè)過程通常由 Deforum 中的「去噪強(qiáng)度」或「強(qiáng)度調(diào)度」來控制。起始幀可以是已有的圖片。

這是大多數(shù)使用 Stable Diffusion 的動(dòng)畫實(shí)現(xiàn)的一個(gè)核心組件，而 Stable Diffusion 是下列許多應(yīng)用依賴的技術(shù)。這種技術(shù)很難平衡，并且很大程度上取決于使用的采樣器（噪聲調(diào)度器）。

使用一張起始圖像，然后使用一個(gè)稍有不同的 prompt，使其逐幀變化成其它形態(tài)。

• 2D 或 3D 變換（基于 I2I 循環(huán)）

逐漸變換每一幀生成圖像，之后再將其作為 I2I 循環(huán)的輸入。2D 變換對應(yīng)于簡單的平移、旋轉(zhuǎn)和縮放。3D 技術(shù)則會(huì)想象一個(gè)在 3D 空間中移動(dòng)的虛擬相機(jī)，這通常需要估計(jì)每幀生成圖像的 3D 深度，然后根據(jù)想象中的相機(jī)運(yùn)動(dòng)來進(jìn)行變形處理。

想必你已經(jīng)看過這種無限放大的動(dòng)畫。它的視覺效果如此之棒，是因?yàn)槠涫褂昧?SD 來持續(xù)構(gòu)建新細(xì)節(jié)。

• 實(shí)驗(yàn)性、運(yùn)動(dòng)合成、混合等技術(shù)

運(yùn)動(dòng)合成的目標(biāo)是「想象」后續(xù)生成幀之間的運(yùn)動(dòng)流，然后使用這個(gè)運(yùn)動(dòng)流來逐幀執(zhí)行變形處理，從而基于 I2I 循環(huán)注入有機(jī)的運(yùn)動(dòng)。這通常需要依賴在視頻的運(yùn)動(dòng)估計(jì)（光流）上訓(xùn)練的 AI 模型，只不過其關(guān)注的不是后續(xù)視頻幀，而是后續(xù)生成幀（通過 I2I 循環(huán)），或是使用某種混合方法。

其它技術(shù)還包括圖像修復(fù)和變形技術(shù)搭配使用、采用多個(gè)處理步驟或甚至捕獲模型訓(xùn)練過程的快照等先進(jìn)技術(shù)。舉個(gè)例子，Deforum 有很多可供用戶調(diào)控的地方。

使用 SD-CN Animation 制作，其使用了一種在生成幀之間產(chǎn)生幻覺運(yùn)動(dòng)的獨(dú)特方法。起始圖像只是作為起點(diǎn)，沒有其它用途。

變換型技術(shù)（圖像到圖像）：

此外還可以使用某個(gè)來源的輸入來助力生成的幀和所得的動(dòng)畫結(jié)果：

• 混合（風(fēng)格化）—— 混合視頻源或 / 和按條件處理（ControlNets）

這類方法范圍很廣，做法是使用輸入視頻來混合和影響生成的序列。這些輸入視頻通常分為多個(gè)幀，作用通常是風(fēng)格化現(xiàn)實(shí)視頻。在現(xiàn)如今的風(fēng)格化跳舞視頻和表演熱潮中，這類技術(shù)常被用于實(shí)現(xiàn)動(dòng)漫造型和性感體格。但你可以使用任何東西作為輸入，比如你自己動(dòng)畫的粗略一幀或任何雜亂抽象的錄像。在模仿 pixilation 這種定格動(dòng)畫技術(shù)和替換動(dòng)畫技術(shù)方面，這類技術(shù)有廣泛的可能性。

在每一幀，輸入幀要么可以直接與生成圖像混合，然后再輸入回每個(gè) I2I 循環(huán)，要么可以采用更高級(jí)的設(shè)定附加條件的做法，比如 ControlNet。

Deforum 搭配 ControlNet 條件化處理的混合模式，左圖是原視頻。遮掩和背景模糊是分開執(zhí)行的，與這項(xiàng)技術(shù)無關(guān)。

• 光流變形（使用視頻輸入在 I2I 循環(huán)上執(zhí)行）

「光流」是指視頻中估計(jì)的運(yùn)動(dòng)，可通過每一幀上的運(yùn)動(dòng)向量表示，其指示了屏幕空間中每個(gè)像素的運(yùn)動(dòng)情況。當(dāng)估計(jì)出變形工作流程中的源視頻的光流后，就可以根據(jù)它對生成的幀執(zhí)行變形，使得生成的紋理在對象或相機(jī)移動(dòng)時(shí)也能「粘黏」在對象上。

Deforum 的混合模式支持這種技術(shù)搭配各種設(shè)置使用。為了得到閃動(dòng)更少的結(jié)果，也會(huì)增加 cadence，使得變形的效果更好。遮掩和背景模糊是分開執(zhí)行的，與這項(xiàng)技術(shù)無關(guān)。

• 3D 衍變

通過變形工作流程完成的條件處理也可能直接關(guān)聯(lián) 3D 數(shù)據(jù)，這可以跳過一個(gè)可能造成模糊的環(huán)節(jié)，直接在視頻幀上完成處理。

舉個(gè)例子，可以直接通過虛擬 3D 場景提供 openpose 或深度數(shù)據(jù)，而不是通過視頻（或經(jīng)過 CG 渲染的視頻）估計(jì)這些數(shù)據(jù)。這允許采用最模塊化和最可控的 3D 原生方法；尤其是組合了有助于時(shí)間一致性的方法時(shí)，效果更佳。

這可能是現(xiàn)有技術(shù)與用于 VFX 的 AI 技術(shù)之間最有潛力的交叉領(lǐng)域，如下視頻所示：https://youtu.be/lFE8yI4i0Yw?si=-a-GvsaIVPrdaQKm

有一個(gè)廣泛應(yīng)用的工具也使用了該技術(shù)，其可簡化并自動(dòng)化用 Blender 生成直接適用于 ControlNet 的角色圖像的過程。在這個(gè)示例中，ControlNet 使用手部骨架來生成 openpose、深度和法線貼圖圖像，最終得到最右側(cè)的 SD 結(jié)果。（openpose 最終被舍棄了，因?yàn)槭聦?shí)證明它不適用于只有手部的情況。）

將所有這些技術(shù)結(jié)合起來，似乎有無盡的參數(shù)可以調(diào)整動(dòng)畫的生成結(jié)果（就像模塊化的音頻制作）。它要么可以通過關(guān)鍵幀進(jìn)行「調(diào)度」并使用 Parseq 這樣的工具繪制圖形，要么可以與音頻和音樂關(guān)聯(lián)，得到許多隨音頻變化的動(dòng)畫。只需如此，你就能使用 Stable Diffusion 幫你跳舞了。

優(yōu)點(diǎn)：

• 全新且不斷演變的美學(xué)風(fēng)格，這是這種媒體形式特有的。
• 在概念上與傳統(tǒng)的動(dòng)畫技術(shù)有共同點(diǎn)。
• 最容易定制化、最實(shí)用且易于指導(dǎo)。
• 模塊化、分層的方法。

缺點(diǎn)：

• 往往會(huì)有閃動(dòng)問題，有時(shí)候會(huì)顯得很混亂。
• 技術(shù)方面要考慮的東西很多，難以平衡考慮，要想成為高手必須經(jīng)歷陡峭的學(xué)習(xí)曲線。
• 如果沒有性能卓越的本地硬件（英偉達(dá) GPU），就會(huì)很不方便。

免費(fèi)工具：

可在 A1111 webui 中使用的工具：

• 用于參數(shù)插值動(dòng)畫（travel）的小腳本：步驟（https://github.com/vladmandic/sd-extension-steps-animation） 、prompt（https://github.com/Kahsolt/stable-diffusion-webui-prompt-travel ）、種子（https://github.com/yownas/seed_travel）。
• Deforum—— 能夠滿足各種動(dòng)畫 SD 需求的最佳工房，整合了上面大多數(shù)技術(shù)。
• Parseq—— 用于 Deforum 的常用視覺參數(shù)排序工具。
• Deforum timeline helper—— 另一款參數(shù)可視化和調(diào)度工具。
• Deforumation—— 用于實(shí)時(shí)控制 Deforum 參數(shù)的 GUI，支持反應(yīng)性調(diào)整和控制。
• TemporalKit—— 采用了 EBsynth 的一些原則，可與 SD 搭配使用實(shí)現(xiàn)一致的視頻風(fēng)格化。
• SD-CN Animation—— 這多少還是個(gè)實(shí)驗(yàn)性工具，支持一些混合風(fēng)格化工作流程，也支持有趣的光流運(yùn)動(dòng)合成（這會(huì)導(dǎo)致運(yùn)動(dòng)抖動(dòng)）。
• TemporalNet——ControlNet 模型可以用在 Deforum 等其它工作流程中，目標(biāo)是提升時(shí)間一致性。Python 筆記本（需要在 Google Colab 或 Jupyter 上運(yùn)行）。
• Stable WarpFusion —— 實(shí)驗(yàn)性的代碼工具包，目標(biāo)是執(zhí)行高級(jí)的視頻風(fēng)格化和動(dòng)畫。與 Deforum 有很多一樣的功能。

插件和附加組件：

• 用于 Blender 的 Dream Textures
• Stabiliy AI 的 Blender 插件
• 看起來像用于 Blender 的 Openpose 的角色骨架 —— 可在 Blender 之外使用 ControlNet
• 用于虛幻引擎 5 的 Unreal Diffusion
• 用于 After Effects 的 After-Diffusion（目前還在開發(fā)中）
• 用于 TouchDesigner 的 A1111 或 ComfyUI API—— 如果你知道如何操作，那么這可用于執(zhí)行動(dòng)畫等各種任務(wù)

付費(fèi)工具：

（通常也依賴于 SD，但運(yùn)行在「云」上，用起來也更簡單）：

• Stability AI 的動(dòng)畫 API
• Kaiber 的 Flipbook 模式 —— 按照描述，基于 Deforum 代碼

插件和附加組件：

• 用于 After Effects 的 Diffusae

市面上還有許多應(yīng)用和工具，但如果是付費(fèi)工具，多半是基于開源的 Deforum 代碼。

注：最好的情況是你有足夠的優(yōu)良硬件（即 GPU）在本地運(yùn)行這些工具。如果沒有，你也可以嘗試運(yùn)行在遠(yuǎn)程計(jì)算機(jī)上的、功能有限的免費(fèi)服務(wù)，比如 Google Colab。不過，Google Colab 上的筆記本也可以運(yùn)行在本地硬件上。

視頻生成技術(shù)

這類技術(shù)使用在運(yùn)動(dòng)視頻上訓(xùn)練的視頻生成 AI 模型，另外可以在神經(jīng)網(wǎng)絡(luò)層面上使用時(shí)間壓縮來增強(qiáng)。

目前，這些模型有一個(gè)共同特征是它們僅能處理時(shí)間很短的視頻片段（幾秒），并受到 GPU 上可用視頻內(nèi)存的限制。但是，這方面的發(fā)展速度很快，并且可以用一些方法將多個(gè)生成結(jié)果拼接成更長的視頻。

視頻生成模型

這是指使用從頭構(gòu)建和訓(xùn)練的模型來處理視頻。

現(xiàn)今的這類模型得到的結(jié)果往往晃動(dòng)很大、有明顯的 AI 痕跡、顯得古怪。就像是很久之前生成圖像的 AI 模型一樣。這個(gè)領(lǐng)域的發(fā)展落后一些，但進(jìn)展很快，我個(gè)人認(rèn)為在靜態(tài)圖像生成上取得的進(jìn)展并不會(huì)同等比例地在視頻生成方面重現(xiàn)，因?yàn)橐曨l生成的難度要大得多。

Paul Trillo 使用 Runway 的 Gen-2，僅通過圖像和文本 prompt 讓 AI 生成的視頻。

視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650907887&idx=4&sn=ca30f3fbde94ec74b32d75b638013594&chksm=84e46091b393e987d442c8c414bdb9b76741d60116bee3419f36a3cb5961906e5d33b4ab312b&token=1179435113&lang=zh_CN#rd

我認(rèn)為在這方面，動(dòng)畫和傳統(tǒng)電影之間的界限很模糊。只要其結(jié)果還與現(xiàn)實(shí)有差異，那么我們就可以在一定程度上把它們看作是動(dòng)畫和視頻藝術(shù)的一種怪異新流派。就目前而言，我認(rèn)為大家還是別想著用這類技術(shù)做真實(shí)風(fēng)格的電影了，只把它視為一種新形式的實(shí)驗(yàn)媒體即可。玩得開心哦！

一步到位的工具（文本轉(zhuǎn)視頻）：使用文本 prompt 生成全新的視頻片段

理論上講，這類技術(shù)有無限可能性 —— 只要你能將其描述出來（就像靜態(tài)圖像生成那樣），就可能將其用于直播表演或生成任何超現(xiàn)實(shí)和風(fēng)格化的內(nèi)容。但從實(shí)踐角度看，為了訓(xùn)練視頻模型，收集多樣化和足夠大的數(shù)據(jù)集要難得多，因此僅靠文本來設(shè)定生成條件，很難用這些模型實(shí)現(xiàn)利基（niche）的美學(xué)風(fēng)格。

使用這種方法，只能很寬松地控制創(chuàng)意工作。當(dāng)與圖像或視頻條件化處理（即變形工作流程）組合使用時(shí)，這種技術(shù)就會(huì)強(qiáng)大得多。

Kyle Wiggers 做的動(dòng)畫生成測試，使用了 Runway 的 Gen-2

變形：使用文本 prompt，再根據(jù)已有的圖像或視頻進(jìn)行進(jìn)一步的條件化處理

• 圖像到視頻生成

很多視頻生成工具都能讓你以圖像為條件生成視頻。其做法可以是完全從你指定的圖像開始生成，也可以將指定圖像用作語義信息、構(gòu)圖和顏色的粗略參考。

人們經(jīng)常會(huì)使用傳統(tǒng)的靜態(tài)圖像模型生成起始圖像，然后再將其輸入視頻模型。

這里生成的每一段視頻都是使用一張唱片封面作為起始圖像，作者：Stable Reel

視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650907887&idx=4&sn=ca30f3fbde94ec74b32d75b638013594&chksm=84e46091b393e987d442c8c414bdb9b76741d60116bee3419f36a3cb5961906e5d33b4ab312b&token=1179435113&lang=zh_CN#rd

• 視頻到視頻生成

類似于圖像生成模型中的圖像到圖像過程，也有可能將輸入視頻的信息嵌入到視頻模型中，再加上文本 prompt，讓其生成（去噪）輸出。

我并不理解這其中的具體過程，但似乎這個(gè)過程不僅能在逐幀層面上匹配輸入視頻片段（如同使用 Stable Diffusion 進(jìn)行風(fēng)格化處理），而且能在整體和運(yùn)動(dòng)層面上匹配。和圖像到圖像生成過程一樣，這個(gè)過程受去噪強(qiáng)度控制。

如果運(yùn)氣好并且有合適的 prompt，你也可以輸入視頻來「啟發(fā)」模型重新想象源視頻中的運(yùn)動(dòng)，并以完全不同的形式將其呈現(xiàn)出來。使用 webui txt2vid 中的 Zeroscope 完成，使用了 vid2vid 模式。

優(yōu)點(diǎn)：

• 這類技術(shù)具有最大的可能性，并且會(huì)隨時(shí)間不斷改進(jìn)。
• 在專業(yè)動(dòng)畫知識(shí)方面沒有進(jìn)入門檻。
• 相比于逐幀的技術(shù)，這類技術(shù)的結(jié)果往往更加平滑，通常也更為一致。
• 對于「變形」工作流程而言，這可能是比逐幀方法更簡單直接的方法。

缺點(diǎn)：

• 得到的結(jié)果通常顯得離奇怪異，一看就是 AI 生成的，而且這種情況比靜態(tài)圖像嚴(yán)重多了。在涉及人的仿真實(shí)影像方面尤其明顯。
• 計(jì)算成本高。相比于圖像 AI，更難以在本地硬件上運(yùn)行。
• 存在視頻時(shí)長短和上下文短等限制（目前而言）。

免費(fèi)工具：

• Stable Video (SVD)—— 來自 StabilityAI 的開源視頻擴(kuò)散模型。目前很多托管式應(yīng)用和工具都在快速部署實(shí)現(xiàn)該模型。
• SVD ComfyUI 實(shí)現(xiàn)
• SVD 時(shí)間 ControlNet
• MotionCtrl—— 經(jīng)過增強(qiáng)，允許在各種視頻模型中控制目標(biāo)運(yùn)動(dòng)和攝像機(jī)軌跡。
• Emu Video——Meta 的視頻生成模型的預(yù)覽演示。
• A1111 webui 的文本轉(zhuǎn)視頻插件，可搭配以下模型使用（如果你的硬件足夠）：
• VideoCrafter
• Zeroscope

插件和附加組件：

• 用于 Blender 的 Pallaidium—— 一個(gè)多功能工具包，包含跨圖像、視頻甚至音頻領(lǐng)域的生成功能。
• 此外，你還能在 Hugging face space 上找到一些免費(fèi)演示。

付費(fèi)工具（有試用版）：

• Runway 的 Gen2
• Kaiber 的 Motion 模式
• Pika labs（受限 beta 版）

注：最好的情況是你有足夠的優(yōu)良硬件（即 GPU）在本地運(yùn)行這些工具。如果沒有，你也可以嘗試運(yùn)行在遠(yuǎn)程計(jì)算機(jī)上的、功能有限的免費(fèi)服務(wù)，比如 Google Colab，不過大多數(shù)免費(fèi)或試用服務(wù)的功能都有限。

使用運(yùn)動(dòng)壓縮增強(qiáng)的圖像模型

隨著 AnimateDiff 的日益流行，出現(xiàn)了一個(gè)使用視頻或「運(yùn)動(dòng)」壓縮來增強(qiáng)已有圖像擴(kuò)散模型的新興領(lǐng)域。相比于使用逐幀技術(shù)生成的結(jié)果，其生成的結(jié)果更相近于原生視頻模型（如上面介紹的）。這種技術(shù)的優(yōu)勢是你還可以使用為 Stable Diffusion 等圖像模型構(gòu)建的工具，如社區(qū)創(chuàng)建的任何檢查點(diǎn)模型、LoRA、ControlNet 以及其它條件化處理工具。

你甚至有可能通過 ControlNet 提供視頻條件化處理，就像是使用逐幀技術(shù)一樣。社區(qū)仍在積極實(shí)驗(yàn)這一技術(shù)?？捎玫募夹g(shù)有的來自靜態(tài)圖像模型（比如 prompt 遍歷），也有的來自視頻原生模型。

如下視頻為使用 ComfyUI 中 AnimateDiff 完成的動(dòng)畫，過程使用了多個(gè)不同的 prompt 主題。

視頻鏈接：https://www.instagram.com/p/Cx-iecPusza/?utm_source=ig_embed&utm_campaign=embed_video_watch_again

這種技術(shù)中的運(yùn)動(dòng)本身通常非常原始，只是在視頻片段中松散地插入對象和流，這往往會(huì)將事物變形成其它模樣。不過，這種技術(shù)有更好的時(shí)間一致性，而且仍處于起步階段。當(dāng)場景很抽象，沒有具體物體時(shí)，這種方法能得到最好的結(jié)果。

優(yōu)點(diǎn)：

• 可以受益于現(xiàn)有圖像擴(kuò)散模型的進(jìn)展。
• 可以通過去噪或使用 ControlNet 用視頻來進(jìn)行條件化處理。
• 處理抽象、流運(yùn)動(dòng)效果很好。

缺點(diǎn)：

• 難以為人物或不常見的物體產(chǎn)生復(fù)雜、連貫一致的運(yùn)動(dòng)，反而常出現(xiàn)變形問題。
• 和視頻原生模型一樣，計(jì)算成本高。相比于圖像 AI，更難以在本地硬件上運(yùn)行。
• 受限于較短的上下文窗口（目前而言），但也有一些人正在實(shí)驗(yàn)解決方案。

免費(fèi)工具：

目前，AnimateDiff (SD v1.5) 的實(shí)現(xiàn)一馬當(dāng)先：

• 用于 AnimateDiff 的 A1111 webui 插件
• ComfyUI 中 AnimateDiff 實(shí)現(xiàn)
• VisionCrafter—— 一個(gè)用于 AnimateDiff 實(shí)現(xiàn)等項(xiàng)目的 GUI 工具
• 用于 SD XL：Hotshot-XL
• 多功能實(shí)現(xiàn)：Enfugue

付費(fèi)工具：

• 目前好像沒有

整合語音合成的人臉動(dòng)畫

大家都知道，這是一個(gè)流行迷因背后的技術(shù)。你可能看過一個(gè)相對靜止的人物（相機(jī)可能在移動(dòng)）只有臉動(dòng)著說話，這多半是用到了 AI 人臉動(dòng)畫化和語音合成工具的組合方法。

這其中組合了多個(gè)技術(shù)步驟和組件。其源圖像多半是使用圖像生成 AI 制作的，但也可以使用任何帶有人臉的圖像。語音是根據(jù)文本生成的，并根據(jù)所選任務(wù)的音色進(jìn)行了條件化處理。然后再使用另一個(gè)工具（或工具包中的某個(gè)模型）合成與音頻唇形同步的人臉動(dòng)畫 —— 通常只生成圖像中臉部和頭部區(qū)域的運(yùn)動(dòng)。使用預(yù)訓(xùn)練的數(shù)字化身也能讓身體動(dòng)起來。

視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650907887&idx=4&sn=ca30f3fbde94ec74b32d75b638013594&chksm=84e46091b393e987d442c8c414bdb9b76741d60116bee3419f36a3cb5961906e5d33b4ab312b&token=1179435113&lang=zh_CN#rd

在發(fā)布熱門的 Belenciaga 視頻之前，作者 demonflyingfox 就已經(jīng)發(fā)布了一篇分步教程：https://youtu.be/rDp_8lPUbWY?si=BWNKe7-KTJpCrNjF

優(yōu)點(diǎn)：

• 可用于輕松制作迷因動(dòng)圖。
• …… 呃，有喜劇效果？

缺點(diǎn)：

• 通常看起來不自然。我還想不出這能有什么實(shí)際用途。
• 過于依賴付費(fèi)應(yīng)用提供的閉源人臉動(dòng)畫工具。
• 即使你使用自己的錄像來訓(xùn)練數(shù)字化身，得到的結(jié)果也過于呆板，動(dòng)態(tài)效果很差。

免費(fèi)工具：

• ElevenLabs—— 有使用次數(shù)限制，但次數(shù)似乎每個(gè)月都會(huì)刷新。
• A1111 WebUI 的 Wav2Lip 插件 —— 用于生成唇形同步動(dòng)畫的工具?？雌饋韮H限于嘴部區(qū)域。

你也可以在網(wǎng)上直接搜索文本轉(zhuǎn)語音服務(wù)，不可勝計(jì)，但效果多半趕不上 ElevenLabs。

至于全臉動(dòng)畫化，就我所知，目前僅有一些付費(fèi)應(yīng)用提供了試用版，而且使用很受限。

付費(fèi)工具（有試用版）：

人臉動(dòng)畫制作（通常會(huì)搭配語音合成）：

• D-ID
• Heygen
• Synesthesia

搜索「D-ID 替代品」就能找到很多。

生成三維的人物運(yùn)動(dòng)

這是指為 3D 人物合成運(yùn)動(dòng)的技術(shù)。這類技術(shù)可以應(yīng)用于 3D 動(dòng)畫電影、視頻游戲或其它 3D 交互應(yīng)用。正如圖像和視頻領(lǐng)域一樣，新興的 AI 工具讓人可通過文本來描述人物的運(yùn)動(dòng)。此外，一些工具還能根據(jù)很少的關(guān)鍵姿勢來構(gòu)建運(yùn)動(dòng)或者在交互環(huán)境中實(shí)時(shí)動(dòng)態(tài)地生成動(dòng)畫。

視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650907887&idx=4&sn=ca30f3fbde94ec74b32d75b638013594&chksm=84e46091b393e987d442c8c414bdb9b76741d60116bee3419f36a3cb5961906e5d33b4ab312b&token=1179435113&lang=zh_CN#rd

Nikita 的充滿天才巧思的元人工智能電影預(yù)告片，其中將 AI 的運(yùn)動(dòng)學(xué)習(xí)過程展現(xiàn)成了一部滑稽幽默的有趣短片。

由于本文的關(guān)注重點(diǎn)是生成工具，因此沒有包含自動(dòng)化某些非創(chuàng)意任務(wù)的 AI 應(yīng)用，比如 AI 驅(qū)動(dòng)的運(yùn)動(dòng)跟蹤、合成、打碼等，例子包括 Move.ai 和 Wonder Dynamics。

優(yōu)點(diǎn)：

• 能整合進(jìn)現(xiàn)有的 3D 動(dòng)畫制作流程中，可減少重復(fù)性任務(wù)，有望成為動(dòng)畫老手的好幫手。
• 能很好地處理物理效果和重量。
• 在未來的視頻游戲中實(shí)現(xiàn)動(dòng)態(tài)的人物動(dòng)畫？

缺點(diǎn)：

• 似乎受限于人類形態(tài)的雙足式人物。
• 還需要其它工具輔助。只是 3D 動(dòng)畫制作流程的一個(gè)組件。你需要知道接下來該做什么。
• 訓(xùn)練過程通常基于人類運(yùn)動(dòng)數(shù)據(jù)，這意味著到目前為止這些工具只能實(shí)現(xiàn)基于真實(shí)物理效果的運(yùn)動(dòng)，無法實(shí)現(xiàn)風(fēng)格化或卡通中的運(yùn)動(dòng)機(jī)制。

免費(fèi)工具（或可免費(fèi)使用部分功能的服務(wù)）：

• Mootion
• Omni Animation
• Cascadeur—— 動(dòng)畫制作助理，可以根據(jù)最小化的輸入創(chuàng)建平滑的、基于物理機(jī)制的動(dòng)畫和姿勢?？煽匦愿?，可能會(huì)成為未來一個(gè)主力工具。
• ComfyUI 中的 MDM、MotionDiffuse 和 ReMoDiffuse 實(shí)現(xiàn)。

付費(fèi)工具：

• 免費(fèi)工具的付費(fèi)套餐會(huì)提供更多功能，使用限制也更少。

LLM 驅(qū)動(dòng)的工具

從理論上講，由于大型語言模型（LLM）在編程任務(wù)上表現(xiàn)出色，尤其是經(jīng)過微調(diào)之后，那么我們就可以在制作動(dòng)畫的軟件中讓其編程和編寫腳本。這就意味著按照常規(guī)工作流程制作動(dòng)畫時(shí)，能讓 AI 從頭到尾一直輔助。極端情況下，AI 能幫你完成一切工作，同時(shí)還能為后端流程分配適當(dāng)?shù)娜蝿?wù)。

在實(shí)踐中，你也能嘗試這么做了！舉個(gè)例子，Blender 配備了非常廣泛的 Python API，允許通過代碼操作該工具，因此現(xiàn)在已經(jīng)有幾個(gè)類似 ChatGPT 的輔助工具可用了。這個(gè)趨勢不可避免。只要有代碼，LLM 多半就會(huì)有用武之地。

優(yōu)點(diǎn)：

• 潛力 —— 最終突破創(chuàng)意工作者面臨的任何技術(shù)障礙。
• 可用作創(chuàng)意軟件的助理，消除繁瑣重復(fù)的任務(wù)，幫你深度挖掘文檔內(nèi)容。

缺點(diǎn)：

• 如果 AI 能幫你創(chuàng)造一切，那么成為創(chuàng)意工作者還有什么意義？
• 目前，LLM 只能運(yùn)行在強(qiáng)大的遠(yuǎn)程計(jì)算機(jī)上，通常是按 token 數(shù)收費(fèi)或采用訂閱制。

免費(fèi)工具：

• Blender Chat Companion——（類似于 Blender Copilot）Blender 中的一個(gè) ChatGPT 實(shí)現(xiàn)，專用于處理適當(dāng)?shù)娜蝿?wù)。使用了 ChatGPT API，這需要付費(fèi)。

付費(fèi)工具：

• Genmo—— 承諾會(huì)實(shí)現(xiàn)「創(chuàng)意通用智能」，采用了多步過程并且全都可以通過聊天界面控制。
• Blender Copilot——（類似于 Blender Chat Companion）Blender 中的一個(gè) ChatGPT 實(shí)現(xiàn)，專用于處理適當(dāng)?shù)娜蝿?wù)。使用了 ChatGPT API，這需要付費(fèi)。

注：還有一個(gè)即將推出的 ChatUSD—— 這是一個(gè)可以操作和管理 USD 的聊天機(jī)器人，這是由皮克斯最初創(chuàng)建的標(biāo)準(zhǔn)，用以統(tǒng)一和簡化動(dòng)畫電影制作中的 3D 數(shù)據(jù)交換和并行化。目前沒有更多相關(guān)消息了，但英偉達(dá)似乎很歡迎這項(xiàng)標(biāo)準(zhǔn)并在推動(dòng)其成為各種 3D 內(nèi)容的標(biāo)準(zhǔn)，而不只是電影。

終于完結(jié)了！內(nèi)容很多，但我多半還是遺漏了一些東西。你覺得還有什么內(nèi)容有待補(bǔ)充或還有什么相關(guān)工具值得提及，請?jiān)谠u論區(qū)與我們分享。

原文鏈接：https://diffusionpilot.blogspot.com/2023/09/overview-ai-animation.html#id_generative_video_models