本報(bào)記者 黃蘭嵐 崔瑾玥 本報(bào)特約記者 任 重
編者的話： 近日，彭博社援引知情人士消息稱，人工智能（AI）初創(chuàng)公司OpenAI正與好萊塢的電影公司、媒體高管和人才機(jī)構(gòu)接觸，鼓勵(lì)電影制作人將其文生視頻工具Sora整合到影視工作中。Sora發(fā)布于今年2月，僅基于文字，就可直接生成長達(dá)60秒“一鏡到底”的視頻。這一“革命性”創(chuàng)新將給行業(yè)帶來怎樣的沖擊？中國國內(nèi)相關(guān)行業(yè)發(fā)展的現(xiàn)狀與前景怎樣，海外競爭力如何？《環(huán)球時(shí)報(bào)》記者進(jìn)行了調(diào)查。
大獎(jiǎng)作品3天完成
黃楚杰是一名廣告從業(yè)者，也是國內(nèi)AI視頻生成社區(qū)“離譜村”的負(fù)責(zé)人。今年2月，“離譜村”制作的一段3分鐘的AI動(dòng)畫視頻在美國麻省理工學(xué)院2024年“AI電影制作黑客馬拉松”比賽上，獲得了“最佳視頻生成獎(jiǎng)”。
黃楚杰告訴《環(huán)球時(shí)報(bào)》記者，他和團(tuán)隊(duì)抱著試試看的心態(tài)參賽，奪得大獎(jiǎng)讓他們感到“意外”，他感慨稱，“這在沒有AI技術(shù)的時(shí)代是不可想象的”。
當(dāng)黃楚杰和團(tuán)隊(duì)得知比賽消息時(shí)，離作品提交所剩的時(shí)間已經(jīng)不多，他組建的6人團(tuán)隊(duì)在短短3天內(nèi)完成了參賽作品《離譜村的故事》，這個(gè)全部由AI制作的動(dòng)畫短片展現(xiàn)了一個(gè)奇幻的世界，里面有許多現(xiàn)實(shí)生活中不存在的生物，“茄子豬”“薯片花”“火龍果魚”……看上去毫不相干的元素通過AI技術(shù)巧妙結(jié)合。除了充滿奇思妙想的角色，黃楚杰和團(tuán)隊(duì)成員們還為視頻創(chuàng)造了許多有趣的場景，并添加了音樂、音效和旁白。
近年來，AI技術(shù)開始在各領(lǐng)域被廣泛運(yùn)用，AI生成功能在長文案、圖片、視頻、聲音等領(lǐng)域不斷突破。黃楚杰介紹說，《離譜村的故事》的制作中運(yùn)用的是GPT-4文本生成模型，包括Pika、Runway、Pixverse在內(nèi)的文生視頻創(chuàng)作工具，以及如Midjourney、Suno、Audiobox等一系列圖片或音效生成工具，“如果用傳統(tǒng)的動(dòng)畫制作方式，我們6個(gè)人可能得需要3個(gè)月的時(shí)間?！?br class="sysbr">郎瀚威是國內(nèi)外生成式AI產(chǎn)品業(yè)態(tài)的研究者，曾擔(dān)任多個(gè)AI項(xiàng)目的顧問。他告訴《環(huán)球時(shí)報(bào)》記者，就文生視頻工具的國際市場占有量而言，美國的Runway占有了七成以上市場，是絕對的頭部。Rumway基于Gen-2模型研發(fā)，可實(shí)現(xiàn)影視級(jí)構(gòu)圖運(yùn)鏡，最新版本可生成4K畫質(zhì)視頻，生成視頻長度在4-16秒之間。
此前另一個(gè)引發(fā)廣泛關(guān)注的文生視頻模型PIKA Labs可生成3-7秒的視頻，市場測評認(rèn)為其語義理解能力強(qiáng)，畫面一致性較佳。與Pika同期發(fā)布的還有Stablility AI，是全球首個(gè)基于圖像模型StableDifision的文生視頻應(yīng)用。
作為ChatGPT的開發(fā)者，OpenAI一直在持續(xù)引領(lǐng)這一輪生成式AI的技術(shù)爆發(fā)。它于2月中旬推出了Sora，并展示了一系列高清視頻剪輯的成果，立即引發(fā)了業(yè)界的“地震”。
《環(huán)球時(shí)報(bào)》記者了解到，OpenAI最新發(fā)布的文生視頻模型Sora，也使用了Diffusion的模型，并疊加Transformer架構(gòu)，其展示的效果相比其他的文生視頻模型如Runway、Pika有了更顯著的提升。具體優(yōu)勢包括靈活的視頻尺寸和更長的視頻時(shí)長、多模態(tài)的視頻生成能力、視
頻時(shí)間線的靈活擴(kuò)展等。對于Sora及其已發(fā)布的演示視頻，黃楚杰用“非常震撼”來形容他的第一印象。他同時(shí)也開始思考，Sora的技術(shù)原理與應(yīng)用前景如何，中企的機(jī)會(huì)點(diǎn)在哪里。
中國產(chǎn)品已經(jīng)“出?！?br class="sysbr">黃楚杰說，這次麻省理工學(xué)院比賽的獲獎(jiǎng)?wù)咧?，來自中國的團(tuán)隊(duì)占了大多數(shù)。他告訴記者，雖然在大模型的技術(shù)層面，國內(nèi)距離海外的頂尖團(tuán)隊(duì)還有差距，但從文生視頻技術(shù)應(yīng)用的角度，以及在內(nèi)容制作所需的想象力和講故事的能力上，中國團(tuán)隊(duì)的競爭力不容小覷，“我們屬于第一梯隊(duì)”。
中企在國內(nèi)市場的文生視頻產(chǎn)業(yè)布局已在加速。國海證券在2023年年末發(fā)布的《AIGC專題報(bào)告》中，列舉了部分國內(nèi)文生視頻模型，包括由清華團(tuán)隊(duì)發(fā)布的CogVideo、字節(jié)跳動(dòng)推出的MagicVideo等。上個(gè)月，阿里云旗下魔搭社區(qū)上線文本生成視頻大模型?？焓址矫嬉嘈迹e極推進(jìn)文生視頻的技術(shù)研發(fā)。
海外市場方面，業(yè)內(nèi)人士告訴《環(huán)球時(shí)報(bào)》記者，近年來，中國AI企業(yè)已經(jīng)抓住文生視頻這一快速發(fā)展賽道的風(fēng)口，積極“出海”開拓市場。
國內(nèi)最早成立的AI視頻社區(qū)之一“故事接龍（StoryStorm）”的創(chuàng)始人宋東桓告訴《環(huán)球時(shí)報(bào)》記者，目前，至少有數(shù)十家中國企業(yè)擁有專門針對出海市場的文生視頻工具產(chǎn)品或相關(guān)項(xiàng)目，主要目標(biāo)市場為美國和歐洲。據(jù)介紹，“故事接龍”由500多名AI視頻創(chuàng)作者組成，其中約100名核心成員是“中國AI內(nèi)容生成領(lǐng)域的佼佼者”。
宋東桓列舉了幾個(gè)中國企業(yè)面向海外用戶推出的AI文生視頻工具，如PixVerse和NeverEnds?！氨M管很多人不知道，但它們的確都是中國公司的產(chǎn)品?！彼螙|桓告訴《環(huán)球時(shí)報(bào)》記者，在“出?！钡囊曨l相關(guān)產(chǎn)品中，中國用戶可能更熟悉CapCut，也就是國際版的剪映，目前它在全球的下載量已超5億次?！癈apCut雖然不是專門意義上的文生視頻應(yīng)用，但最近也新增了AI功能?！彼螙|桓說。
業(yè)內(nèi)普遍認(rèn)為，文生視頻有望引領(lǐng)AI產(chǎn)業(yè)新一輪的景氣度。業(yè)內(nèi)人士預(yù)測，在今明兩年里，AI生成的視頻內(nèi)容將有100倍的增量。中國AIGC產(chǎn)業(yè)聯(lián)盟發(fā)起人倪考?jí)舾嬖V《環(huán)球時(shí)報(bào)》記者，就當(dāng)下的情況來看，說中國企業(yè)的產(chǎn)品數(shù)量占據(jù)了海外文生視頻市場的半壁江山，也毫不夸張。
但也有觀察人士認(rèn)為，數(shù)量上的“半壁江山”，和海外技術(shù)領(lǐng)先產(chǎn)品在實(shí)際使用率及影響力上還存在差距。專業(yè)人士指出，盡管文生視頻在技術(shù)層面沒有很多超預(yù)期的挑戰(zhàn)，但國內(nèi)企業(yè)在追趕Sora的過程中也將受到算力、數(shù)據(jù)和工程能力等諸多現(xiàn)實(shí)約束。
商業(yè)發(fā)展路還很長
3月26日，OpenAI發(fā)布了首批拿到Sora授權(quán)的導(dǎo)演、藝術(shù)家們創(chuàng)作的7部短片，再一次為影視行業(yè)帶來震撼。一些創(chuàng)作者稱，借助文生視頻工具，創(chuàng)作者可以產(chǎn)出曾經(jīng)難以完成的作品與故事。郎瀚威表示，文生視頻技術(shù)主要運(yùn)用于故事片、紀(jì)錄片、音樂MV等制作，將極大提高影視行業(yè)的效率。
“OpenAI正加速推動(dòng)其文生視頻產(chǎn)品Sora，并向好萊塢展開‘魅力攻勢’。”美國科技媒體Mashable在25日的報(bào)道中稱?！耙磺卸贾皇菚r(shí)間問題?！敝耙曋谱魅私苌ず＠章J(rèn)為，Sora的發(fā)布必然會(huì)引起電影公司和電影制片人的興趣，若其有效與行業(yè)協(xié)同運(yùn)作，整個(gè)影視行業(yè)的成本將會(huì)大大降低，就業(yè)崗位也會(huì)隨之減少。OpenAI發(fā)言人在一份聲明中稱：“OpenAI會(huì)逐步地、有計(jì)劃地進(jìn)行創(chuàng)新，以確保每一步都是安全可控的，并讓公眾和行業(yè)逐漸適應(yīng)新技術(shù)?！?br class="sysbr">游戲行業(yè)也將面臨顛覆式變革。美國《福布斯》雜志舉例稱，Jabali是一家生成式AI游戲引擎初創(chuàng)公司，該公司開發(fā)的生成式AI游戲引擎可以讓用戶無需豐富的游戲開發(fā)知識(shí)，即可創(chuàng)建開發(fā)新游戲。Jabali已獲500萬美元的投資，創(chuàng)始團(tuán)隊(duì)由來自亞馬遜、Meta、Zynga和微軟的資深高管以及領(lǐng)先的人工智能研究人員組成。
清華大學(xué)新聞與傳播學(xué)院博士后張家鋮長期從事生成式AI相關(guān)領(lǐng)域的實(shí)踐與研究，他告訴《環(huán)球時(shí)報(bào)》記者，上述領(lǐng)域以外，文生視頻技術(shù)也將顯著提高廣告與營銷行業(yè)的業(yè)務(wù)效率，VR（虛擬現(xiàn)實(shí)）和AR（增強(qiáng)現(xiàn)實(shí)）產(chǎn)業(yè)也有望受益于此。編劇出身的宋東桓告訴《環(huán)球時(shí)報(bào)》記者，借助AI的優(yōu)勢在于降低創(chuàng)作門檻，更會(huì)講故事或更擅長表達(dá)的作者將具備相對較強(qiáng)的競爭力。
囿于技術(shù)、算力成本和普及度，眼下的文生視頻產(chǎn)業(yè)離成熟化的商業(yè)發(fā)展，還有很長的一段路要走。張家鋮認(rèn)為，當(dāng)前追趕Sora企業(yè)面臨的技術(shù)痛點(diǎn)一是因果推斷能力不足，造成物理層面呈現(xiàn)出的交互、運(yùn)動(dòng)出現(xiàn)誤差；二是“幻覺問題”，“AI還是無法理解多個(gè)角色之間的交互，也有可能是算力不夠，解決不了這么多細(xì)節(jié)”。
有業(yè)內(nèi)人士稱，當(dāng)前即使Sora真的推向市場，能負(fù)擔(dān)其高額算力成本的企業(yè)也在少數(shù)。上述人士告訴《環(huán)球時(shí)報(bào)》記者，用現(xiàn)在的Sora來制作一個(gè)1分鐘的長鏡頭，其產(chǎn)生的算力成本或?qū)⒈葘?shí)拍還要高?！耙苍S到了以后，技術(shù)上去了，用的人也越來越多了，算力成本下來后，商業(yè)化的路子才能打得更開?！?br class="sysbr">AI技術(shù)帶來了創(chuàng)新和便利。但AI生成視頻在迅速發(fā)展的同時(shí)，也可能帶來如倫理和知識(shí)產(chǎn)權(quán)等方面的隱患，讓公眾對這一新技術(shù)既充滿期待，又飽含擔(dān)憂。對此，宋東桓坦言，在AI的時(shí)代，證明一個(gè)視頻是人類制作而非AI工具生成的難度將越來越大?！敖窈蠡?qū)⒉扇〉贡圃瓌?chuàng)者通過權(quán)證上鏈（上傳到區(qū)塊鏈）的方式，來自證作品的原創(chuàng)性?！薄?/p>