發(fā)布時(shí)間:2024-04-09 12:18:24 瀏覽量:115次
Sora橫空出世,引爆網(wǎng)絡(luò)
2 月 16 日,美國(guó)人工智能公司 OpenAI 發(fā)布最新“文生視頻”大模型 Sora,只需輸入描述性句子即可創(chuàng)建逼真的視頻.
并同時(shí)公布了一系列樣片,展現(xiàn)了 Sora 令人驚嘆的視頻生成效果。同時(shí),在部分樣片中,Sora 還展現(xiàn)了對(duì)“物理規(guī)律”超強(qiáng)的學(xué)習(xí)能力,無(wú)論是飄逸的毛發(fā)還是水體波紋,Sora 都能“合乎常理”地呈現(xiàn)出來(lái)。
Sora究竟是什么?
Sora這一名稱源于日文“空”,即天空之意,以示其無(wú)限的創(chuàng)造潛力。美國(guó)人工智能研究公司OpenAI發(fā)布的人工智能文生視頻大模型。該模型可根據(jù)輸入的文字信息生成時(shí)長(zhǎng)一分鐘的高保真的視頻。
OpenAI 聲稱,如果給定一段簡(jiǎn)短或詳細(xì)的描述或一張靜態(tài)圖片,Sora 就能生成類似電影的1080p 場(chǎng)景,其中包含多個(gè)角色、不同類型的動(dòng)作和背景細(xì)節(jié)。
下圖為模型通過(guò)文本信息:“一位時(shí)尚女性走在充滿溫暖霓虹燈和動(dòng)畫城市標(biāo)牌的東京街道上。她穿著黑色皮夾克、紅色長(zhǎng)裙和黑色靴子,拎著黑色錢包。她戴著太陽(yáng)鏡,涂著紅色口紅。她走路自信又隨意。街道潮濕且反光,在彩色燈光的照射下形成鏡面效果。許多行人走來(lái)走去?!?/span>
SORA有何特點(diǎn)與優(yōu)勢(shì)?
視頻生成長(zhǎng)達(dá) 1 分鐘,大幅領(lǐng)先其他 AI 模型。
目前文本視頻生成熱門模型中,pika 1.0 默認(rèn)生成 3 秒視頻,可拓展到 7 秒;而 runaway gen2 模型最高可生成 18秒視頻。不同于此前發(fā)布的模型只能生成幾秒到十幾秒長(zhǎng)度的視頻,Sora可以通過(guò)文本指令直接輸出長(zhǎng)達(dá) 60 秒的視頻,并保持視頻主體與背景的高度流暢性與穩(wěn)定性。
Sora相對(duì)生成視頻更真實(shí),更逼真
首先Sora 模型可根據(jù)提示生成具有多個(gè)不同運(yùn)動(dòng)軌跡的角色的復(fù)雜場(chǎng)景視頻,使得視頻中的角色運(yùn)動(dòng)軌跡符合現(xiàn)實(shí)世界中的運(yùn)行規(guī)律。
同時(shí)在單個(gè)樣本中生成同一角色的多個(gè)鏡頭,實(shí)現(xiàn)各種中、近、遠(yuǎn)景的切換,并在整個(gè)視頻中穩(wěn)定保持其外觀。此外Sora 可以生成攝像機(jī)動(dòng)態(tài)運(yùn)動(dòng)的視頻。
Sora 可以向前向后拓展視頻,連接視頻。 可以使用 Sora 在兩個(gè)輸入視頻之間逐漸插值,在具有完全不同主題和場(chǎng)景構(gòu)圖的視頻之間創(chuàng)建無(wú)縫過(guò)渡。
在長(zhǎng)場(chǎng)景視頻生成方面,Sora 的細(xì)節(jié)豐富度和畫面流暢度顯著高于其他視頻生成模型。
克服了AI視頻的技術(shù)難題
AI 視頻生成面臨的一個(gè)重大挑戰(zhàn)是在較長(zhǎng)的視頻中保持人或物的一致。Sora 在大多數(shù)情況下能夠有效地處理這些問(wèn)題例如,Sora 可以保存人物、動(dòng)物和物體,即使其被遮擋或暫時(shí)離開(kāi)了鏡頭。Sora 也可以在單個(gè)視頻中生成同一角色的多個(gè)鏡頭,并在整個(gè)視頻中保持其外觀的一致。
簡(jiǎn)而言之,SORA可以構(gòu)建模擬數(shù)字世界和實(shí)現(xiàn)模擬世界與現(xiàn)實(shí)世界的互動(dòng),使得AI所生成的視頻內(nèi)容更具逼真,更具真實(shí)性。
可不斷訓(xùn)練提升視頻樣本質(zhì)量
Sora 使用擴(kuò)散模型和 transform er的結(jié)合,使得視頻生成質(zhì)量隨著訓(xùn)練計(jì)算的增加而顯著提高。Sora 團(tuán)隊(duì)發(fā)現(xiàn),隨著Sora模型訓(xùn)練計(jì)算量越大,樣本質(zhì)量的提升越顯著。
SORA對(duì)何種行業(yè)帶來(lái)機(jī)遇?
短視頻、傳媒行業(yè)
傳統(tǒng)視頻制作往往需要投入大量人力、物力和時(shí)間成本,通過(guò)利用 Sora模型,創(chuàng)作者可以快速、高效地生成視頻,極大降低產(chǎn)出成本。另一方面,Sora 的編輯和擴(kuò)展能力為創(chuàng)作者的靈活創(chuàng)作提供了空間,將進(jìn)一步提高內(nèi)容產(chǎn)出的創(chuàng)新性和多樣性。
當(dāng)前,短視頻時(shí)長(zhǎng)主要集中在 60 秒及以下;中視頻時(shí)長(zhǎng)介于60 秒到 30 分鐘之間;長(zhǎng)視頻包括時(shí)長(zhǎng) 30 分鐘及以上的所有視頻。Sora 模型的內(nèi)容產(chǎn)出能力恰好適配短視頻的核心時(shí)長(zhǎng),短期內(nèi)短視頻的產(chǎn)能有望迅速增長(zhǎng)。
綜合來(lái)看,AI 視頻可以大幅度降低視頻的制作成本,對(duì)廣告營(yíng)銷、影視、游戲等都有可觀的降本增效作用,隨著 AI 視頻工具的不斷更新迭代,相關(guān)產(chǎn)業(yè)制作效率或?qū)?shí)現(xiàn)質(zhì)的提升,游戲、短視頻等相關(guān)內(nèi)容的供給端有望實(shí)現(xiàn)飛躍式的發(fā)展。
AI大模型與運(yùn)用
隨著文生圖、圖片對(duì)話技術(shù)的成熟,文生視頻可能成為多模態(tài)大模型下一步發(fā)展的方向。該技術(shù)有望極大降低短劇制作的成本,并且會(huì)進(jìn)一步向影視、自媒體、游戲等領(lǐng)域滲透,提高視頻創(chuàng)作效率。
此外Sora 展示了 AI 在理解和模擬物理世界方面的能力,這被認(rèn)為是實(shí)現(xiàn)通用人工智能(AGI)的關(guān)鍵一步(AGI 是指能夠在多種任務(wù)和環(huán)境中靈活應(yīng)用知識(shí)的 AI)。
隨著 AI 文生視頻技術(shù)的不斷完善和更新,我們認(rèn)為 AI 視頻有望憑借人工智能的技術(shù)優(yōu)勢(shì)和視頻這一品類的內(nèi)容優(yōu)勢(shì)打開(kāi)市場(chǎng)。隨著下游客戶對(duì) AI 需求表現(xiàn)強(qiáng)勁,海外云巨頭持續(xù)加大投入,AI 模型加速迭代、推陳出新,AI+終端持續(xù)滲透
同時(shí)Sora 的發(fā)布或?qū)⒊蔀?AI 視頻應(yīng)用的里程碑事件,視頻生成工具可以大幅減少實(shí)景拍攝、降低視頻制作成本,有望打開(kāi)更為廣闊的 AI 應(yīng)用市場(chǎng)。
算力
OpenAI 表示,Sora所展現(xiàn)的能力表明,繼續(xù)擴(kuò)大視頻模型規(guī)模能夠更有效的模擬物理和數(shù)字世界中的人類、動(dòng)物和物體,隨著視頻模型時(shí)長(zhǎng)、分辨率等各項(xiàng)參數(shù)的進(jìn)一步提升,將對(duì)算力提出更高的要求。
此外,Sora 仍為基于 Transformer 架構(gòu)的擴(kuò)散模型,在此基礎(chǔ)上,Sora 與 Gen-2 等產(chǎn)品所形成的效果差異主要來(lái)自于大規(guī)模高質(zhì)量的訓(xùn)練數(shù)據(jù)。
考慮到視頻數(shù)據(jù)量相對(duì)文本和圖片有幾何級(jí)的提升,AI視頻生成對(duì)訓(xùn)練和推理的算力需求將大幅提升,OpenAI、Meta 等巨頭在算力領(lǐng)域持續(xù)布局,也側(cè)面反映了未來(lái)對(duì)于算力的旺盛需求。算力支撐與大規(guī)模高質(zhì)量數(shù)據(jù)訓(xùn)練仍為視頻大模型必不可少的環(huán)節(jié)。
所以2024 年算力產(chǎn)業(yè)鏈將維持高景氣度,訓(xùn)練和推理需求或?qū)⒊掷m(xù)上升,蓬勃的算力需求有望持續(xù)帶動(dòng)算網(wǎng)基礎(chǔ)設(shè)施建設(shè),建議持續(xù)關(guān)注光模塊、光芯片、光器件、AIDC、AI 服務(wù)器、交換機(jī)、液冷溫控等領(lǐng)域投資機(jī)會(huì)
相關(guān)投資標(biāo)的
短視頻、傳媒:因賽集團(tuán)、國(guó)脈文化、中文在線、光線傳媒
大模型及應(yīng)用:萬(wàn)興科技、劍橋科技科大訊飛、昆侖萬(wàn)維
算力及服務(wù)器:中際旭創(chuàng)、高新發(fā)展、中科曙光、浪潮信息、中興通訊、國(guó)投智能
熱門資訊
1. 照片變漫畫效果,這4個(gè)方法操作簡(jiǎn)單有效,快來(lái)試試吧!
想將照片變成漫畫效果?這篇文章分享了4個(gè)方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡(jiǎn)單操作就能實(shí)現(xiàn),快來(lái)嘗試一下吧!
2. 華為手機(jī)神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議,通過(guò)簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點(diǎn)擊查看!
3. 四款值得推薦的AI以圖生圖軟件,有需要的趕緊來(lái)試試!
近年來(lái),人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語(yǔ)以及上傳參考圖就能智能高效生成符合要求的...
4. AI視頻制作神器Viggle:讓靜態(tài)人物動(dòng)起來(lái),創(chuàng)意無(wú)限!
Viggle AI是一款免費(fèi)制作視頻的AI工具,能讓靜態(tài)人物圖片動(dòng)起來(lái),快來(lái)了解Viggle AI的功能和優(yōu)勢(shì)吧!
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來(lái)詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說(shuō)關(guān)于怎么樣利用AI來(lái)提高生產(chǎn)效率、還能做什么AI...
6. 零基礎(chǔ)10分鐘生成漫畫,教大家如何用AI生成自己的漫畫
接下來(lái),我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來(lái)盈利的漫畫。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
7. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
8. 一款免費(fèi)無(wú)限制的AI視頻生成工具火了!國(guó)內(nèi)無(wú)障礙訪問(wèn)!附教程
人人都可以動(dòng)手制作AI視頻! 打開(kāi)網(wǎng)址https://pixverse.ai/,用郵箱注冊(cè)后,點(diǎn)擊右上角Create,就可以開(kāi)始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
9. AI顯卡繪畫排行榜:4090無(wú)懸念,最具性價(jià)比出人意料
在AI繪圖領(lǐng)域,Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn),以及2023年3月顯卡AI繪圖效率排行榜和性價(jià)比排行榜。歡迎查看最新的AI顯卡算力排行榜。
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來(lái)...
最新文章
同學(xué)您好!