激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

文字直接生成視頻!爆火的Sora，是怎么做到的?

發(fā)布時間：2024-03-05 13:16:11 瀏覽量：290次

2024年2月16日，又一逆天AI模型殺入人類江湖。


有人驚呼“炸裂”“史詩級”，有人嚷嚷“行業(yè)變天，人類下崗”，還有人期待是不是輸入《三體》就能出片了……這個新文本轉(zhuǎn)視頻模型就叫：Sora。


這段場景逼真、氛圍濃厚的多機位短視頻

由新文本轉(zhuǎn)視頻模型Sora生成


這款由美國開放人工智能研究中心Open AI發(fā)布的模型，炸裂到啥程度呢？


就你隨意編輯一串文字，就能生成一個以假亂真的純AI原創(chuàng)視頻。在一些樣片里，視頻中的物體運動軌跡自然，畫面清晰、順暢，它還能夠自己切換鏡頭，甚至給出特寫……


這個像不像你用GoPro手持拍攝的？


嗯，Sora是如何生成這樣的視頻的呢？它真的無所不能嗎，它會搶走人類的飯碗嗎？




01.

屬于AI圖、AI視頻的時間線


先來理一把，把我們驚暈的AI生成圖片模型、AI生成視頻模型的時間線。


2022年下半年，Midjourney、Stable Diffusion之類的應(yīng)用，已經(jīng)可以根據(jù)文本提示詞生成對應(yīng)的圖片。



2023年9月，GPT4.0讓我們能夠用聊天化的方式生成、修改圖片。


至于AI生成視頻模型，Sora發(fā)布之前的主流AI生成視頻時長只能做到4-16秒，還“卡成PPT”，而Sora直接順暢到了60秒。




02.

Sora的視頻創(chuàng)作能力有多強大？


首先，按照官方口徑，Sora能夠根據(jù)提示詞生成出高質(zhì)量的圖片和視頻，并且能夠?qū)σ曨l進行向前或者向后的拓展。


這三個視頻開頭最終都會走向同一個結(jié)尾

圖片截取自：Open AI官網(wǎng)


Sora不僅可以根據(jù)文本生成視頻，也可以直接輸入圖片或者視頻，對圖片和視頻進行編輯調(diào)整。


圖片截取自：Open AI官網(wǎng)


除了第一眼好之外，它還有一些驚人本領(lǐng)。


比如，它可以跟隨著對象移動鏡頭，并且在移動鏡頭轉(zhuǎn)換角度的時候，依然能保持周圍的景象的合理、完整。


比如，多機位。


比如，自然融合兩種完全不相干的場景：


Sora生成，圖源果殼


甚至還可以將圖片轉(zhuǎn)成動態(tài)視頻，而且還不是目前流行的“小動物跳舞”呈現(xiàn)的粗糙效果：


Sora生成，圖源果殼




03.

如此逆天，Sora是如何做到的？


Open AI發(fā)布了一份Sora的技術(shù)報告，在報告中提到“Sora是一個擴散模型”。


擴散模型本身很復(fù)雜，怎么理解呢？舉個例子，假如你現(xiàn)在有一張狗狗的照片，通過一步步給這張照片增加噪點，就能讓它變得越來越模糊，最終會變成一堆噪點。


添加噪聲與去除噪聲，圖源科普中國

反過來，一步步去除噪點，也能把它還原成目標圖片——擴散模型的關(guān)鍵就是學(xué)會逆向去除噪點。


Sora對視頻數(shù)據(jù)進行轉(zhuǎn)換處理

圖片來源：Open AI官網(wǎng)


此外，在以往技術(shù)范式之上，Sora還做出了新東西，比如，不僅可以理解用戶在提示中提出的要求，還能理解它們在物理世界中的存在方式。


這么強！那它的視頻模型的訓(xùn)練應(yīng)該很燒算力吧？


沒錯，大概一周前，Open AI宣布啟動“造芯”計劃，因為目前Open AI每天生成約1000億個單詞，需要大量的GPU芯片進行訓(xùn)練計算。


他們希望籌得7萬億美元！


相當于全球GDP的10%，等同于2.5個微軟、3.75個谷歌、4個英偉達、7個Meta，以及11.5個特斯拉的市值。




04.

Sora安全嗎?它真的沒有缺陷嗎？


這樣的技術(shù)會不會被用來偽造視頻，甚至被用來在法庭上作偽證？


很多人考慮到了安全問題。Open AI也考慮到了。所以，在確保它不會被用來做壞事之前，Sora不會向大眾開放。


另外，雖然Sora展現(xiàn)出了強大的能力，但現(xiàn)階段它還不夠完美。除了專業(yè)人士的評價，Sora的技術(shù)報告也承認，現(xiàn)階段Sora生成的視頻存在一些缺陷。比如下面，它讓考古工作者挖出了一個現(xiàn)代工業(yè)文明才有的塑料椅：



下面這個玻璃杯破碎的過程也不那么“科學(xué)”，杯子還沒裂，液體就流出來了……



再比如下面這個Sara生成的視頻，不需要人類，別的人工智能就能看出它是個“假視頻”，判別理由是：


① 櫻花一般在春天開放，那時不下雪；

② 雪下得太均勻了；

③ 雖然是下雪天，但人穿得很單薄。



至于，把整本《三體》輸進去，能出片嗎？


嗯，目前的Sora雖然有多機位效果，但都是單一情節(jié)、單一鏡頭。


而《三體》有多人視角，敘事復(fù)雜，靠AI生成一條龍搞定并不現(xiàn)實。據(jù)影視行業(yè)從業(yè)者的觀點，目前AI生成雖然高效，但可控性不夠，目前它們主要用在 demo制作、概念設(shè)計、分鏡編排等環(huán)節(jié)。




05.

Sora是否會代替人類視頻工作者？


可以肯定的是，Sora的出現(xiàn)可能會威脅一些動畫素材的制作者。

今年1月，《好萊塢報道》進行了一項針對300名娛樂行業(yè)領(lǐng)導(dǎo)者的調(diào)查，有3/4受訪者表示AI會減少未來的工作崗位，未來3年內(nèi)大約會有20多萬個職位受到影響。而Sora可能會加重這一影響。


不少人高呼影視行業(yè)變天了

有人甚至把好萊塢改成了上面這樣


但是，Sora們帶給我們的真的只有壓力嗎？


其實，每次新興技術(shù)的出現(xiàn)在帶來威脅的同時，不也是帶來了新機會嘛。包括Sora在內(nèi)的視頻生成AI畢竟只是工具，視頻創(chuàng)意來源還是需要人類提供噠。


而且這或許還是讓普通人開掛的利器呢——還要啥視頻團隊呀，1個人加1只模型搞定。




編輯：潮歌

本文編輯自：科普中國

果殼、新聞聯(lián)播

科普蘇州

ID: kepusuzhou

任何疑惑的，需要科學(xué)解答的問題

科普蘇州Q2：700538949

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定