激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

AI視頻生成模型Sora的革新之路

發(fā)布時間：2024-06-03 20:02:38 瀏覽量：207次

2 月16 日凌晨，OpenAI 在 AI 生成視頻領域扔出一枚“王炸”，發(fā)布了首個文生視頻大模型 Sora。這一模型可以根據提示詞生成長達一分鐘的高清視頻。

在 OpenAI 官網分享的演示視頻中，Sora 可以直接輸出有多個角色、多種場景和運鏡的畫面。比如這個好萊塢大片質感的電影預告片：

這對比一年前 AI 生成的視頻，兩者簡直是天差地別，就長度方面就“碾壓”了行業(yè)目前大概只有平均“4s”的視頻生成長度。

不少網友看完后，直呼：這不得整個行業(yè)消亡，要失業(yè)了！

也有人有個大膽的想法，但是老狐告訴大家，不要有這個想法，這個功能實現不了！因為 OpenAI 在文檔里強調了生成內容的安全性。

今天就跟著老狐一起來看看 Sora 優(yōu)勢是什么？還存在什么不足？怎么才能用上它？

Sora 優(yōu)勢是什么？

在 AI 行業(yè)，根據文本自動生成視頻，不算新鮮事。但是，Sora 的問世，之所以被稱為“王炸”，主要實現了以下幾點突破：

1. 生成高質量的長視頻內容

正如前文所提到的，Sora 能夠生成長達 1 分鐘的超長視頻，相比之下，Runway-gen2 的 18 秒和 Pika 的 3 秒，真的是按在地上摩擦。

比如上面這段生成的視頻，不僅主體連貫穩(wěn)定，還有多鏡頭，包括從大街景慢慢切入到對女士的臉部表情的特寫，以及潮濕的街道地面反射霓虹燈的光影效果。除了腿部切換不自然，幾乎可以以假亂真。這 1 分鐘一鏡到底，可以說這表現力比有些演員都強。

再說到 Sora 創(chuàng)作的視頻質量，無論是高清度還是還原度，都是可圈可點的。比如下面這個視頻中，行駛中的列車窗上的影像顯示十分細節(jié)，此外偶遇遮擋，車內人物倒影之后也能短暫出現。

又比如人物的眼睛，神情動態(tài)之難，往往成為 AI 創(chuàng)作的壁壘。

但就上面 Sora 生成的視頻來看，可以說細節(jié)滿滿，幾乎看不出什么破綻。這樣的視頻，哪怕是頂級動畫制作公司可能都需要數日時間，而 Sora 只需要幾分鐘搞定。

2. 理解長文本能力

Sora 不僅完美繼承 DALL·E 3 的畫質和遵循指令能力，還能根據詳細的文本指令生成具有詳盡細節(jié)的視頻內容。

要知道以往的 AI 視頻生成，只能一板一眼地照本宣科翻譯提供的文案，而 Sora 已經開始理解文案，并基于文案自己進行發(fā)揮和拓展。

如上方 Sora 以“色彩繽紛的魚類和海洋生物充斥的，由紙藝精心構建的珊瑚礁世界”為主題的視頻中， Sora 通過其攝影角度和拍攝時機，成功地推進了故事的發(fā)展。視頻中實際上發(fā)生了多次鏡頭轉換，這些沒有特別指令它這么做，它卻能自動完成。

3. 創(chuàng)新視頻生成模式

以往的 AI 生成視頻都是文本生成視頻，但 Sora 還能接受其他類型的輸入提示。比如，先給 Sora 一個 Dall E 生成的小狗照片，它就能讓小狗動起來。

此外，Sora 還能在時間維度上實現向前或向后的無限擴展，也就是說給 Sora 一段視頻，它可以自動生成前面或后面的視頻。

比如，上面這三個視頻，給了它一個結尾讓 Sora 生成開頭，可以看到每個開頭都不一樣，但是結尾最終都是一樣的。

不知道多少小伙伴和老狐一樣曾經幻想過一鍵切換視頻背景，這不 Sora 就幫忙實現了。它可以參考原視頻，把視頻中的一些畫面生成出你想要的內容，比如說是更換環(huán)境啊，像森林、水下，甚至整個場景主題。

令人眼前一亮的是，Sora 的視頻拼接功能，你可以把多個視頻給 Sora 參考，讓它將多個毫無關系的畫面組合到一起?？梢哉f銜接還是比較絲滑的。

4. 始終保持 3D 一致性

用過其他視頻生成工具的朋友肯定知道，我們?yōu)榱吮M量讓視頻畫面不分，就要減少鏡頭的移動和旋轉。

不過使用 Sora 我們可以不用擔心這個問題，因為它生成的人物和場景元素在三維空間中的位置關系能夠保持一致的運動，都將持續(xù)保持一致性。此外，人物、動物和物體即使在被遮擋或離開畫面后，仍能被準確地保存和呈現。

5. 與世界互動，畫面有物理交互反饋

老狐覺得這一點或許是 Sora 最可怕的功能。現今的 Sora 能夠模擬一些對世界狀態(tài)有簡單影響的行為。例如，畫家在畫布上留下新的筆觸，這些筆觸會隨時間推移而持續(xù)存在。

綜上看來，Sora 著實是對之前的 AI 視頻生成系統的前輩們來了一波降維打擊。

Sora 目前的不足

當然也并不是說 Sora 十分完美，目前看來還存在諸多不足。

一是該模型混淆提示的空間細節(jié)，并且難以準確的描述復雜場景中的物理現象。

比如這個視頻老人吹蠟燭前后火苗居然沒有絲毫的變化，不合常理。

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學您好！

您已成功報名0元試學活動，老師會在第一時間與您取得聯系，請保持電話暢通！
確定