激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

Sora:深入谷歌videopoet理解全模態(tài)視頻生成

發(fā)布時間：2024-03-28 15:53:58 瀏覽量：234次

來源：Agent的潛意識

今天我們來正式研究谷歌的最新視頻合成論文VideoPoet: A Large Language Model for Zero-Shot Video Generation。這篇論文是一個劃時代的產(chǎn)品，之所以這么說，他有兩個核心貢獻：1、將文本、視頻、圖片、音頻統(tǒng)一編碼成一個codebook空間，然后用LLM那套訓(xùn)練范式訓(xùn)練。2、效果上，他可以合成5秒(41幀）的視頻，核心突破是它可以保持運動的一致性。這一點（ motion）很難，因為人類對動作連貫性很敏感。稍微有些別扭就覺得視頻很假。

這篇文章的方法可以說跟sora差別很小，像文本視頻音頻統(tǒng)一編碼就完全是一樣的。核心差別在于訓(xùn)練任務(wù)的不一樣上。Sora跟 李飛飛他們的工作WALT [4] 是一樣的，就是在訓(xùn)練任務(wù)上，一個擴散模型；而videopoet是一個mask自回歸模型。

這兩種范式各有千秋，前一種合成圖片視頻的真實場景逼真度更高，后一種方法合成視頻音頻的連貫性更好。應(yīng)該結(jié)合起來一起用。

之所以有這樣的區(qū)別，我仔細思考了下背后的數(shù)學(xué)邏輯：前者的diffusion擴散模型，他是針對原圖增加高斯噪聲，然后讓模型學(xué)習(xí)去燥，這樣模型更能學(xué)到逼真度高的畫卷方法，他讓模型去學(xué)習(xí)了像素的真實分布規(guī)律。這一點我多講一句，我想起學(xué)校生涯的時候?qū)熝芯侩[寫分析的領(lǐng)域知識，就是將一張圖片里的一些像素值改掉，然后讓檢測器檢測出來哪些圖片有篡改，哪些沒有。那么這個擴散模型其實就是干這個活，只是不是手工篡改像素值，而是利用高斯噪聲來篡改像素值。而后一種mask回歸任務(wù)呢，他主要特征是前一幀預(yù)測后一幀，或者是圖片中心預(yù)測整個四周，四周預(yù)測中心或者左邊預(yù)測右邊這些任務(wù)，他整個任務(wù)設(shè)計的就是next token的意思，當然就主要學(xué)習(xí)視頻的連貫性了。

因此，sora你可以理解為WALT的改進版。并不神秘。模型結(jié)構(gòu)變大了，然后數(shù)據(jù)變多了，然后更高清了。效果更好了。后面我們再研讀WALT。

言歸正傳。我們來正式解刨videopoet。這篇文章知識密度很高。我看了好久才搞懂。

scaling law的正確姿勢：訓(xùn)練videopoet需要多少GPU

我們來認真盤一下這個事情。他也是大家很關(guān)心的事。

Mask模型本質(zhì)是一個分類器，預(yù)測next token是什么。經(jīng)典圖像分類工程中，imagenet數(shù)據(jù)集，共1000個類別，你可以認為是token的cookbook是1000 的size，然后總數(shù)據(jù)集是128萬，合每個類別1300張圖片的樣子。這個類比的意思是，一個token的全分布概率計算，需要1300個樣例來統(tǒng)計。

GPT1的詞典大小是40,478 個，GPT-2的詞典大小為50257個，因此詞典差別不是很大，那么我們姑且假定GPT4的詞典大小為6萬，他的數(shù)據(jù)集呢，是13萬億個 token，也就是每個token有2億個樣例來計算全分布概率才能達到GPT4的效果。

題外話：

大模型之所以大，核心問題就是詞典大小太大，導(dǎo)致最后一層的預(yù)測softmax層參數(shù)巨大，需要大量的樣例才能將這些參數(shù)完整訓(xùn)練出來。因此造成了大的資源浪費。我覺得這個是一個巨大的bug。是否可以分層分group分步執(zhí)行，將這個計算量降低，因為本來就不符合邏輯，這么巨大的cookbook其實不符合人類的認知邏輯的，我們會將禮拜天和星期日當一個token，而LLM的話就是兩個，其實是可以壓縮的。

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定