激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

揭秘AI生成圖片的奧秘

發(fā)布時(shí)間：2024-08-31 12:44:47 瀏覽量：138次

想必大家對(duì)于LLM（大規(guī)模語(yǔ)言模型）很是熟悉，也知道了它能做什么，甚至很多人也能說(shuō)出GPT是怎么生成的問(wèn)題的回復(fù)（概括為一句話：GPT已經(jīng)理解人們語(yǔ)義的生成原理，因此可以基于自己的理解和泛化能力回答，而不是從數(shù)據(jù)里找答案）。但現(xiàn)在火極一時(shí)的Midjourney、Stable diffusion或者剛出圈的Pika的生成，背后依靠怎樣的模型和機(jī)制，有可能你并不是非常了解……

作者研讀了來(lái)自微軟研究團(tuán)隊(duì)在今年9月份最新發(fā)表的論文《Multimodal Foundation Models: From Specialists to General Purpose Assistants》，來(lái)說(shuō)說(shuō)AI是怎么理解圖片的。

和文本類的GPT相似，AI如果要生成一張符合人類要求的圖片，它需要做到理解圖片，進(jìn)而生成圖片，并且能夠編輯直至達(dá)成人類的需求。

圖片理解主要分成三大分類，分別是打標(biāo)簽式的監(jiān)督學(xué)習(xí)、語(yǔ)義式的監(jiān)督學(xué)習(xí)和純圖片式的自監(jiān)督學(xué)習(xí)。

首先我們來(lái)看一下打標(biāo)簽式的監(jiān)督學(xué)習(xí)。打標(biāo)簽式的監(jiān)督學(xué)習(xí)，顧名思義它其實(shí)是需要有一個(gè)標(biāo)簽的這個(gè)準(zhǔn)備，就是我們傳統(tǒng)意義上來(lái)說(shuō)的傳統(tǒng)的這個(gè) supervision learning 就是監(jiān)督式的這種學(xué)習(xí)，也就是最早的這種機(jī)器學(xué)習(xí)的方式，全監(jiān)督式的學(xué)習(xí)。舉一個(gè)例子就是圖片里面這些標(biāo)簽的話，它是和圖片的話是一一對(duì)應(yīng)的關(guān)系。

第二類的是語(yǔ)義式的監(jiān)督學(xué)習(xí)，也就是 language supervision，這種學(xué)習(xí)的方式是通過(guò)自然語(yǔ)言的處理來(lái)學(xué)習(xí)視覺(jué)的概念，而這些自然語(yǔ)言和圖片是成對(duì)出現(xiàn)的，也就是 image 和test，它是按對(duì)來(lái)出現(xiàn)的。語(yǔ)義式的這種監(jiān)督學(xué)習(xí)和前面的相比，其實(shí)它對(duì)于這種打標(biāo)簽的一些基礎(chǔ)的工作依賴性更低了，但它需要這種自然語(yǔ)言和圖片的這種成對(duì)的這種方式，它也是會(huì)依賴于這個(gè)我們所謂的這個(gè) NLP 的這樣的一些輔助幫助。

第三類是純圖片的自監(jiān)督學(xué)習(xí)，圖片的這種自監(jiān)督學(xué)習(xí)，它主要可以再細(xì)分成為三大類。

第一種是對(duì)比學(xué)習(xí)，也就是 contrast learning。這種對(duì)比學(xué)習(xí)，它鼓勵(lì)的是正向的樣本，和學(xué)習(xí)內(nèi)容是正相關(guān)的，它也會(huì)需要負(fù)向樣本，因?yàn)樗枰獙?duì)于負(fù)面的這種樣本進(jìn)行標(biāo)注，進(jìn)行相應(yīng)的一個(gè)削弱。

第二種是非對(duì)比學(xué)習(xí)。比對(duì)比學(xué)習(xí)來(lái)說(shuō)，它的要求會(huì)相對(duì)來(lái)說(shuō)會(huì)更低一些，它不需要負(fù)面樣本，它只需要正面樣本。比如說(shuō)我們需要訓(xùn)練這個(gè)貓和狗的這個(gè)圖片，那對(duì)于如果想訓(xùn)練貓的圖片的話，那我們就不需要狗的圖片。

第三種是現(xiàn)在一直在使用非常廣泛的一種叫做蒙版圖片建模，英文是MIM，全稱是 masked image modeling。它的主要的這個(gè)使用的這個(gè)方式流程包括說(shuō)首先需要把圖片轉(zhuǎn)譯成token， token也會(huì)作為一個(gè)附加的一個(gè)標(biāo)記，也就是圖片它會(huì)轉(zhuǎn)譯成一些分散的 token 的這種模式。在第二步模型收到被隨機(jī)覆蓋部分區(qū)域的圖像之后，它要去推測(cè)被覆蓋圖像。接下來(lái)在推測(cè)完被覆蓋的圖像之后，它會(huì)輸出低像素和高像素的兩種不同類型的這種輸出對(duì)象。

但是對(duì)于蒙板圖片建模這種模型來(lái)說(shuō)，它的一個(gè)不足之處，是缺少一些足量足夠量級(jí)的全球的圖像，所以有研究者提出會(huì)使用這個(gè)自我提純的方式來(lái)保證他的這個(gè)對(duì)圖片的這個(gè)理解是沒(méi)有這個(gè)欠缺的。

接下來(lái)我們來(lái)看一下不同理解方法的這個(gè)融合，之前的一些融合的方式，最近比較融合的這個(gè)好的這種最佳范例是BEiT-3（BEiT和BERT的結(jié)合）。

當(dāng)然我們說(shuō)了這些圖片理解的方式也是需要不斷加強(qiáng)的，那加強(qiáng)的方案第一種就是我們傳統(tǒng)上來(lái)說(shuō)的這個(gè)卷積網(wǎng)絡(luò)，這樣使用卷積網(wǎng)絡(luò)的方式能夠提取出圖片的這個(gè)特征，也就是我們最傳統(tǒng)的一種方式，那當(dāng)前比較火的這種方式是使用Transformer，也就是ViT，那它其實(shí)是能夠在圖片識(shí)別的時(shí)候去使用NLP，進(jìn)而將圖片進(jìn)行分類，或者是去捕捉相應(yīng)的物體。

除此之外其實(shí)還有兩種預(yù)訓(xùn)練的模式能夠去強(qiáng)化機(jī)器對(duì)圖片的理解。第一種的話是區(qū)域級(jí)的這個(gè)預(yù)訓(xùn)練，還有一種是像素級(jí)的預(yù)訓(xùn)練的模式……

查看完整視頻講解和腦圖請(qǐng)移步揭秘AI對(duì)圖片理解的發(fā)展歷程（完整視頻講解+腦圖梳理）

點(diǎn)擊咨詢

參考來(lái)源：

https://arxiv.org/pdf/2309.10020.pdf

https://sh-tsang.medium.com/review-imagenet-21k-pretraining-for-the-masses-25a6b19e5ee8

https://github.com/openai/CLIP

https://www.kaggle.com/code/basu369victor/playing-with-vqgan-clip

https://neptune.ai/blog/knowledge-distillation

https://arxiv.org/pdf/2208.10442.pd

https://viso.ai/deep-learning/vision-transformer-vit/

https://arxiv.org/pdf/2304.02643.pdf

熱門課程推薦

熱門資訊

請(qǐng)綁定手機(jī)號(hào)

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會(huì)在第一時(shí)間與您取得聯(lián)系，請(qǐng)保持電話暢通！
確定