火星網(wǎng)校
挑戰(zhàn)GPT-4V，浙大校友推出開源版多模態(tài)大模型，獲GitHub 6k+星標
發(fā)布時間：2023-11-28 14:55:23 瀏覽量：129次
性能已達到GPT-4V的85%
克雷西 發(fā)自 凹非寺
|
GPT-4的視覺能力還沒全量放開測試，開源對手就隆重登場了。
浙大竺院的一位校友，與微軟研究院等機構(gòu)合作推出了新版多模態(tài)模型LLaVA。
LLaVA在11個測試數(shù)據(jù)集上都成為了SOTA，在GitHub上更是斬獲6k+星標。
開發(fā)者提供的數(shù)據(jù)顯示，LLaVA的綜合能力已經(jīng)達到了GPT-4V水平的85%，在復(fù)雜推理任務(wù)上更是超過了96%。
讀驗證碼、判斷狗的品種，甚至根據(jù)圖像生成網(wǎng)頁代碼……都難不倒LLaVA。
△/Matt Shumer
資源方面，LLaVA的樣本量僅為120萬，在單臺8*A100的機器上，1天就能完成訓(xùn)練。
不過體驗過的網(wǎng)友普遍表示，LLaVA離GPT-4V還存在一些差距。
那么LLaVA究竟表現(xiàn)如何，我們也實測了一番。
和GPT-4V有差距，但也能用
為了更加直觀地對比LLaVA和GPT-4V的表現(xiàn)，我們直接使用了微軟發(fā)布的GPT-4V說明書中的案例。
首先來看最基本的人物識別。
這里GPT-4V說明書中使用的prompt是描述這張圖，我們也如法炮制。
結(jié)果LLaVA不僅一個名字也沒提，還把人數(shù)也數(shù)錯了，但也判斷出了這里面有足球運動員、演員和歌星。
于是我們繼續(xù)追問LLaVA這些人的名字，結(jié)果它告訴我們信息量不足以判斷。
這輪GPT-4V略勝一籌，不過或許是因為一下八個人太多了，于是我們又給LLaVA加試了一道簡單些的題。
這次經(jīng)過一輪追問，LLaVA成功認出了圖片中的老馬和小扎，所以這輪我們算它過關(guān)。
那如果是專業(yè)的圖像呢？比如醫(yī)學(xué)影像。
GPT-4V的答案是肺部感染或炎癥，而LLaVA說的是吸煙或慢阻肺引發(fā)的凋亡細胞和瘢痕組織。
不過兩個模型都沒有確定自己的結(jié)論，都提示需要進一步檢查，不過LLaVA給出的“黑色部分組織有異常”是正確的。
除了這些真·圖像之外，文字識別也是多模態(tài)模型測試中的一項常見任務(wù)。
這張圖中，LLaVA成功識別了里面的英文，但下面的日文片假名無論如何也認不出來。
除了上面這些正經(jīng)的內(nèi)容，LLaVA能不能解讀表情包呢？
這次，LLaVA正確識別了圖中的青蛙玩具和文字，而對表情包的解釋，對了一半。
這個表情包諷刺的是有一群人發(fā)現(xiàn)自己錯過了計劃時間之后反而把預(yù)定事項推得更遲，LLaVA只說出了前面一半。
總結(jié)下來就是，GPT-4V的識別技能，LLaVA基本上也都會，但又都差點意思。
換言之就是，雖然沒那么厲害，但也是能用的水平了。
那么，LLaVA是如何打造出來的呢？
由Vicuna和CLIP結(jié)合而成
LLaVA的訓(xùn)練一共分為兩個階段。
首先是將文本與圖像對齊的預(yù)訓(xùn)練過程，這一階段一共使用了60萬對圖像-文本信息。
第二階段則是在對齊的基礎(chǔ)上使用視覺指令進行調(diào)優(yōu)，讓LLaVA熟悉用戶可能問到的各種問題。
模型結(jié)構(gòu)方面，LLaVA的語言模型是羊駝家族的Vicuna，視覺模型則采用了OpenAI的CLIP，并以MLP作為模態(tài)連接器。
為了讓LLaVA能夠識別更多專業(yè)領(lǐng)域的內(nèi)容，研究團隊在開發(fā)過程中還使用了ScienceQA數(shù)據(jù)集。
開發(fā)過程完畢之后，研究團隊使用GPT-4對LLaVA的輸出內(nèi)容進行評價。
利用COCO數(shù)據(jù)集中的內(nèi)容，開發(fā)者設(shè)計了三種類型的問題，然后讓LLaVA輸出答案并交給GPT-4評分。
- 問答式對話：將COCO數(shù)據(jù)集中的問題改編成問句進行提問
- 細節(jié)描述：要求LLaVA對圖像內(nèi)容提供更詳細具體的說明
- 復(fù)雜推理：要求LLaVA在理解的基礎(chǔ)上推理出圖像中沒有直接顯含的信息（如：人物關(guān)系）
目前，LLaVA的代碼、模型和訓(xùn)練數(shù)據(jù)都已經(jīng)開源，有7B和13B兩個參數(shù)量的模型，均為全量微調(diào)，LoRA版本也將很快發(fā)布。
作者簡介
LLaVA相關(guān)論文的第一作者是威斯康星大學(xué)麥迪遜分校的華人博士生Haotian Liu。
他還是一名浙大竺院校友，期間師從計算機學(xué)院金小剛教授和吳飛教授。
他的現(xiàn)任導(dǎo)師Yong Jae Lee則是相關(guān)論文的通訊作者。
此外，來自微軟研究院和哥倫比亞大學(xué)的學(xué)者也有參與LLaVA的相關(guān)工作。
項目主頁（內(nèi)含DEMO及GitHub、HuggingFace鏈接）：
https://llava-vl.github.io/
論文地址：
[1]https://arxiv.org/abs/2304.08485
[2]https://arxiv.org/abs/2310.03744
— 完 —
QbitAI · 頭條號簽約
關(guān)注我們，第一時間獲知前沿科技動態(tài)
熱門課程推薦
熱門資訊
-
想將照片變成漫畫效果？這篇文章分享了4個方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實現(xiàn)，快來嘗試一下吧！
-
2. 華為手機神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動起來，創(chuàng)意無限！
Viggle AI是一款免費制作視頻的AI工具，能讓靜態(tài)人物圖片動起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細演示一遍操作流程首先進入Logo D... 想學(xué)習更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. AI顯卡繪畫排行榜:4090無懸念，最具性價比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
8. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細操作!有需要的快來...
-
10. 10個建筑AI工具，從設(shè)計到施工全覆蓋!肯定有你從來沒聽過的
講述了建筑業(yè)比較著名的AI公司小庫科技做出的探索,在這兒就不多說了。今天,我們試著在規(guī)劃設(shè)計、建筑方案設(shè)計、住宅設(shè)計、管道設(shè)計、出渲染圖、3D掃...
最新文章
