火星網(wǎng)校
Transformer一作來卷多模態(tài)！學(xué)術(shù)圖表也能看懂，100毫秒極速響應(yīng)
發(fā)布時間：2023-11-28 14:54:14 瀏覽量：95次
權(quán)重已開源
明敏 發(fā)自 凹非寺
|
最近多模態(tài)大模型是真熱鬧啊。
這不，Transformer一作攜團(tuán)隊也帶來了新作，一個規(guī)模為80億參數(shù)的多模態(tài)大模型Fuyu-8B。
而且發(fā)布即開源，模型權(quán)重在Hugging Face上可以看到。
該模型具備強(qiáng)大的圖像理解能力。
照片、圖表、PDF、界面UI都不在話下。
能從這么一張復(fù)雜的食物網(wǎng)里理清楚各個生物之間的關(guān)系。
提問：道格拉斯冷杉針葉缺失了，哪種生物會滅絕？
回答：紅樹田鼠。
也能從密密麻麻的連線圖里找到，權(quán)游“小指頭”扮演者Aidan Gillen出演過HBO兩個系列的劇。
看得懂專業(yè)圖表，可以幫你找到想要的數(shù)據(jù)。
提問：（左圖）24、32、33、42這組數(shù)字序列中丟了哪個數(shù)？
回答：29
一張包含多個圖表的PDF也難不倒它。提問：加州哪里的工作前景不錯？
Fuyu-8B可以準(zhǔn)確找到對應(yīng)的信息塊，并給出正確答案“洛杉磯”。
而且Fuyu-8B的處理速度很快，研究團(tuán)隊表示100毫秒內(nèi)可反饋大圖像處理結(jié)果。
同時它還很“輕巧”，不僅模型規(guī)模沒超百億，還沒有使用圖像編碼器。
這讓它能更快速進(jìn)行訓(xùn)練和推理，并支持處理任意大小圖像。
Hugging Face聯(lián)創(chuàng)兼CTO看了都有點(diǎn)激動，表示假如自己還沒有創(chuàng)業(yè)，那么這個項(xiàng)目會啟發(fā)他做點(diǎn)什么。
該成果來自Transformer一作Ashish Vaswani所在創(chuàng)業(yè)公司Adept。
目前該模型已開源，demo可線上試玩。
一個只有解碼器的Transformer
現(xiàn)在在Hugging Face上即可體驗(yàn)Fuyu-8B的能力。
Demo中提供了兩種任務(wù)。
- 看圖問答
- 圖像概述
可以上傳一張圖片然后對大模型進(jìn)行提問。
或者是直接讓它看圖然后描述圖片內(nèi)容。
大模型的常識水平不錯，比如問它一道甜點(diǎn)是怎么做的？
它給出的回答是：
這道甜點(diǎn)是用一層層的酥皮做成的，上面點(diǎn)綴著開心果和帕瑪森奶酪。
測試了下中文能力，發(fā)現(xiàn)它能理解中文，但是“習(xí)慣性”用英文回答。
模型采用了一種簡單的架構(gòu)：純解碼器Transformer。
它沒有圖像編碼器。圖像塊（image patch）繞過embedding lookup，即在嵌入矩陣中查找特定輸入的過程，直接映射到Transformer的第一層。
這種架構(gòu)使得模型能支持任意圖像分辨率。
研究團(tuán)隊刪除了圖像特定位置嵌入，并按掃描線順序（raster-scan order）輸入盡可能多的圖像token。
通過一個特殊的圖像轉(zhuǎn)換行符號，模型能知道在什么時候斷行。
由此模型在訓(xùn)練時可以使用任意大小的圖像。
這種架構(gòu)也更進(jìn)一步簡化了模型的訓(xùn)練和推理過程。
這種架構(gòu)模式也引起了不少網(wǎng)友的關(guān)注，有人就表示，之前總覺得大模型圖像理解能力差是因?yàn)槭褂昧斯潭ù笮〉膒atch。
但Fuyu-8B反駁了他的這一想法。
實(shí)驗(yàn)結(jié)果顯示Fuyu-8B在多個任務(wù)中性能優(yōu)于PaLM-e-12B和QWEN-VL（10B）。
研究團(tuán)隊還表示，刷榜不是他們本次工作的最終目的，所以模型沒有進(jìn)行優(yōu)化。
他們構(gòu)建這個大模型的真正目的是為了提升自家產(chǎn)品的能力。
Adept團(tuán)隊致力于打造一個AI Copilot。
這個Copilot能夠理解用戶屏幕上的內(nèi)容（比如網(wǎng)頁、PPT、PDF、圖表等），并能輔助人類快速完成工作。
這就要求大模型需要能理解環(huán)境信息，同時可以代替人類進(jìn)行操作。換言之，需要大模型能具備超強(qiáng)的圖像理解能力。
所以這也是為啥Fuyu-8B會很強(qiáng)調(diào)對UI的理解能力。
比如它能理解你打開的窗口，以及窗口內(nèi)的信息。
Adept：新晉獨(dú)角獸
帶來這一新工作的團(tuán)隊是Adept。
這是一家由Transformer一作、前OpenAI工程副總裁等業(yè)內(nèi)大佬共同創(chuàng)立的AI公司。
它成立于2022年4月。目前已完成B輪融資，總?cè)谫Y額達(dá)4.15億美元，公司估值超過10億美元。
首席科學(xué)家是Ashish Vaswani。他是《Attention is all you need》的第一作者，平?？凑撐臅r經(jīng)常出現(xiàn)的“(Vaswani et al., 2017)”就是這位大佬。
他博士畢業(yè)于南加州大學(xué)，在谷歌大腦工作已有5年。
Transformer的另一位作者Niki Parmar也加入了該團(tuán)隊。
她在印度上完大學(xué)后，同樣在南加州大學(xué)讀完碩士，在谷歌工作了近7年。
創(chuàng)始人兼CEO David Luan，是前OpenAI加州實(shí)驗(yàn)室工程副總裁，參與過GPT-2、GPT-3、CLIP、DALL-E等模型的開發(fā)，后來加入谷歌，曾任谷歌大腦大模型研究的Director。
Adept致力于打造一個AI Copilot。
團(tuán)隊在去年推出的首項(xiàng)工作，就頗有AutoGPT那感覺。
他們打造的Action Transformer（ACT-1），會使用瀏覽器、Excel等，能理解人類給出的命令并完成相應(yīng)操作。
比如想要在Excel表格中加上利潤、利潤率，只需把這段話輸入給AI，它就能自己在對應(yīng)行列創(chuàng)建公式完成任務(wù)了。
同時該團(tuán)隊還非常關(guān)注開源工作。
今年先后推出的兩項(xiàng)工作Persimmon-8B和Fuyu-8B，都已對外開源。
Demo試玩：
https://huggingface.co/spaces/adept/fuyu-8b-demo
參考鏈接：
[1]https://www.adept.ai/blog/fuyu-8b
[2]https://twitter.com/AdeptAILabs/status/1714682413983601046
[3]https://twitter.com/julien_c/status/1714694606095310876?s=20
[4]https://twitter.com/main_horse/status/1714684833488949519?s=20
熱門課程推薦
熱門資訊
-
想將照片變成漫畫效果？這篇文章分享了4個方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實(shí)現(xiàn)，快來嘗試一下吧！
-
2. 華為手機(jī)神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點(diǎn)擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動起來，創(chuàng)意無限！
Viggle AI是一款免費(fèi)制作視頻的AI工具，能讓靜態(tài)人物圖片動起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. AI顯卡繪畫排行榜:4090無懸念，最具性價比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
8. 趕緊收藏好!這4個完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
-
10. 10個建筑AI工具，從設(shè)計到施工全覆蓋!肯定有你從來沒聽過的
講述了建筑業(yè)比較著名的AI公司小庫科技做出的探索,在這兒就不多說了。今天,我們試著在規(guī)劃設(shè)計、建筑方案設(shè)計、住宅設(shè)計、管道設(shè)計、出渲染圖、3D掃...
最新文章
