火星網(wǎng)校
AI實(shí)時(shí)解讀大腦信號(hào)，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)
發(fā)布時(shí)間：2023-11-28 14:54:13 瀏覽量：93次
“DINOv2最好用”
蕭簫 發(fā)自 凹非寺
|
現(xiàn)在，AI已經(jīng)能實(shí)時(shí)解讀大腦信號(hào)了！
這不是聳人聽聞，而是Meta的一項(xiàng)新研究，能夠憑腦信號(hào)猜出你在0.5秒內(nèi)看的圖，并用AI實(shí)時(shí)還原出來(lái)。
在此之前，AI雖然已經(jīng)能從大腦信號(hào)中比較準(zhǔn)確地還原圖像，但還有個(gè)bug——不夠快。
為此，Meta研發(fā)了一個(gè)新解碼模型，讓AI光是圖像檢索的速度就提升了7倍，幾乎“瞬間”能讀出人在看什么，并猜出個(gè)大概。
像是一個(gè)站立的男人，AI數(shù)次還原后，竟然真的解讀出了一個(gè)“站立的人”出來(lái)：
LeCun轉(zhuǎn)發(fā)表示，從MEG腦信號(hào)中重建視覺等輸入的研究，確實(shí)很棒。
那么，Meta究竟是怎么讓AI“快速讀腦”的？
大腦活動(dòng)解碼如何解讀？
目前，AI讀取大腦信號(hào)并還原圖像的方法，主要有兩種。
其中一種是fMRI（功能性磁共振成像），可以生成流向大腦特定部位的血流圖像；另一種是MEG（腦磁圖），可以測(cè)量腦內(nèi)神經(jīng)電流發(fā)出的極其微弱的生物磁場(chǎng)信號(hào)。
然而，fMRI神經(jīng)成像的速度往往非常慢，平均2秒才出一張圖（≈0.5 Hz），相比之下MEG甚至能在每秒內(nèi)記錄上千次大腦活動(dòng)圖像（≈5000 Hz）。
所以相比f(wàn)MRI，為什么不用MEG數(shù)據(jù)來(lái)試試還原出“人類看到的圖像”呢？
基于這一思路，作者們?cè)O(shè)計(jì)了一個(gè)MEG解碼模型，由三個(gè)部分組成。
第一部分預(yù)訓(xùn)練模型，負(fù)責(zé)從圖像中獲得embeddings；
第二部分是一個(gè)端到端訓(xùn)練模型，負(fù)責(zé)將MEG數(shù)據(jù)與圖像embeddings對(duì)齊；
第三部分是一個(gè)預(yù)訓(xùn)練圖像生成器，負(fù)責(zé)還原出最終的圖像。
訓(xùn)練上，研究人員用了一個(gè)名叫THINGS-MEG的數(shù)據(jù)集，包含了4個(gè)年輕人（2男2女，平均23.25歲）觀看圖像時(shí)記錄的MEG數(shù)據(jù)。
這些年輕人一共觀看了22448張圖像（1854種類型），每張圖像顯示時(shí)間為0.5秒，間隔時(shí)間為0.8~1.2秒，其中有200張圖片被反復(fù)觀看。
除此之外，還有3659張圖像沒有展示給參與者，但也被用于圖像檢索中。
所以，這樣訓(xùn)練出來(lái)的AI，效果究竟如何？
圖像檢索速度提升7倍
整體來(lái)看，這項(xiàng)研究設(shè)計(jì)的MEG解碼模型，比線性解碼器的圖像檢索速度提升了7倍。
其中，相比CLIP等模型，又以Meta研發(fā)的視覺Transformer架構(gòu)DINOv2在提取圖像特征方面表現(xiàn)更好，更能將MEG數(shù)據(jù)和圖像embeddings對(duì)齊起來(lái)。
作者們將整體生成的圖像分成了三大類，匹配度最高的、中等的和匹配度最差的：
不過(guò)，從生成示例中來(lái)看，這個(gè)AI還原出來(lái)的圖像效果，確實(shí)不算太好。
即使是還原度最高的圖像，仍然受到了一些網(wǎng)友的質(zhì)疑：為什么熊貓看起來(lái)完全不像熊貓？
作者表示：至少像黑白熊。（熊貓震怒?。?/p>
當(dāng)然，研究人員也承認(rèn)，MEG數(shù)據(jù)復(fù)原出來(lái)的圖像效果，確實(shí)目前還不太行，主要優(yōu)勢(shì)還是在速度上。
例如之前來(lái)自明尼蘇達(dá)大學(xué)等機(jī)構(gòu)的一項(xiàng)名為7T fMRI的研究，就能以較高的復(fù)原度從fMRI數(shù)據(jù)中還原出人眼看到的圖像。
無(wú)論是人類的沖浪動(dòng)作、飛機(jī)的形狀、斑馬的顏色、火車的背景，基于fMRI數(shù)據(jù)訓(xùn)練的AI都能更好地將圖像還原出來(lái)：
對(duì)此，作者們也給出了解釋，認(rèn)為這是因?yàn)锳I基于MEG還原出來(lái)的視覺特征偏高級(jí)。
但相比之下，7T fMRI可以提取并還原出圖像中更低級(jí)的視覺特征，這樣生成的圖像整體還原度更高。
你覺得這類研究可以被用在哪些地方？
論文地址：
https://ai.meta.com/static-resource/image-decoding
熱門課程推薦
熱門資訊
-
1. 照片變漫畫效果，這4個(gè)方法操作簡(jiǎn)單有效，快來(lái)試試吧！
想將照片變成漫畫效果？這篇文章分享了4個(gè)方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡(jiǎn)單操作就能實(shí)現(xiàn)，快來(lái)嘗試一下吧！
-
2. 華為手機(jī)神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議，通過(guò)簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點(diǎn)擊查看！
-
3. 四款值得推薦的AI以圖生圖軟件，有需要的趕緊來(lái)試試!
近年來(lái),人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語(yǔ)以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動(dòng)起來(lái)，創(chuàng)意無(wú)限！
Viggle AI是一款免費(fèi)制作視頻的AI工具，能讓靜態(tài)人物圖片動(dòng)起來(lái)，快來(lái)了解Viggle AI的功能和優(yōu)勢(shì)吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來(lái)詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說(shuō)關(guān)于怎么樣利用AI來(lái)提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來(lái),我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來(lái)盈利的漫畫。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
8. AI顯卡繪畫排行榜:4090無(wú)懸念，最具性價(jià)比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價(jià)比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來(lái)...
-
10. 一款免費(fèi)無(wú)限制的AI視頻生成工具火了!國(guó)內(nèi)無(wú)障礙訪問(wèn)!附教程
人人都可以動(dòng)手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊(cè)后,點(diǎn)擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
最新文章
