發(fā)布時(shí)間:2024-05-21 09:38:24 瀏覽量:144次
Google DeepMind發(fā)布了新的Robotic Transformer 2(RT-2),這是一種視覺-語(yǔ)言-動(dòng)作(VLA)模型,可以將知識(shí)轉(zhuǎn)化為機(jī)器人控制的通用指令。
RT-2建立在Robotic Transformer 1(RT-1)的基礎(chǔ)上,通過(guò)多任務(wù)演示訓(xùn)練,展現(xiàn)出超越機(jī)器人數(shù)據(jù)的泛化能力。
RT-2以VLM為基礎(chǔ),實(shí)現(xiàn)了對(duì)機(jī)器人的控制,通過(guò)Pathways Language and Image model (PaLI-X)和Pathways Language model Embodied (PaLM-E)的支柱。
相比之前的模型,RT-2的泛化性能大幅提高,Google DeepMind進(jìn)行了大量機(jī)器人試驗(yàn)并展示了優(yōu)秀的機(jī)器人策略。
從VLM到VLA,主要進(jìn)展在于將機(jī)器人動(dòng)作指令直接作為模型token輸出,省去了VLM模型將輸出的指令翻譯成底層控制信號(hào)的步驟。
RT-2表明VLM可以轉(zhuǎn)化為強(qiáng)大的VLA模型,通過(guò)PaLI-X和PaLM-E帶來(lái)了高度改進(jìn)的機(jī)器人策略和更好的泛化性能。
ViT模型將語(yǔ)言模型的transformer架構(gòu)用于視覺模型,統(tǒng)一了CV和NLP的架構(gòu)。2020年,谷歌推出Vision Transformer(ViT)模型,證明了直接將Transformer結(jié)構(gòu)應(yīng)用于視覺模型的成功。
機(jī)器人軟件模型算法不斷提升,有望加速提升通用機(jī)器人與行業(yè)機(jī)器人的可能性,帶動(dòng)下游需求產(chǎn)生。
行業(yè)機(jī)器人分為工業(yè)機(jī)器人、服務(wù)機(jī)器人和特種機(jī)器人,將有望廣泛應(yīng)用于各個(gè)行業(yè)領(lǐng)域。
行業(yè)機(jī)器人的發(fā)展將加速行業(yè)智能化進(jìn)程,多模態(tài)GPT的快速發(fā)展助力機(jī)器人在交互、規(guī)劃、泛化和感知能力方面提升。
火星時(shí)代教育認(rèn)為機(jī)器人軟件系統(tǒng)迭代加速,將推動(dòng)機(jī)器人應(yīng)用在各個(gè)行業(yè)領(lǐng)域。我們期待在未來(lái)幾年內(nèi)看到機(jī)器人在智能家居、通用機(jī)器人、虛擬現(xiàn)實(shí)等領(lǐng)域的應(yīng)用。
機(jī)器人技術(shù)迭代不及預(yù)期風(fēng)險(xiǎn):若機(jī)器人技術(shù)迭代不及預(yù)期,則可能對(duì)產(chǎn)業(yè)鏈相關(guān)公司造成不利影響。
經(jīng)濟(jì)下行超預(yù)期風(fēng)險(xiǎn):宏觀經(jīng)濟(jì)景氣度下行可能影響整個(gè)產(chǎn)業(yè)鏈的發(fā)展和增長(zhǎng)。
行業(yè)競(jìng)爭(zhēng)加劇風(fēng)險(xiǎn):行業(yè)內(nèi)競(jìng)爭(zhēng)加劇可能會(huì)對(duì)企業(yè)增長(zhǎng)產(chǎn)生威脅。
熱門資訊
1. 照片變漫畫效果,這4個(gè)方法操作簡(jiǎn)單有效,快來(lái)試試吧!
想將照片變成漫畫效果?這篇文章分享了4個(gè)方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡(jiǎn)單操作就能實(shí)現(xiàn),快來(lái)嘗試一下吧!
2. 華為手機(jī)神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議,通過(guò)簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點(diǎn)擊查看!
3. 四款值得推薦的AI以圖生圖軟件,有需要的趕緊來(lái)試試!
近年來(lái),人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語(yǔ)以及上傳參考圖就能智能高效生成符合要求的...
4. AI視頻制作神器Viggle:讓靜態(tài)人物動(dòng)起來(lái),創(chuàng)意無(wú)限!
Viggle AI是一款免費(fèi)制作視頻的AI工具,能讓靜態(tài)人物圖片動(dòng)起來(lái),快來(lái)了解Viggle AI的功能和優(yōu)勢(shì)吧!
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來(lái)詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說(shuō)關(guān)于怎么樣利用AI來(lái)提高生產(chǎn)效率、還能做什么AI...
6. 零基礎(chǔ)10分鐘生成漫畫,教大家如何用AI生成自己的漫畫
接下來(lái),我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來(lái)盈利的漫畫。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
7. AI顯卡繪畫排行榜:4090無(wú)懸念,最具性價(jià)比出人意料
在AI繪圖領(lǐng)域,Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn),以及2023年3月顯卡AI繪圖效率排行榜和性價(jià)比排行榜。歡迎查看最新的AI顯卡算力排行榜。
8. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來(lái)...
10. 10個(gè)建筑AI工具,從設(shè)計(jì)到施工全覆蓋!肯定有你從來(lái)沒聽過(guò)的
講述了建筑業(yè)比較著名的AI公司小庫(kù)科技做出的探索,在這兒就不多說(shuō)了。今天,我們?cè)囍谝?guī)劃設(shè)計(jì)、建筑方案設(shè)計(jì)、住宅設(shè)計(jì)、管道設(shè)計(jì)、出渲染圖、3D掃...
最新文章
同學(xué)您好!