激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

發(fā)布時間：2023-11-06 11:37:15 瀏覽量：100次

請大模型當(dāng)專家，遇事就討論一下

北大前沿計算研究中心 投稿

|  

北京大學(xué)董豪團(tuán)隊具身導(dǎo)航最新成果來了：

無需額外建圖和訓(xùn)練，只需說出導(dǎo)航指令，如：

Walk forward across the room and walk through the panty followed by the kitchen. Stand at the end of the kitchen

我們就能控制機(jī)器人靈活移動。

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

在此，機(jī)器人靠的是主動與大模型構(gòu)成的“專家團(tuán)隊”溝通完成指令分析、視覺感知、完成估計和決策測試等一系列視覺語言導(dǎo)航關(guān)鍵任務(wù)。

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

目前項目主頁和論文都已上線，代碼即將推出：

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

機(jī)器人如何根據(jù)人類指令導(dǎo)航？

視覺語言導(dǎo)航涉及到一系列子任務(wù)，包括指令分析，視覺感知，完成估計和決策測試。

這些關(guān)鍵任務(wù)需要不同領(lǐng)域知識，它們環(huán)環(huán)相扣決定機(jī)器人的導(dǎo)航能力。

受到現(xiàn)實中專家討論行為的啟發(fā)，北大董豪團(tuán)隊提出DiscussNav導(dǎo)航系統(tǒng)。

作者首先以提示方式賦予LLM（大語言模型）和MLM（多模態(tài)大模型）專家角色和特定任務(wù)，激活它們的領(lǐng)域知識和能力，由此構(gòu)建具備不同特長的視覺導(dǎo)航專家團(tuán)隊。

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

然后，作者設(shè)計了討論問題語料庫和討論機(jī)制，遵循該機(jī)制，由LLM驅(qū)動的導(dǎo)航機(jī)器人可以主動發(fā)起一系列與視覺導(dǎo)航專家的討論。

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

在每一步移動前，導(dǎo)航機(jī)器人都會與專家討論來理解人類指令中要求的動作和提及的物體標(biāo)志。

進(jìn)而依據(jù)這些物體標(biāo)志的類型有傾向性地對周圍環(huán)境進(jìn)行感知，指令完成情況估計，由此做出初步的移動決策。

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

在決策過程中，導(dǎo)航機(jī)器人會根據(jù)Chain-of-Thought（思維鏈）同時生成N個獨立的預(yù)測結(jié)果，當(dāng)這些預(yù)測結(jié)果之間不一致時，機(jī)器人會向決策測試專家求助，篩選出最終的移動決策。

從這個過程我們可以看到，相比傳統(tǒng)方法需要進(jìn)行額外的預(yù)訓(xùn)練，這個方法通過與大模型專家交互指導(dǎo)機(jī)器人根據(jù)人類指令移動，直接解決了機(jī)器人導(dǎo)航訓(xùn)練數(shù)據(jù)稀缺的問題。

更進(jìn)一步，正是由于這個特點，它也實現(xiàn)了零樣本能力，只要遵循以上討論流程，就能follow多樣的導(dǎo)航指令。

以下是DiscussNav在經(jīng)典的視覺語言導(dǎo)航數(shù)據(jù)集Room2Room上的表現(xiàn)。

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

可以看到，它顯著高于所有零樣本方法，甚至超過兩個經(jīng)過訓(xùn)練的方法。

作者進(jìn)一步在Turtlebot4移動機(jī)器人上開展真實室內(nèi)場景導(dǎo)航實驗。

憑借專家角色扮演和討論激發(fā)出的大模型強(qiáng)大的語言和視覺泛化能力，DiscussNav在真實世界的表現(xiàn)明顯優(yōu)于之前最優(yōu)的零樣本方法和經(jīng)過預(yù)訓(xùn)練微調(diào)的方法， 展現(xiàn)出良好的sim-to-real遷移能力。

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

通過實驗，作者進(jìn)一步發(fā)現(xiàn)，DiscussNav產(chǎn)生了4個強(qiáng)大的能力：

1、識別開放世界物體，比如“白色桌子上的機(jī)械手臂”，“椅子上的泰迪熊”。

2、識別細(xì)粒度的導(dǎo)航標(biāo)志物體，比如“廚房柜臺上的植物”，“桌上的紙箱”。

3、糾正其它專家在討論中回復(fù)的錯誤信息，比如標(biāo)志提取專家在從導(dǎo)航動作序列提取導(dǎo)航標(biāo)志前會檢查并糾正被錯誤分解的動作序列。

4、排除不一致的移動決策，比如決策測試專家們可以根據(jù)當(dāng)前環(huán)境信息從DiscussNav預(yù)測的多個不一致的移動決策中選擇最合理的一個作為最終移動決定。

“仿真和大模型先驗是Free Lunch”

通訊作者董豪在之前的報告中提出，深入探索如何有效利用仿真數(shù)據(jù)和大模型從海量數(shù)據(jù)中學(xué)習(xí)到的先驗知識是未來具身智能研究的發(fā)展方向。

目前受限于數(shù)據(jù)規(guī)模和探索真實環(huán)境的高昂成本，具身智能研究仍將重點關(guān)注仿真平臺實驗和仿真數(shù)據(jù)訓(xùn)練。

近期大模型的進(jìn)展為具身智能提供新方向，合理發(fā)掘和利用大模型中存在的語言常識和物理世界先驗將推動具身智能發(fā)展。

北大具身智能新成果：無需訓(xùn)練，聽指令就能靈活走位

論文地址：
https://arxiv.org/abs/2309.11382
參考鏈接：
https://zsdonghao.github.io/
https://sites.google.com/view/discussnav

熱門課程推薦

熱門資訊

請綁定手機(jī)號

獲取驗證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定