激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

AI模型學(xué)會(huì)了玩《我的世界》:砍樹(shù)、造箱子、制作石鎬樣樣不差

發(fā)布時(shí)間：2024-06-09 20:20:08 瀏覽量：380次

AI“學(xué)會(huì)”了在《我的世界》中玩耍：砍樹(shù)、制作箱子、打造石鎬樣樣在行

《我的世界》里，玩家不一定都是人類，現(xiàn)在 AI 也會(huì)玩了。

《我的世界》是全球知名度最高的開(kāi)放世界游戲。小朋友只需觀看十分鐘的教學(xué)視頻，就能學(xué)會(huì)在游戲中尋找稀有的鉆石，但這卻是 AI 此前無(wú)法企及的高度。

今天 OpenAI 的研究團(tuán)隊(duì)宣布他們開(kāi)發(fā)了一種能玩《我的世界》的智能體，其中使用《我的世界》游戲大量未標(biāo)記視頻數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，僅使用少量標(biāo)記數(shù)據(jù)。

論文地址：點(diǎn)擊咨詢

我們先來(lái)看下效果，模型建造一個(gè)簡(jiǎn)陋的木制避難所：

制作石鎬

VPT 方法

互聯(lián)網(wǎng)包含大量可供我們學(xué)習(xí)的公開(kāi)視頻，例如游戲玩家演示游戲玩法，《我的世界》玩家建造一個(gè)錯(cuò)綜復(fù)雜的房子。然而這些視頻只提供了事情發(fā)生的記錄，而不是確切的實(shí)現(xiàn)方式，即沒(méi)有說(shuō)明鼠標(biāo)移動(dòng)和按鍵的確切順序。

相比于 OpenAI 的大型語(yǔ)言模型，要在視頻游戲等更通用領(lǐng)域構(gòu)建大型基礎(chǔ)模型（foundation model），缺乏動(dòng)作標(biāo)簽帶來(lái)了新的挑戰(zhàn)。

為了利用互聯(lián)網(wǎng)上可用的大量未標(biāo)記視頻數(shù)據(jù)，該研究提出了一種新穎但簡(jiǎn)單的半監(jiān)督模仿學(xué)習(xí)方法：視頻預(yù)訓(xùn)練（VPT）。

該研究首先從游戲商家那里收集了一個(gè)小型數(shù)據(jù)集，其中不僅記錄了玩游戲的視頻，還記錄了玩家采取的行動(dòng)，即按鍵和鼠標(biāo)的移動(dòng)。利用這些數(shù)據(jù)，該研究訓(xùn)練了一個(gè)逆動(dòng)力學(xué)模型 (IDM)，以預(yù)測(cè)視頻中每個(gè)步驟所采取的動(dòng)作。重要的是，IDM 可以使用過(guò)去和未來(lái)的信息來(lái)猜測(cè)每一步動(dòng)作。與僅給定過(guò)去視頻幀預(yù)測(cè)動(dòng)作的行為克隆任務(wù)相比，這種任務(wù)要容易得多，需要的數(shù)據(jù)也要少得多。然后該研究使用經(jīng)過(guò)訓(xùn)練的 IDM 來(lái)標(biāo)記更大的在線視頻數(shù)據(jù)集，并通過(guò)行為克隆來(lái)學(xué)習(xí)行動(dòng)。

VPT 零樣本結(jié)果

該研究選擇《我的世界》這個(gè)游戲中驗(yàn)證了所提方法，因?yàn)樗?(1) 是世界上最流行的視頻游戲之一，擁有大量可免費(fèi)獲得的視頻數(shù)據(jù)，并且 (2) 是開(kāi)放式的，可以提供各種各樣的行為動(dòng)作，類似于現(xiàn)實(shí)世界的應(yīng)用程序（如計(jì)算機(jī)使用）。與之前的工作在《我的世界》中使用簡(jiǎn)化動(dòng)作空間不同，OpenAI 的新模型使用更普遍適用、難度也更大的原生人機(jī)界面：鼠標(biāo)和鍵盤使用 20Hz 幀率。

該研究的行為克隆模型（VPT 基礎(chǔ)模型）使用 70000 小時(shí)的 IDM 標(biāo)記在線視頻進(jìn)行訓(xùn)練，在《我的世界》中完成了強(qiáng)化學(xué)習(xí)幾乎不可能實(shí)現(xiàn)的任務(wù)。新模型學(xué)會(huì)了砍樹(shù)收集原木，將原木制作成木板，然后將木板制作成箱子；這個(gè)行為序列對(duì)于《我的世界》高級(jí)玩家在約 50 秒內(nèi)執(zhí)行 1000 個(gè)連續(xù)的游戲動(dòng)作。

《我的世界》制作箱子過(guò)程中每一步所需的動(dòng)作數(shù)目和時(shí)間。

此外，該模型還可以執(zhí)行人類在游戲中經(jīng)常執(zhí)行的其他復(fù)雜技能，例如游泳、狩獵動(dòng)物、食用食物以及一些《我的世界》專用技能。

游泳。

狩獵。

食用食物。

VPT 讓智能體通過(guò)觀看互聯(lián)網(wǎng)上的大量視頻就可以進(jìn)行學(xué)習(xí)鋪平了道路。與只會(huì)產(chǎn)生表征先驗(yàn)的生成視頻建?；?qū)Ρ确椒ㄏ啾?，VPT 提供了在更多領(lǐng)域可以直接學(xué)習(xí)大規(guī)模行為先驗(yàn)的可能性，而不僅僅是語(yǔ)言。

此外，該研究還開(kāi)源了數(shù)據(jù)、《我的世界》所需環(huán)境、模型代碼、模型權(quán)重，他們希望這些開(kāi)源有助于未來(lái) VPT 的研究。

原文鏈接：點(diǎn)擊咨詢

熱門課程推薦

熱門資訊

請(qǐng)綁定手機(jī)號(hào)

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會(huì)在第一時(shí)間與您取得聯(lián)系，請(qǐng)保持電話暢通！
確定