再回來看 異形AI

我們知道，異形AI是控制異形行為的系統(tǒng)。它永遠(yuǎn)不會(huì)從管理者AI哪里得到有關(guān)玩家位置的信息。它會(huì)得到的信息包括大概在什么位置進(jìn)行搜尋。剩下就只能靠自己來找到玩家了。它確實(shí)有一些工具可以幫助它找到玩家。 第一個(gè)是傳感器系統(tǒng)，它允許異形接收環(huán)境中的音頻和視覺提示。諸如腳步聲、槍聲、門的開啟，甚至是運(yùn)動(dòng)追蹤器的嘟嘟聲等噪音，所有這些都有助于異形追蹤玩家。音頻范圍取決于創(chuàng)建的噪音類型。 除了音頻傳感器之外，異形還可以接收視覺傳感器，例如瞥見Ripley（某人）跑過去，或看到一扇門在視野中打開等。

異形追捕玩家的另一個(gè)工具是搜索系統(tǒng)。 （游戲）開發(fā)人員已確定有一些特定區(qū)域是異形預(yù)先編程會(huì)搜索的隱藏點(diǎn)。 但是，它不會(huì)以任何特定順序去搜索它們，甚至?xí)俅螜z查已經(jīng)索索過的區(qū)域。 當(dāng)然，如果異形聽到噪音或看到視覺提示，它也可能會(huì)搜索開發(fā)人員沒有特別指定的區(qū)域。

這個(gè)游戲被最常討論的話題是異形如何隨著游戲的進(jìn)行更多地了解玩家。當(dāng)它學(xué)習(xí)關(guān)于玩家游戲風(fēng)格的某些特征時(shí)，它所做的動(dòng)作似乎變得更加復(fù)雜。 令人驚訝的是，開發(fā)人員實(shí)現(xiàn)這一目標(biāo)的方式并不是通過將復(fù)雜的神經(jīng)網(wǎng)絡(luò)構(gòu)建到異形的AI系統(tǒng)。 為了展示游戲如何實(shí)現(xiàn)這種異形學(xué)習(xí)感，我們需要回顧外星A.I.的行為決策樹。

Figure 6 (Simpson, 2014)

在游戲開始時(shí)，這個(gè)行為樹的某些部分對(duì)于異形是屏蔽的。 被屏蔽的區(qū)域是異形無法訪問的，這意味著它無法實(shí)現(xiàn)某些行為和動(dòng)作。比如說，在游戲開始時(shí)，對(duì)遠(yuǎn)處有門打開的聲音做出相應(yīng)的行為樹是沒有激活的。如果玩家在異形的視野中打開一扇門，它可以解鎖行為樹的那一部分，以便將來打開門的聲音會(huì)觸發(fā)響應(yīng)。 隨著玩家在游戲中的進(jìn)展，越來越多的異形的行為樹被解鎖。這給人一種幻覺，即異形正在學(xué)習(xí)并適應(yīng)玩家的游戲風(fēng)格。

視頻游戲中的遺傳神經(jīng)網(wǎng)絡(luò)(genetic neutral network)

如果沒有至少提及將神經(jīng)網(wǎng)絡(luò)應(yīng)用于視頻游戲，那么本文將不完整。最近有一些非常有名的例子，一個(gè)是AI擊敗了專業(yè)的Dota 2團(tuán)隊(duì)。然而，涵蓋這一主題的最佳方式是從小規(guī)模開始建立基本的認(rèn)知，關(guān)于神經(jīng)網(wǎng)絡(luò)如何學(xué)習(xí)視頻游戲的目標(biāo)和策略。

Figure 7 (Comi, 2018)

為了方便理解，我們選用貪吃蛇游戲作為例子。對(duì)于那些不熟悉的人來說，貪吃蛇是一款2D游戲，您可以控制一系列方塊（被稱為蛇）。你有三種運(yùn)動(dòng)選擇：左，右或直前。 如果你碰到墻壁或撞到你的尾巴，你會(huì)立即死亡并重新開始。有一個(gè)點(diǎn)可以收集（稱為食物），使你的尾巴長出一個(gè)方格。 所以你吃得越多，你就越長。

讓我們想象一下，我們想教我們的蛇如何獲得盡可能高的分?jǐn)?shù)。 為了讓我們的蛇在這個(gè)世界上生存，它需要學(xué)習(xí)一些東西。 為了讓我們的蛇學(xué)習(xí)，需要提供有關(guān)環(huán)境的信息。我們將我們提供的這些信息稱為輸入。 這些輸入可以是我們掌握的任何信息。 例如，我們的輸入可能是以下6個(gè)是/否問題：前方是否通暢，左邊是否通暢，右邊是否通暢，食物是在前邊，食物是在左邊，食物是在右邊（Designing AI，2017）。根據(jù)每個(gè)問題的答案，這將提供6個(gè)輸入節(jié)點(diǎn)，每個(gè)階段包含兩個(gè)值1或0。 然而，這些輸入也可以測(cè)量蛇的頭部和墻壁之間或它的尾巴或食物之間的距離。 為簡(jiǎn)單起見，讓我們僅保留6個(gè)輸入節(jié)點(diǎn)在示例中。

接下來我們需要告訴我們的蛇是我們想要它實(shí)現(xiàn)的目標(biāo)。 為了傳達(dá)我們期望的目標(biāo)，我們實(shí)施獎(jiǎng)勵(lì)制度。 例如，我們可能每次向食物移動(dòng)一步時(shí)給我們的蛇1分，并且每次它吃食物并且長度增長時(shí)可能會(huì)得到10分。然而，當(dāng)Binggeser（設(shè)計(jì)AI，2017）為他的蛇實(shí)施這些獎(jiǎng)勵(lì)時(shí)，他意識(shí)到他的蛇只會(huì)在一個(gè)非常小的圈子里移動(dòng)。 通過這種方式，他的蛇能夠在避開墻壁和長尾帶來的危險(xiǎn)的同時(shí)提高積分。 顯然，這不是預(yù)期的結(jié)果。在初始模型中需要進(jìn)行某種類型的懲罰，當(dāng)蛇離開食物時(shí)，它會(huì)移除點(diǎn)。 這促使蛇主要向食物的方向移動(dòng)。

所以現(xiàn)在我們有一條蛇，它擁有來自環(huán)境的信息和一個(gè)定義目標(biāo)是什么的獎(jiǎng)勵(lì)系統(tǒng)。 我們從哪里去？ 我們的蛇如何真正學(xué)會(huì)如何玩游戲？ 在這一點(diǎn)上，快速了解神經(jīng)網(wǎng)絡(luò)的實(shí)際工作方式將會(huì)很有幫助。

分代神經(jīng)網(wǎng)絡(luò)(Generational Neural Network)

分代神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相同。 它從一定數(shù)量的輸入節(jié)點(diǎn)開始，然后注入到一個(gè)或多個(gè)隱藏層，最終提供輸出。 這是一個(gè)很好的示例：

Figure 8 (Comi, 2018)

對(duì)于蛇示例，我們將有6個(gè)輸入節(jié)點(diǎn)，這是我們之前定義的6個(gè)是/否問題：前方是否通暢，左邊是否通暢，右邊是否通暢，食物是在前邊，食物是在左邊，食物是在右邊. 每個(gè)輸入節(jié)點(diǎn)通過權(quán)重到每個(gè)第一隱藏層節(jié)點(diǎn)。在圖8中，我們看到連接到每個(gè)節(jié)點(diǎn)的所有線（權(quán)重）。這些權(quán)重是我們的模型將不斷調(diào)整的，隨著它學(xué)習(xí)到哪些輸入會(huì)加強(qiáng)或削弱，從而提供最準(zhǔn)確的輸出。 在我們的例子中，“最準(zhǔn)確的輸出”被定義為“收集最高分?jǐn)?shù)的蛇”。 請(qǐng)記住，我們的蛇獲得了向食物移動(dòng)的分?jǐn)?shù)，它可以獲得更多吃食物的積分，并且它也會(huì)因?yàn)檫h(yuǎn)離食物得到負(fù)分。

分代神經(jīng)網(wǎng)絡(luò)“學(xué)習(xí)”的方式是首先確定每一代的大?。僭O(shè)我們希望每一代都包含200條蛇）。 接下來，它為第一代200條蛇中的每條蛇的重量做小的調(diào)整，然后它運(yùn)行第一代的200條蛇中的每條蛇并選擇最成功的蛇（獲得最多分的蛇）。假設(shè)我們選擇了在我們的第一代獲得最多積分的前10名蛇（前5％）。 這10條蛇隨后成為第二代的“父母”。 這10條蛇的權(quán)重會(huì)用于定義第二代的起點(diǎn)。 第二代200條蛇的表現(xiàn)將再次對(duì)這些權(quán)重做小的調(diào)整，最佳表現(xiàn)者將被選為第三代的“父母”，依此類推。

回到貪吃蛇游戲中來：

所以，正如我們上面所看到的，我們可以反復(fù)運(yùn)行我們的第一代蛇形模型（我們上面運(yùn)行了200次），通過稍微改變每個(gè)權(quán)重，看到蛇出現(xiàn)的各種變化。 然后，我們選擇將繼續(xù)影響第二代神經(jīng)網(wǎng)絡(luò)權(quán)重的最佳表現(xiàn)者。 我們會(huì)為每一代重復(fù)這個(gè)過程，直到蛇的學(xué)習(xí)速度開始趨于平穩(wěn)（換句話說，直到分代進(jìn)步減緩或停止）也許在第一代，第二代和第三代中，沒有一條蛇吃到過一塊食物，因此從未得到過食物獎(jiǎng)勵(lì)的10分。 然而，也許在第四代一條蛇就會(huì)吃到一塊食物。這條蛇可能擁有當(dāng)代蛇中最高的分?jǐn)?shù)，因此將被選中以影響后代。基于最成功的蛇祖先，將改變后代的權(quán)重。 經(jīng)過10代，100代甚至1000代之后，您可以想象會(huì)學(xué)到多少。

視頻游戲AI技術(shù)在現(xiàn)實(shí)世界中的應(yīng)用

正在視頻游戲行業(yè)中使用的相同類型的強(qiáng)化學(xué)習(xí)也正成功應(yīng)用于其他行業(yè)。例如，已經(jīng)預(yù)先編程了“交通規(guī)則，道路和汽車物理”（Luzgin，2018）的俠盜獵車手(Grand Theft Auto)游戲已經(jīng)被用來為測(cè)試自動(dòng)駕駛汽車算法提供安全和現(xiàn)實(shí)的環(huán)境。它不僅安全而實(shí)際，而且與現(xiàn)實(shí)世界相比，在虛擬環(huán)境中收集數(shù)據(jù)的速度也快了1000倍（Luzgin，2018）。

“視頻游戲是訓(xùn)練人工智能算法的一種很好的方式，因?yàn)樗鼈冎荚谧屓祟愃季S逐漸進(jìn)入更難和更難的挑戰(zhàn)?！保↙uzgin，2018）

A.I.的最新進(jìn)展之一 視頻游戲是由Open AI的研究人員制作的。 Open AI創(chuàng)建了一個(gè)基于算法的游戲，其唯一目的就是以自然的好奇心探索。獎(jiǎng)勵(lì)系統(tǒng)專注于獎(jiǎng)勵(lì)進(jìn)一步進(jìn)入游戲的探索。 研究人員將這種好奇心驅(qū)動(dòng)的模型放入了超級(jí)馬里奧兄弟的游戲中，它成功地通過了11級(jí)，純粹是出于好奇心的驅(qū)動(dòng)。顯然，這有一些缺點(diǎn)，因?yàn)樗枰薮蟮挠?jì)算能力，機(jī)器很容易分心。 然而，對(duì)于第一次玩游戲的人類玩家來說，這也是相同的。正如Luzgin在他的文章中所提到，“嬰兒似乎采用無目標(biāo)探索來學(xué)習(xí)將來在生活中有用的技能?！边@種無目標(biāo)探索的感覺在整個(gè)生命中持續(xù)存在，但最明顯的例子還是探索視頻游戲的虛擬環(huán)境。

總結(jié)：

有許多形式的A.I. 在今天的視頻游戲行業(yè)中使用。 無論是簡(jiǎn)單的FSM模型還是可以從環(huán)境中的反饋中學(xué)習(xí)的先進(jìn)的神經(jīng)網(wǎng)絡(luò)，都為AI的發(fā)展提供了無窮無盡的可能性，無論是游戲行業(yè)還是其他行業(yè)。（完）

看了這么多關(guān)于AI技術(shù)在游戲開發(fā)中的介紹，想不想親身體驗(yàn)一下，在游戲中使用AI的過程呢？ UWA學(xué)堂邀請(qǐng)到了吉利汽車研究院的軟件開發(fā)主管張聘老師，帶著大家一起學(xué)習(xí)《機(jī)器學(xué)習(xí)驅(qū)動(dòng)的游戲AI技術(shù)》，結(jié)合當(dāng)下最時(shí)髦的機(jī)器學(xué)習(xí)，帶您從理論到實(shí)踐，體驗(yàn)AI游戲的制作過程。快來掃描下圖中的二維碼，加入學(xué)習(xí)吧，讓您的游戲更加智能~~~