激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

發(fā)布時間：2023-11-27 12:05:05 瀏覽量：113次

Ilya：數(shù)據(jù)限制可以被突破

夢晨 發(fā)自 凹非寺
|公眾號QbitAI

OpenAI宮斗大戲剛剛落幕，馬上又掀起另一場軒然大波！

路透社曝光，在奧特曼被解雇之前，幾位研究人員給董事會寫的警告信可能是整個事件導火索：

內(nèi)部名為Q?（發(fā)音為Q-Star）*的下一代AI模型，過于強大和先進，可能會威脅人類。

Q*正是由這場風暴的中心人物，首席科學家Ilya Sutskever主導。

人們迅速把奧特曼此前在APEC峰會上的發(fā)言聯(lián)系在了一起：

OpenAI歷史上已經(jīng)有過四次，最近一次就是在過去幾周，當我們推開無知之幕并抵達探索發(fā)現(xiàn)的前沿時，我就在房間里，這是職業(yè)生涯中的最高榮譽。”

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

Q*可能有以下幾個核心特性，被認為是通往AGI或超級智能的關鍵一步。

  • 突破了人類數(shù)據(jù)的限制，可以自己生產(chǎn)巨量訓練數(shù)據(jù)
  • 有自主學習和自我改進的能力

這則消息迅速引發(fā)了巨大討論，馬斯克也帶著鏈接來追問。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

最新的梗圖則是，好像一夜之間，人們都從研究奧特曼和OpenAI董事會的專家，變成了Q*專家。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

突破數(shù)據(jù)限制

根據(jù)來自The Information的最新消息，Q*的前身是GPT-Zero，這個項目由Ilya Sutskever發(fā)起，名字致敬了DeepMind的Alpha-Zero。

Alpha-Zero無需學習人類棋譜，通過自己跟自己博弈來掌握下圍棋。

GPT-Zero讓下一代AI模型不用依賴互聯(lián)網(wǎng)上抓取的文本或圖片等真實世界數(shù)據(jù)，而是使用合成數(shù)據(jù)訓練。

2021年，GPT-Zero正式立項，此后并未有太多直接相關的消息傳出。

但就在幾周前，Ilya在一次訪談中提到：

不談太多細節(jié)，我只想說數(shù)據(jù)限制是可以被克服的，進步仍將繼續(xù)。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

在GPT-Zero的基礎上，由Jakub Pachocki和Szymon Sidor開發(fā)出了Q*。

兩人都是OpenAI早期成員，也都是第一批宣布要跟著奧特曼去微軟的成員。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

Jakub Pachocki上個月剛剛晉升研究總監(jiān)，過去很多突破包括Dota 2項目和GPT-4的預訓練，他都是核心貢獻者。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

Szymon Sidor同樣參與過Dota 2項目，個人簡介是“正在造AGI，一行代碼接一行代碼”。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

在路透社的消息中，提到給Q*提供龐大的計算資源，能夠解決某些數(shù)學問題。雖然目前數(shù)學能力僅達到小學水平，但讓研究者對未來的成功非常樂觀。

另外還提到了OpenAI成立了“AI科學家”新團隊，由早期的“Code Gen”和“Math Gen”兩個團隊合并而來，正在探索優(yōu)化提高AI的推理能力，并最終開展科學探索。

三種猜測

關于Q*到底是什么沒有更具體的消息傳出，但一些人從名字猜測可能與Q-Learning有關。

Q-Learning可以追溯到1989年，是一種無模型強化學習算法，不需要對環(huán)境建模，即使對帶有隨機因素的轉(zhuǎn)移函數(shù)或者獎勵函數(shù)也無需特別改動就可以適應。

與其他強化學習算法相比，Q-Learning專注于學習每個狀態(tài)-行動對的價值，以決定哪個動作在長期會帶來最大的回報，而不是直接學習行動策略本身。

第二種猜測是與OpenAI在5月發(fā)布的通過“過程監(jiān)督”而不是“結(jié)果監(jiān)督”解決數(shù)學問題有關。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

但這一研究成果的貢獻列表中并未出現(xiàn)Jakub Pachocki和Szymon Sidor的名字。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

另外有人猜測，7月份加入OpenAI的“德?lián)銩I之父”Noam Brown也可能與這個項目有關。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

他在加入時曾表示要把過去只適用于游戲的方法通用化，推理可能會慢1000被成本也更高，但可能發(fā)現(xiàn)新藥物或證明數(shù)學猜想。

符合傳言中“需要巨大計算資源”和“能解決一定數(shù)學問題”的描述。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

雖然更多的都還是猜測，但合成數(shù)據(jù)和強化學習是否能把AI帶到下一個階段，已經(jīng)成了業(yè)內(nèi)討論最多的話題之一。

英偉達科學家范麟熙認為，合成數(shù)據(jù)將提供上萬億高質(zhì)量的訓練token，關鍵問題是如何保持質(zhì)量并避免過早陷入瓶頸。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

馬斯克同意這個看法，并提到人類所寫的每一本書只需一個硬盤就能裝下，合成數(shù)據(jù)將遠遠超出這個規(guī)模。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

但圖靈獎三巨頭中的LeCun認為，更多合成數(shù)據(jù)只是權宜之計，最終還是需要讓AI像人類或動物一樣只需極少數(shù)據(jù)就能學習。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

萊斯大學博士Cameron R. Wolfe表示，Q-Learning可能并不是解鎖AGI的秘訣。

但將“合成數(shù)據(jù)”與“數(shù)據(jù)高效的強化學習算法”相結(jié)合，可能正是推進當前人工智能研究范式的關鍵。

他表示，通過強化學習微調(diào)是訓練高性能大模型（如ChatGPT/GPT-4）的秘訣。但強化學習本質(zhì)上數(shù)據(jù)低效，使用人工手動標注數(shù)據(jù)集進行強化學習微調(diào)非常昂貴?？紤]到這一點，推進AI研究（至少在當前范式中）將嚴重依賴于兩個基本目標：

  • 讓強化學習在更少數(shù)據(jù)下表現(xiàn)更好。
  • 盡可能使用大模型和少量人工標注數(shù)據(jù)合成生成高質(zhì)量數(shù)據(jù)。

……如果我們堅持使用Decoder-only Transformer的預測下一個token范式（即預訓練 -> SFT -> RLHF）……這兩種方法結(jié)合將使每個人都可以使用尖端的訓練技術，而不僅僅是擁有大量資金的研究團隊！

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

One More Thing

OpenAI內(nèi)部目前還沒有人對Q*的消息發(fā)表回應。

但奧特曼剛剛透露與留在董事會的Quora創(chuàng)始人Adam D’Angelo進行了幾個小時的友好談話。

OpenAI新模型Q*的三種猜測，奧特曼：推開無知之幕，Ilya：數(shù)據(jù)限制可以被突破

看來無論Adam D’Angelo是否像大家猜測的那樣是這次事件的幕后黑手，現(xiàn)在都達成和解了。

參考鏈接：
[1]https://www.theinformation.com/articles/openai-made-an-ai-breakthrough-before-altman-firing-stoking-excitement-and-concern
[2]https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/
[3]https://www.youtube.com/watch?v=ZFFvqRemDv8
[4]https://www.youtube.com/watch?v=Ft0gTO2K85A
[5]https://x.com/cwolferesearch/status/1727727148859797600
[6]https://twitter.com/DrJimFan/status/1727505774514180188

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學您好！

您已成功報名0元試學活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定