用暫停token重新訓(xùn)練大模型，AI學(xué)會(huì)三思而后行

發(fā)布時(shí)間：2023-11-28 14:54:50 瀏覽量：110次

只需增加1024個(gè)參數(shù)

夢(mèng)晨發(fā)自凹非寺

|

讓ChatGPT給出答案之前多想想步驟，就能提高準(zhǔn)確率。

那么能不能省去提示詞，直接把這種能力內(nèi)化在大模型里呢？

CMU與谷歌團(tuán)隊(duì)的新研究，在訓(xùn)練大模型時(shí)加入暫停token來(lái)實(shí)現(xiàn)這一點(diǎn)。

實(shí)驗(yàn)中，8項(xiàng)評(píng)測(cè)成績(jī)提升，其中SQuAD的EM得分提高18%，CommonSenseQA提高8%，GSM8k中的推理任務(wù)也提高1%。

研究者Jack Hack表示，自己不久前就提出類似假設(shè)，很高興看到它被驗(yàn)證。

英偉達(dá)工程師Aaron Erickson表示，是不是和人類說(shuō)話時(shí)加入“嗯嗯啊啊”是一個(gè)道理？

預(yù)訓(xùn)練微調(diào)都加入暫停token

整個(gè)研究基于一個(gè)簡(jiǎn)單的想法：

在輸入序列后面追加一系列（暫停token），從而延遲模型輸出下一個(gè)token。

這可以給模型額外的計(jì)算時(shí)間來(lái)處理更復(fù)雜的輸入。

作者不僅在下游任務(wù)微調(diào)時(shí)引入，還在預(yù)訓(xùn)練時(shí)就隨機(jī)在序列中插入，讓模型在兩階段都學(xué)習(xí)如何利用這種計(jì)算延遲。

預(yù)訓(xùn)練階段，在語(yǔ)料庫(kù)中隨機(jī)插入一定比例的暫停token到輸入序列，進(jìn)行標(biāo)準(zhǔn)的自回歸預(yù)訓(xùn)練。但計(jì)算損失時(shí)會(huì)跳過(guò)暫停token的預(yù)測(cè)。

下游任務(wù)微調(diào)時(shí)，輸入中也追加一定數(shù)量的暫停 token，然后對(duì)目標(biāo)序列進(jìn)行自回歸預(yù)測(cè)，同時(shí)微調(diào)模型參數(shù)。

推理階段也追加相同數(shù)量的暫停token，但忽略模型輸出直到最后一個(gè)暫停token，然后開(kāi)始提取答案。

實(shí)驗(yàn)使用了標(biāo)準(zhǔn)的Transformer純Decoder模型，分為130M參數(shù)和1B參數(shù)兩個(gè)版本。

其中暫停token只增加了1024個(gè)參數(shù)，也就是它本身的embedding大小。

在9個(gè)不同任務(wù)上的實(shí)驗(yàn)表明，僅在微調(diào)階段引入暫停token的效果并不明顯，有些任務(wù)不會(huì)提升。

但如果在預(yù)訓(xùn)練和finetune階段都使用暫停token，大多數(shù)任務(wù)上都獲得顯著提升。

論文還探究了暫停token的數(shù)量、位置等關(guān)鍵超參數(shù)。發(fā)現(xiàn)對(duì)于不同的模型通常存在一個(gè)最優(yōu)的數(shù)量。

最后作者也提出，這項(xiàng)工作也有不少局限性。

搜索引擎You.com的CEO表示，接下來(lái)是不是應(yīng)該把所有提高人類認(rèn)知表現(xiàn)的技巧都對(duì)大模型試一試？

現(xiàn)在已經(jīng)有了“一步一步地想”和“深呼吸”。

也許下一個(gè)爆款論文就是教大模型帶著問(wèn)題睡一覺(jué)或者更離譜的健康飲食、注意鍛煉。

論文地址：
https://arxiv.org/abs/2310.02226

參考鏈接：
[1]https://twitter.com/arankomatsuzaki/status/1709372124891070915

— 完 —