西風(fēng) 發(fā)自 凹非寺

|  

大模型“幻覺(jué)”，終于有系統(tǒng)綜述了！

一口氣49頁(yè)，詳細(xì)闡述了幻覺(jué)定義、分類、導(dǎo)致幻覺(jué)的原因，還有檢測(cè)幻覺(jué)、減輕幻覺(jué)的方法。

這篇最新綜述來(lái)自哈工大和華為，一po出就在網(wǎng)上火得不行：

具體來(lái)說(shuō)，文中用一套新的范疇框架來(lái)定義模型幻覺(jué)，并將其分為事實(shí)性幻覺(jué)、忠實(shí)性幻覺(jué)兩大類。

此外，它還總結(jié)了模型產(chǎn)生幻覺(jué)的三大來(lái)源：數(shù)據(jù)源、訓(xùn)練過(guò)程和推理，并給出了對(duì)應(yīng)的減輕幻覺(jué)策略。

一圖預(yù)覽，觀感是這樣?jì)饍旱模?/p>

可謂清晰又明了。目前相關(guān)推文瀏覽15萬(wàn)+，轉(zhuǎn)贊收藏2000+，網(wǎng)友紛紛評(píng)論：

找時(shí)間好好看。

還有一位網(wǎng)友的評(píng)論亮了：

有意思的是，論文太長(zhǎng)，我得用ChatGPT幫我讀。

幻覺(jué)作為大模型的一種“通病”，找到了病根，也好對(duì)癥下藥。

北大數(shù)學(xué)教授董彬也曾講，作為研究者，自己其實(shí)是比較喜歡大模型幻覺(jué)的：

因?yàn)榛糜X(jué)和創(chuàng)造/創(chuàng)新其實(shí)只有一線之隔。

那么這篇綜述具體如何解剖大模型幻覺(jué)現(xiàn)象？一起來(lái)看看。

大模型的幻覺(jué)“病理”

大模型出現(xiàn)幻覺(jué)，簡(jiǎn)而言之就是“胡說(shuō)八道”。

用文中的話來(lái)講，是指模型生成的內(nèi)容與現(xiàn)實(shí)世界事實(shí)或用戶輸入不一致的現(xiàn)象。

正如上文提到的，研究人員將大模型的幻覺(jué)分為事實(shí)性幻覺(jué)（Factuality Hallucination）和忠實(shí)性幻覺(jué)（Faithfulness Hallucination）。

△左，事實(shí)性幻覺(jué)；右，忠實(shí)性幻覺(jué)

事實(shí)性幻覺(jué)，是指模型生成的內(nèi)容與可驗(yàn)證的現(xiàn)實(shí)世界事實(shí)不一致。

比如問(wèn)模型“第一個(gè)在月球上行走的人是誰(shuí)？”，模型回復(fù)“Charles Lindbergh在1951年月球先驅(qū)任務(wù)中第一個(gè)登上月球”。實(shí)際上，第一個(gè)登上月球的人是Neil Armstrong。

事實(shí)性幻覺(jué)又可以分為事實(shí)不一致（與現(xiàn)實(shí)世界信息相矛盾）和事實(shí)捏造（壓根沒(méi)有，無(wú)法根據(jù)現(xiàn)實(shí)信息驗(yàn)證）。

忠實(shí)性幻覺(jué)，則是指模型生成的內(nèi)容與用戶的指令或上下文不一致。

比如讓模型總結(jié)今年10月的新聞，結(jié)果模型卻在說(shuō)2006年10月的事。

忠實(shí)性幻覺(jué)也可以細(xì)分，分為指令不一致（輸出偏離用戶指令）、上下文不一致（輸出與上下文信息不符）、邏輯不一致三類（推理步驟以及與最終答案之間的不一致）。

那么致使大模型產(chǎn)生幻覺(jué)的原因都有哪些？

首先“病從口入”，大模型的糧食數(shù)據(jù)，是致使它產(chǎn)生幻覺(jué)的一大原因。

這其中就包括數(shù)據(jù)缺陷、數(shù)據(jù)中捕獲的事實(shí)知識(shí)的利用率較低。

具體來(lái)說(shuō)，數(shù)據(jù)缺陷分為錯(cuò)誤信息和偏見（重復(fù)偏見、社會(huì)偏見），此外大模型也有知識(shí)邊界，所以存在領(lǐng)域知識(shí)缺陷和過(guò)時(shí)的事實(shí)知識(shí)。

即便大模型吃掉了大量數(shù)據(jù)，也會(huì)在利用時(shí)出現(xiàn)問(wèn)題。

大模型可能會(huì)過(guò)度依賴訓(xùn)練數(shù)據(jù)中的一些模式，如位置接近性、共現(xiàn)統(tǒng)計(jì)數(shù)據(jù)和相關(guān)文檔計(jì)數(shù)，從而導(dǎo)致幻覺(jué)。比如說(shuō)，如果訓(xùn)練數(shù)據(jù)中頻繁共現(xiàn)“加拿大”和“多倫多”，那么大模型可能會(huì)錯(cuò)誤地將多倫多識(shí)別為加拿大的首都。

此外，大模型還可能會(huì)出現(xiàn)長(zhǎng)尾知識(shí)回憶不足、難以應(yīng)對(duì)復(fù)雜推理的情況。

除了數(shù)據(jù)，訓(xùn)練過(guò)程也會(huì)使大模型產(chǎn)生幻覺(jué)。

主要是預(yù)訓(xùn)練階段（大模型學(xué)習(xí)通用表示并獲取世界知識(shí)）、對(duì)齊階段（微調(diào)大模型使其更好地與人類偏好一致）兩個(gè)階段產(chǎn)生問(wèn)題。

預(yù)訓(xùn)練階段可能會(huì)存在：

• 架構(gòu)缺陷?；谇耙粋€(gè)token預(yù)測(cè)下一個(gè)token，這種單向建模阻礙了模型捕獲復(fù)雜的上下文關(guān)系的能力；自注意力模塊存在缺陷，隨著token長(zhǎng)度增加，不同位置的注意力被稀釋。
• 曝露偏差。訓(xùn)練策略也有缺陷，模型推理時(shí)依賴于自己生成的token進(jìn)行后續(xù)預(yù)測(cè)，模型生成的錯(cuò)誤token會(huì)在整個(gè)后續(xù)token中產(chǎn)生級(jí)聯(lián)錯(cuò)誤。

對(duì)齊階段可能會(huì)存在：

• 能力錯(cuò)位。大模型內(nèi)在能力與標(biāo)注數(shù)據(jù)中描述的功能之間可能存在錯(cuò)位。當(dāng)對(duì)齊數(shù)據(jù)需求超出這些預(yù)定義的能力邊界時(shí)，大模型會(huì)被訓(xùn)練來(lái)生成超出其自身知識(shí)邊界的內(nèi)容，從而放大幻覺(jué)的風(fēng)險(xiǎn)。
• 信念錯(cuò)位?；赗LHF等的微調(diào)，使大模型的輸出更符合人類偏好，但有時(shí)模型會(huì)傾向于迎合人類偏好，從而犧牲信息真實(shí)性。

大模型產(chǎn)生幻覺(jué)的第三個(gè)關(guān)鍵因素是推理，存在兩個(gè)問(wèn)題：

• 固有的抽樣隨機(jī)性：在生成內(nèi)容時(shí)根據(jù)概率隨機(jī)生成。
• 不完美的解碼表示：上下文關(guān)注不足（過(guò)度關(guān)注相鄰文本而忽視了源上下文）和softmax瓶頸（輸出概率分布的表達(dá)能力受限）。

檢測(cè)大模型病癥

分析了大模型的幻覺(jué)病因，研究人員還給出了一份模型幻覺(jué)檢測(cè)基準(zhǔn)。

針對(duì)事實(shí)性幻覺(jué)，已有檢索外部事實(shí)和不確定性估計(jì)兩種方法。

檢索外部事實(shí)是將模型生成的內(nèi)容與可靠的知識(shí)來(lái)源進(jìn)行比較。

基于不確定性估計(jì)的幻覺(jué)檢測(cè)方法，可以分為兩類：基于內(nèi)部狀態(tài)的方法和基于行為的方法。

基于內(nèi)部狀態(tài)的方法主要依賴于訪問(wèn)大模型的內(nèi)部狀態(tài)。例如，通過(guò)考慮關(guān)鍵概念的最小標(biāo)記概率來(lái)確定模型的不確定性。

基于行為的方法則主要依賴于觀察大模型的行為，不需要訪問(wèn)其內(nèi)部狀態(tài)。例如，通過(guò)采樣多個(gè)響應(yīng)并評(píng)估事實(shí)陳述的一致性來(lái)檢測(cè)幻覺(jué)。

檢測(cè)忠實(shí)性幻覺(jué)的方法，研究人員用一張圖概括了五種不同的方法：

• 基于事實(shí)的度量，測(cè)量生成內(nèi)容和源內(nèi)容之間事實(shí)的重疊程度來(lái)評(píng)估忠實(shí)性。
• 分類器度量：使用訓(xùn)練過(guò)的分類器來(lái)區(qū)分模型生成的忠實(shí)內(nèi)容和幻覺(jué)內(nèi)容。
• 問(wèn)答度量：使用問(wèn)答系統(tǒng)來(lái)驗(yàn)證源內(nèi)容和生成內(nèi)容之間的信息一致性。
• 不確定度估計(jì)：測(cè)量模型對(duì)其生成輸出的置信度來(lái)評(píng)估忠實(shí)性。
• 提示度量：讓大模型作為評(píng)估者，通過(guò)特定的提示策略來(lái)評(píng)估生成內(nèi)容的忠實(shí)性。

了解了如何度量幻覺(jué)后，就是減輕幻覺(jué)的方法了。

對(duì)癥下藥減輕幻覺(jué)

研究人員根據(jù)致幻原因，詳細(xì)總結(jié)了現(xiàn)有減輕幻覺(jué)現(xiàn)象的研究。

1、數(shù)據(jù)相關(guān)的幻覺(jué)。

減少錯(cuò)誤信息和偏見，最直觀的方法是收集高質(zhì)量的事實(shí)數(shù)據(jù)，并進(jìn)行數(shù)據(jù)清理以消除偏見。

對(duì)于知識(shí)邊界的問(wèn)題，有兩種流行方法。一種是知識(shí)編輯，直接編輯模型參數(shù)彌合知識(shí)差距。另一種通過(guò)檢索增強(qiáng)生成（RAG）利用非參數(shù)知識(shí)源。

檢索增強(qiáng)具體分為三種類型：一次性檢索、迭代檢索和事后檢索。

一次性檢索是將從單次檢索中獲得的外部知識(shí)直接預(yù)置到大模型的提示中；迭代檢索允許在整個(gè)生成過(guò)程中不斷收集知識(shí)；事后檢索是基于檢索的修訂來(lái)完善大模型輸出。

2、訓(xùn)練相關(guān)的幻覺(jué)。

根據(jù)致幻原因，可以完善有缺陷的模型架構(gòu)，目前已有許多相關(guān)研究。

從模型預(yù)訓(xùn)練階段來(lái)講，最新進(jìn)展試圖通過(guò)完善預(yù)訓(xùn)練策略、確保更豐富的上下文理解和規(guī)避偏見來(lái)應(yīng)對(duì)這一問(wèn)題。

比如針對(duì)模型對(duì)文檔式的非結(jié)構(gòu)化事實(shí)知識(shí)理解碎片化、不關(guān)聯(lián)，有研究在文檔的每個(gè)句子后附加一個(gè)TOPICPREFIX，將它們轉(zhuǎn)換為獨(dú)立的事實(shí)，從而增強(qiáng)模型對(duì)事實(shí)關(guān)聯(lián)的理解。

此外，還可以通過(guò)改進(jìn)人類偏好判斷、激活引導(dǎo)，減輕對(duì)齊錯(cuò)位問(wèn)題。

3、推理相關(guān)的幻覺(jué)。

不完美的解碼通常會(huì)導(dǎo)致模型輸出偏離原始上下文。

研究人員探討了兩種高級(jí)策略，一種是事實(shí)增強(qiáng)解碼，另一種是譯后編輯解碼。

此外，忠實(shí)度增強(qiáng)解碼優(yōu)先考慮與用戶說(shuō)明或提供的上下文保持一致，并強(qiáng)調(diào)增強(qiáng)生成內(nèi)容的一致性?，F(xiàn)有工作可以總結(jié)為兩類，包括上下文一致性和邏輯一致性。

有關(guān)上下文一致性的最新研究之一是上下文感知解碼（CAD），通過(guò)減少對(duì)先驗(yàn)知識(shí)的依賴來(lái)修改輸出分布，從而促進(jìn)模型對(duì)上下文信息的關(guān)注。

有關(guān)邏輯一致性的最新一項(xiàng)研究包括知識(shí)蒸餾框架，用來(lái)增強(qiáng)思維鏈提示中固有的自洽性。

論文鏈接：
https://arxiv.org/abs/2311.05232