發(fā)布時間:2023-11-08 16:17:08 瀏覽量:131次
玩游戲就能學會大模型提示工程
夢晨 克雷西 發(fā)自 凹非寺
|
什么樣的“大模型原生”游戲,讓各大算法競賽群里都在玩,還把服務(wù)器擠爆了?
這款突然爆火的《完蛋!LLM》,讓你在解謎挑戰(zhàn)之中輕松學會大模型提示詞技巧,達成1日用戶破萬的成就。
難度循序漸進,比如第一題初來乍到只是“請你構(gòu)造一個問題,使模型的回答是一字不差的‘1+1=3’”。
到最難的一道題惜字如金已經(jīng)是“請輸入一個字的問題,使模型的回答在16個字以內(nèi)?!?/p>
有網(wǎng)友自爆,從凌晨三點直接肝到五點,除了最難的一題全通了。
游戲作者也曬了一波后臺新增用戶數(shù)據(jù),按小時統(tǒng)計,妥妥的指數(shù)增長。
如果表格還不夠直觀,我們讓ChatGPT畫成折線圖再感受一下。
作者范浩強,曠視6號員工。當年以IOI金牌、保送清華姚班、高二實習等傳奇事跡被譽為天才少年。
如今他已是曠視科技研究總經(jīng)理,谷歌學術(shù)h-index 27的行業(yè)大佬。
游戲的玩法是這樣的:
整個游戲一共分為五章,15個問題,每一章對應(yīng)不同的主題。
玩家要做的就是設(shè)計提示詞,想方設(shè)法讓模型輸出指定答案。
第一章的目的主要是讓玩家熟悉一下氣氛,任務(wù)自然也比較簡單。
第一道題是要想辦法讓模型輸出“1+1=3”,這里只要利用讓模型重復(fù)的方法就能輕松破解。
后面的三道題只對模型輸出內(nèi)容的長度有要求,比如只用一個字“四兩撥千斤”,讓模型給出100字以上的回答,具體包括:
這道題乍一看似乎沒什么思路,這時候就需要觀察模型輸出的規(guī)律了。
嘗試幾個字之后可以發(fā)現(xiàn),大模型面對只有一個字的提示詞時喜歡干這樣幾件事:對這個字進行解釋、補全成一句簡單的話,或者干脆直接說不明白要干什么……
這時,如果想要模型輸出的文字多,就可以選擇含義比較多的字,然后多次嘗試讓模型對這個字進行解釋;而要想讓輸出比較短,就可以用“哈”這樣沒什么實際含義的字了。
熟悉了玩法之后,第二章就開始上難度了,這時輸出的條件變得更加嚴格。
第一題是要求輸入質(zhì)數(shù)個字,使得模型輸出的字數(shù)剛好是下一個質(zhì)數(shù)。
這道題讓人看上去仿佛靈光一閃,“輸出七個字”剛好就是五個字,而5和7也剛好是兩個連續(xù)的質(zhì)數(shù)。
但事實證明,這個想法有些太簡單了:
先不說大模型的數(shù)數(shù)能力,就算能數(shù)好,大模型眼里的基本元素是token,而不是我們所看到的文字……
隨著游戲的深入,問題變得越來越刁鉆,解法中包含的運氣成分……也越來越少了。
比如這道題,需要(只)輸入一個大于1的正整數(shù)n,使得模型的輸出中包含大于n+1000的數(shù)。
下一題則剛好相反,需要輸出的是小于n-1000的數(shù),但要輸出10個,而且還不能重復(fù)。
到了第二章的BOSS關(guān)卡,要求輸入不超過10個字,且不包含“狗”,但輸出內(nèi)容中要有至少兩倍問題字數(shù)的“狗”字。
到這,我們是徹底沒有什么思路了,只好憑借著一些簡單的前端知識來跳過題目……
第三章“巔峰挑戰(zhàn)”,不圍繞數(shù)字了更多是文字游戲。
有趣的是,第三章的最后一題剛好是開篇題目的進階版,按照這個要求,讓模型重復(fù)的方法已經(jīng)不奏效了:
而第四五這兩章都只有一個問題:
游戲的過程就是這樣,那么我們從中都能學到些什么呢?
模型的輸出當中存在一些規(guī)律,我們不斷調(diào)整提示詞獲得預(yù)期答案的過程,就是在了解提示工程中問題的設(shè)計方式。
比如模型的安全策略,以第一道題為例,細心的網(wǎng)友可能發(fā)現(xiàn),我們設(shè)計的提示詞中包含了一句“只輸出結(jié)果”。
按道理來說,重復(fù)這一個簡單的動作并不需要輸出什么額外的內(nèi)容,但關(guān)鍵在于,1+1=3是錯誤的。
雖然我們的要求是重復(fù),但此時還是會引發(fā)大模型對事實的執(zhí)著:
又如輸出質(zhì)數(shù)個字這道題,我們從中發(fā)現(xiàn)了大模型不擅長數(shù)字數(shù)的特性:
此外,我們也可以從模型對一些意義不明的數(shù)字、單字的反應(yīng),窺視出一些模型處理這些問題的規(guī)律。
無論這些規(guī)律是bug還是feature,我們都要摸清規(guī)律,才能更好地掌握模型的使用方法,這也正是學習提示工程的核心奧義。
最后,也不得不佩服網(wǎng)友們的創(chuàng)造力,到后期即使服務(wù)器不堪重負報錯了,仍能從報錯信息中找出正確解法。
很遺憾,最后在累計用戶破萬之際,由于服務(wù)器擠爆、維護工作強度大等原因,作者本人不得已把游戲關(guān)服了。
雖然原版游戲已經(jīng)玩不到了,但網(wǎng)友們對這套解謎挑戰(zhàn)題的興趣依然不減。
拿去和ChatGPT等各路AI手動過招,依然能在斗智斗勇中學到不少操作大模型的知識技巧。
△?網(wǎng)友讓ChatGPT說出1+1=3的解法
對這段“從一夜過萬到關(guān)站跑路”的奇幻之旅,范浩強也分享了作為當事人的心路歷程。
范浩強認為,個人開發(fā)者在大模型時代可以是“孤獨俠客”,單人、業(yè)余時間就能開發(fā)出創(chuàng)新、有影響力的作品。
制作這款游戲,最初只是因為收到大模型創(chuàng)業(yè)公司月之暗面送來的免費API體驗賬號。
他結(jié)合之前已有的初步想法,花一個周六時間制作完成。
有朋友建議他,趁著國產(chǎn)游戲《完蛋!我被美女包圍了!》爆火出圈的時機,把游戲名也起成“完蛋!”開頭,找對了流量密碼。
接下來隨著用戶不斷增長,已超乎他一個人的能力處理范圍。
作為開發(fā)者,一整天時間,他都在不停修服務(wù)器以及與月之暗面反饋。
作為大模型供應(yīng)方,月之暗面為這個免費API付出的算力也快要超出預(yù)算了。
另外在生成式模型的合規(guī)方面,也需要慎重考慮。
最后范浩強做了一個“艱難的決定”,把游戲關(guān)服,但還是希望將來有人能把這個玩法發(fā)揚光大,探索出更多AI模型的秘密。
最后他總結(jié)出三點思考:
一個好消息,雖然原版游戲已關(guān)閉,但完整題目列表已公開,已有人搞出開源復(fù)現(xiàn)版。
還支持中英文,以及不同大模型版本,Huggingface可玩。
(也是前面游戲介紹中使用的版本。)
參考鏈接:
[1] https://zhuanlan.zhihu.com/p/665237751
[2] https://zhuanlan.zhihu.com/p/665393240
開源版項目地址:github.com/opendilab/LLMRiddles
熱門資訊
想將照片變成漫畫效果?這篇文章分享了4個方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡單操作就能實現(xiàn),快來嘗試一下吧!
2. 華為手機神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議,通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點擊查看!
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
4. AI視頻制作神器Viggle:讓靜態(tài)人物動起來,創(chuàng)意無限!
Viggle AI是一款免費制作視頻的AI工具,能讓靜態(tài)人物圖片動起來,快來了解Viggle AI的功能和優(yōu)勢吧!
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細演示一遍操作流程首先進入Logo D... 想學習更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
6. 零基礎(chǔ)10分鐘生成漫畫,教大家如何用AI生成自己的漫畫
接下來,我將親自引導你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
7. AI顯卡繪畫排行榜:4090無懸念,最具性價比出人意料
在AI繪圖領(lǐng)域,Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn),以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
8. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細操作!有需要的快來...
10. 10個建筑AI工具,從設(shè)計到施工全覆蓋!肯定有你從來沒聽過的
講述了建筑業(yè)比較著名的AI公司小庫科技做出的探索,在這兒就不多說了。今天,我們試著在規(guī)劃設(shè)計、建筑方案設(shè)計、住宅設(shè)計、管道設(shè)計、出渲染圖、3D掃...
最新文章
同學您好!