3月21日，數(shù)張美國(guó)前總統(tǒng)特朗普“被捕”照片在互聯(lián)網(wǎng)上流傳。盡管相關(guān)圖片很快被認(rèn)出是AI作品，但仍引發(fā)大量網(wǎng)友關(guān)注和傳播。南都大數(shù)據(jù)研究院發(fā)現(xiàn)，特朗普并非AI繪畫(huà)技術(shù)的唯一相關(guān)者，事實(shí)上，多個(gè)基于真人形象訓(xùn)練而成的AI模型早在網(wǎng)上流傳。在國(guó)內(nèi)，已有人在閑魚(yú)平臺(tái)兜售相關(guān)模型及其訓(xùn)練服務(wù)，小紅書(shū)上甚至已有賬號(hào)利用AI生成圖像假扮真人。

AI實(shí)測(cè)：

30秒即可生成擬真圖像

憑借媲美真實(shí)照片的質(zhì)感、高度接近真人的樣貌，這幾張由AI生成的美國(guó)前總統(tǒng)特朗普被捕照片在互聯(lián)網(wǎng)上引發(fā)熱議。在網(wǎng)民追問(wèn)下，作者承認(rèn)其使用了AI繪畫(huà)模型Midjourney來(lái)生成這些圖片。不少網(wǎng)友驚訝于AI強(qiáng)大的生成能力，并開(kāi)始擔(dān)憂相關(guān)技術(shù)被用于造謠傳謠的可能性。

3月21日，有人在網(wǎng)上發(fā)布由AI生成的美國(guó)前總統(tǒng)特朗普被捕照片。

生成類(lèi)似的擬真圖片門(mén)檻有多低？答案可能是：你家的電腦就行。

南都大數(shù)據(jù)研究院監(jiān)測(cè)發(fā)現(xiàn)，在Midjourney吸引大批網(wǎng)民目光的同時(shí)，另一個(gè)名為Stable Diffusion的AI繪畫(huà)模型已悄然走紅。據(jù)介紹，該模型可在普通家用電腦運(yùn)行，并通過(guò)疊加不同子模型，生成不同風(fēng)格的圖像，其中就包括模擬真實(shí)照片風(fēng)格。

Stable Diffusion是否真如宣傳所言般強(qiáng)大？南都研究員從網(wǎng)絡(luò)渠道取得一份模型整合包。實(shí)測(cè)發(fā)現(xiàn)，該模型在南都研究員的個(gè)人電腦上確實(shí)成功運(yùn)行。根據(jù)教程指引，南都研究員嘗試向AI提出了幾個(gè)作圖關(guān)鍵詞（像照片般逼真、基于物理渲染、一個(gè)女生、戴眼鏡、連帽衫、看向鏡頭、城市景觀），等待約30秒后，AI便生成了一張質(zhì)量頗高且符合關(guān)鍵詞要求的擬真圖像。

南都研究員使用Stable Diffusion生成的AI圖像。

這款Stable Diffusion模型來(lái)自哪里？南都研究員檢索發(fā)現(xiàn)，這是一款由創(chuàng)業(yè)公司stability.ai于2022年8月發(fā)布的AI繪畫(huà)模型，目前已更新至2.0版本。

與DALL-E、Midjourney等其他AI繪畫(huà)模型相比，Stable Diffusion的一大特色是代碼開(kāi)源，這意味著第三方開(kāi)發(fā)者也可免費(fèi)使用該模型，或在其基礎(chǔ)上增添內(nèi)容。在開(kāi)源項(xiàng)目托管平臺(tái)GitHub上，已有超700個(gè)與Stable Diffusion相關(guān)的代碼項(xiàng)目。

在眾多開(kāi)發(fā)者的合力支持下，Stable Diffusion快速迭代，對(duì)運(yùn)行設(shè)備的要求不斷下降。如今已實(shí)現(xiàn)在普通家用電腦、甚至iPhone上也能運(yùn)行。

超低門(mén)檻：

40張照片即可練出真人模型

在AI訓(xùn)練方面，Stable Diffusion也接近實(shí)現(xiàn)零門(mén)檻。有開(kāi)發(fā)者在Stable Diffusion的基礎(chǔ)上加入了一項(xiàng)模型微調(diào)技術(shù)——LoRA（Low-Rank Adaptation）。在該技術(shù)的支持下，用戶(hù)只需準(zhǔn)備少量圖片素材，即可訓(xùn)練出一個(gè)LoRA模型，并生成與素材內(nèi)容高度相似的圖像。

實(shí)踐證明，這項(xiàng)LoRA技術(shù)運(yùn)用在真人模型訓(xùn)練上效果相當(dāng)顯著。在社交平臺(tái)上，已有網(wǎng)友分享利用自己照片訓(xùn)練而成的LoRA模型。從網(wǎng)友反饋的訓(xùn)練結(jié)果可以看到，只需投入約40張照片作為素材，AI就能生成一個(gè)高度接近真人樣貌的模型。

有網(wǎng)友分享利用自己照片訓(xùn)練而成的LoRA模型。

暗藏風(fēng)險(xiǎn)：

已有藝人被制成模型并生成虛假圖片

當(dāng)然，使用AI為自己打造一個(gè)“賽博分身”，從訓(xùn)練素材到練成模型，相關(guān)數(shù)據(jù)全部由自己掌控，安全風(fēng)險(xiǎn)或可控；但如果有人私下收集你的照片再拿去訓(xùn)練，情況就不一樣了。

南都研究員深入調(diào)查發(fā)現(xiàn)，在國(guó)外某AI模型分享網(wǎng)站上，已有人將基于真人形象訓(xùn)練而成的模型上傳并允許其他用戶(hù)下載。該網(wǎng)站數(shù)據(jù)顯示，多個(gè)真人模型的下載量已經(jīng)過(guò)萬(wàn)。

劉亦菲、楊超越、新垣結(jié)衣、蓋爾·加朵……大量基于國(guó)內(nèi)外知名藝人形象訓(xùn)練而成的模型正在網(wǎng)上公開(kāi)傳播。

此外，通過(guò)stability.ai公開(kāi)的說(shuō)明文檔以及Github上的代碼說(shuō)明，南都研究員發(fā)現(xiàn)，雖然該AI模型名為Stable Diffusion（穩(wěn)定擴(kuò)散），但其道德感一點(diǎn)也不“穩(wěn)定”。由于其開(kāi)源性質(zhì)，開(kāi)發(fā)者無(wú)法對(duì)Stable Diffusion作出任何有效的內(nèi)容生成限制和過(guò)濾。用戶(hù)只需在對(duì)AI輸入指令時(shí)強(qiáng)調(diào)黃色或暴力等關(guān)鍵詞，AI就會(huì)完全服從并生成對(duì)應(yīng)圖像。

事實(shí)上，不少用戶(hù)已經(jīng)發(fā)現(xiàn)該項(xiàng)缺陷。在前文所述的模型分享網(wǎng)站，南都研究員發(fā)現(xiàn)了多張以知名藝人形象為基礎(chǔ)生成的不雅圖片。

除Stable Diffusion外，另一款A(yù)I繪畫(huà)模型Midjourney的道德限制同樣可被繞開(kāi)，進(jìn)而生成大量“假新聞圖片”。

據(jù)南都大數(shù)據(jù)研究院監(jiān)測(cè)，基于Midjourney生成的“特朗普被捕”虛假圖片在社交平臺(tái)流傳后，很快有其他網(wǎng)民察覺(jué)到AI繪畫(huà)模型這一“新功能”，開(kāi)始利用該模型針對(duì)不同政治人物創(chuàng)作各種“假新聞”。

陸續(xù)有其他網(wǎng)民利用AI繪畫(huà)模型創(chuàng)作不同主題的“假新聞圖片”。

在線暗訪：

大量賣(mài)家在閑魚(yú)兜售AI繪畫(huà)模型

南都研究員還發(fā)現(xiàn)，已有國(guó)內(nèi)網(wǎng)民不滿(mǎn)足于利用AI模型制圖“整活”，開(kāi)始嘗試“技術(shù)變現(xiàn)”。

在閑魚(yú)平臺(tái)上，南都研究員發(fā)現(xiàn)大量賣(mài)家在公開(kāi)兜售Stable Diffusion模型，其介紹頁(yè)面大多配有高度接近真人照片的圖像，并聲稱(chēng)可提供詳細(xì)使用教程，“包教包會(huì)”。

閑魚(yú)上出現(xiàn)大批AI繪畫(huà)模型商品。

深入了解發(fā)現(xiàn)，閑魚(yú)上甚至還有賣(mài)家提供LoRA模型代訓(xùn)練服務(wù)，其中多名賣(mài)家表示可訓(xùn)練真人模型。在問(wèn)及會(huì)否存在侵權(quán)等法律風(fēng)險(xiǎn)時(shí)，有賣(mài)家表示“不要往外發(fā)，自己私下玩玩就好”。更有賣(mài)家向南都研究員展示自己擁有的大量LoRA模型。

買(mǎi)賣(mài)雙方真的能保證模型只是“私下玩玩”嗎？從模型分享網(wǎng)站上出現(xiàn)的大量真人模型不難看出，事實(shí)顯然并非如此。

閑魚(yú)上，多名賣(mài)家聲稱(chēng)可提供真人模型訓(xùn)練服務(wù)。

真假難辨：

國(guó)內(nèi)社交平臺(tái)出現(xiàn)不少AI賬號(hào)

在模型網(wǎng)站上，所有用戶(hù)都知道圖像是由AI生成；假新聞稍一查證也能辨明真?zhèn)?。但回到一般社交平臺(tái)，如果有賬號(hào)經(jīng)常發(fā)布自拍照，且在評(píng)論區(qū)積極互動(dòng)溝通，你是否還能分清真假？

通過(guò)大規(guī)模檢索，南都研究員在小紅書(shū)等國(guó)內(nèi)社交平臺(tái)上發(fā)現(xiàn)不少利用AI生成圖像假扮真人的賬號(hào)。在這些賬號(hào)的評(píng)論區(qū)中，盡管有部分網(wǎng)友辨認(rèn)并指出圖像為AI生成，但有更多網(wǎng)友已誤認(rèn)為圖像是真人出鏡。

小紅書(shū)上已出現(xiàn)不少被指利用AI生成圖像假扮真人的賬號(hào)。

補(bǔ)救措施：

技術(shù)愛(ài)好者嘗試糾正社區(qū)氛圍

面對(duì)AI模型帶來(lái)的安全風(fēng)險(xiǎn)，以及已經(jīng)出現(xiàn)的濫用趨勢(shì)，開(kāi)發(fā)者如何應(yīng)對(duì)？是否還有補(bǔ)救措施？南都研究員發(fā)現(xiàn)，越來(lái)越多技術(shù)愛(ài)好者留意到AI擬真圖像傳播愈演愈烈的趨勢(shì)，正積極嘗試糾正社區(qū)氛圍，避免更多人走上歪路。

ChilloutMix是一款由日本開(kāi)發(fā)者制作的、基于Stable Diffusion訓(xùn)練而成的模型，因?yàn)樵谏蓶|亞女性樣貌上表現(xiàn)出色而大受青睞，多個(gè)真人模型正是在其基礎(chǔ)上衍生。由于網(wǎng)上流傳的真人模型越來(lái)越多，開(kāi)發(fā)者一度將該模型下架。后來(lái)，該模型版權(quán)被轉(zhuǎn)移至模型分享網(wǎng)站運(yùn)營(yíng)方，并聲明禁止將模型用于訓(xùn)練基于明星、公眾人物肖像的風(fēng)格模型。

隨后，多名模型制作者也在個(gè)人頁(yè)面中補(bǔ)充聲明，要求用戶(hù)不將模型用于不當(dāng)用途。多名用戶(hù)也在評(píng)論區(qū)留言，希望共同營(yíng)造良好社區(qū)氛圍。有網(wǎng)民明確指出：制作真人模型不能展現(xiàn)你對(duì)偶像的喜愛(ài)，反而是在侮辱、物化你的偶像。也有網(wǎng)民提醒，網(wǎng)上已經(jīng)出現(xiàn)利用真人模型進(jìn)行詐騙的案例，希望制作者將模型下架，避免AI技術(shù)淪為犯罪溫床。

某真人模型留言區(qū)內(nèi)，多名網(wǎng)民指出不應(yīng)訓(xùn)練真實(shí)人物。

不過(guò)，其中一名模型制作者向南都研究員承認(rèn)，受限于Stable Diffusion極其脆弱的道德限制，這些聲明只是一種提醒，無(wú)法起到真正的約束作用，“防君子不防小人”。要從根源上阻斷這一趨勢(shì)，只能期待監(jiān)管部門(mén)和開(kāi)發(fā)者有所作為。

南都研究員留意到，在stability.ai新推出的Stable Diffusion Reimagine工具中，已經(jīng)加入了一個(gè)新的過(guò)濾器，用于阻止不適當(dāng)?shù)恼?qǐng)求。

調(diào)查過(guò)程中，也有多名技術(shù)愛(ài)好者向南都研究員表示，AI技術(shù)研發(fā)的初衷是進(jìn)一步為人類(lèi)工作生活提供便利，而非打造又一個(gè)違法工具，希望監(jiān)管部門(mén)能及時(shí)治理相關(guān)濫用情況，切斷違法鏈條，還AI社區(qū)一個(gè)良好氛圍。

針對(duì)AI技術(shù)出現(xiàn)的濫用風(fēng)險(xiǎn)和部分開(kāi)發(fā)者所發(fā)表聲明，有法律界人士向南都研究員表示，無(wú)論是否營(yíng)利，只要是未經(jīng)肖像權(quán)人同意，擅自利用真人素材進(jìn)行AI訓(xùn)練，該行為都已侵犯對(duì)方肖像權(quán)；此外，若網(wǎng)民明知圖片由AI生成，仍將圖片用侮辱、誹謗等方式進(jìn)行傳播，則涉嫌侵犯對(duì)方名譽(yù)權(quán)。

有法律界人士認(rèn)為，應(yīng)該慎談“技術(shù)中立”：“做一件事情之前誰(shuí)都知道自己為什么去做”“AI技術(shù)的濫用其實(shí)也不難應(yīng)對(duì)，很多違法行為都已有適用條文，只要及時(shí)依法處罰存在的違法犯罪行為，就能夠有效地防范AI技術(shù)的濫用。”

面對(duì)AI技術(shù)出現(xiàn)的濫用風(fēng)險(xiǎn)，國(guó)內(nèi)監(jiān)管部門(mén)有何舉措？南都大數(shù)據(jù)研究院將持續(xù)跟蹤了解。

出品：南都大數(shù)據(jù)研究院 數(shù)據(jù)安全治理與發(fā)展研究課題組

采寫(xiě)：南都研究員李偉鋒 實(shí)習(xí)生 陳嘉寶 余欣賢 吳靜儀