作者：京東健康 陳剛

一、前言

近年來，隨著人工智能技術(shù)，VR，元宇宙等技術(shù)的發(fā)展（可以閱讀 從Chat-GPT看技術(shù)概念及醫(yī)療領(lǐng)域科技與應(yīng)用場景 ），數(shù)字人（Digital Human）逐漸成為研究的熱點之一，數(shù)字人是指通過計算機技術(shù)模擬出的具有人類外表，動作和語言能力的虛擬人物，具體可以應(yīng)用到電影、游戲、虛擬現(xiàn)實、智能客服、帶貨主播等多個領(lǐng)域。

本文大致分為三個章節(jié)：

1.第一部分會介紹常用技術(shù)以及簡介，以及自己用到構(gòu)建一個自己虛擬數(shù)字人用到的3D引擎和三維軟件

2.第二部分會詳細(xì)描述生成細(xì)節(jié)，通過照片建模，創(chuàng)建模型，添加細(xì)節(jié)，添加表情，優(yōu)化效果，接入場景，最終效果

3.第三部分總結(jié)本篇內(nèi)容

從預(yù)見未來到遇見未來，讓我們開始，向上吧技術(shù)人?。?！

二、虛擬數(shù)字人技術(shù)

要聊需要那些技術(shù)，先聊需要那些步驟？

?收集數(shù)據(jù)：首先需要收集自己的數(shù)據(jù)，包括照片、視頻、聲音等，這些數(shù)據(jù)將成為數(shù)字人的基礎(chǔ)。

?人臉檢測：利用計算機視覺技術(shù)對照片進行處理，檢測出其中的人臉?？梢允褂靡延械娜四槞z測算法，例如OpenCV、Dlib等。

?人臉識別：對于檢測出來的人臉，需要利用人臉識別技術(shù)對其進行識別和分析，從而獲取人臉的各種特征和信息?？梢允褂靡延械娜四樧R別算法，例如FaceNet、VGGFace等。

?3D建模技術(shù)：數(shù)字人是一種三維模型，因此需要掌握3D建模技術(shù)。這包括了掌握3D建模軟件的使用，如Blender、Maya、ZBrush等。

?優(yōu)化細(xì)節(jié)：優(yōu)化數(shù)字人的各種細(xì)節(jié)，包括皮膚紋理、發(fā)型、服裝等，讓數(shù)字人更加真實、生動。

?材質(zhì)和紋理制作技術(shù)：數(shù)字人需要具有逼真的材質(zhì)和紋理，因此需要掌握材質(zhì)和紋理制作技術(shù)。這包括了掌握材質(zhì)和紋理制作軟件的使用，如Substance Painter、Photoshop等。

?動畫制作技術(shù)：數(shù)字人需要具有動態(tài)的動作和表情，因此需要掌握動畫制作技術(shù)。這包括了掌握動畫制作軟件的使用，如Unity、Unreal Engine等。

??

以下文字內(nèi)容較多，先放一個自己建好的模型

1、收集數(shù)據(jù)或者生成圖片

?Photoshop、相機：這部分忽略一下，哈哈哈

?Stable Diffusion：AI圖像生成工具，一個基于Latent Diffusion Models（潛在擴散模型，LDMs）的文圖生成（text-to-image）模型，生成圖片的原理是通過模擬穩(wěn)定擴散過程并生成相應(yīng)的數(shù)據(jù)，然后將數(shù)據(jù)可視化展示為圖片，以幫助用戶更好地理解實驗結(jié)果和數(shù)據(jù)特征

?ChatGPT：OpenAI團隊ChatGPT-4O開發(fā)了一種新的技術(shù)，使ChatGPT也可以生成圖片。這種技術(shù)被稱為DALL·E（即“Drawing Artificially with a Learned Language Model and a Encoder”），它結(jié)合了語言模型和圖像編碼器的能力，能夠根據(jù)給定的文本描述生成對應(yīng)的圖片。

2、人臉檢測和識別

?OpenCV：是一個用于計算機視覺的開源庫，它提供了許多常用的計算機視覺算法和工具，如圖像處理、特征提取、物體檢測、人臉識別、跟蹤等。OpenCV支持多種編程語言，包括C++、Python等。

?Dlib：是一個C++庫，它提供了用于機器學(xué)習(xí)、圖像處理、計算機視覺等領(lǐng)域的算法和工具。其中最知名的功能是人臉識別，它基于深度學(xué)習(xí)和傳統(tǒng)的計算機視覺技術(shù)，并提供了人臉對齊、人臉特征提取等功能。

?FaceNet：是由Google開發(fā)的一個深度學(xué)習(xí)算法，用于將人臉圖像轉(zhuǎn)換為高維向量表示，從而實現(xiàn)人臉識別。FaceNet使用了三個主要組件：卷積神經(jīng)網(wǎng)絡(luò)、三元組損失函數(shù)和在線學(xué)習(xí)方法，這些組件使得FaceNet能夠在大規(guī)模人臉識別任務(wù)中達到很高的準(zhǔn)確率。

?VGGFace：是由牛津大學(xué)的研究團隊開發(fā)的人臉識別算法，它基于深度卷積神經(jīng)網(wǎng)絡(luò)，并使用了許多卷積層和池化層來提取人臉圖像的特征。VGGFace包含了兩個模型：VGGFace和VGGFace2，其中VGGFace是一個較早的模型，而VGGFace2是一個新的模型，它在大規(guī)模人臉識別任務(wù)中具有更好的性能。

??

3、3D建模技術(shù)

?Blender：是一個用于三維建模、動畫、渲染和交互式應(yīng)用程序開發(fā)的開源軟件。它支持多種三維對象的創(chuàng)建和編輯，包括多邊形網(wǎng)格、NURBS曲線、體積網(wǎng)格等，并提供了豐富的材質(zhì)和紋理編輯器，可以幫助用戶創(chuàng)建出逼真的場景和角色。

?Metashape：前身為PhotoScan）是一個用于三維重建和地形建模的商業(yè)軟件。它可以根據(jù)照片生成高精度的數(shù)字模型，并提供了多種渲染選項和工具，如紋理映射、貼圖、相機校準(zhǔn)等。Metashape還可以將生成的模型導(dǎo)出到其他軟件中進行后續(xù)處理和應(yīng)用。

?Maya：是一款專業(yè)級的三維建模和動畫軟件，廣泛用于電影、電視、游戲等領(lǐng)域。它提供了豐富的建模和動畫工具，包括多邊形網(wǎng)格、NURBS曲線、動力學(xué)仿真、粒子系統(tǒng)等，并支持多種渲染引擎，如Arnold、V-Ray等。

?ZBrush：是一款專業(yè)級的數(shù)字雕刻軟件，用于創(chuàng)建高精度的三維模型和角色。它提供了多種繪畫和雕刻工具，包括多邊形建模、紋理映射、雕刻筆刷等，并支持實時預(yù)覽和交互式渲染。

?LayaAir：是一個用于Web、移動和小游戲開發(fā)的HTML5引擎。它提供了多種功能和工具，如3D渲染、物理引擎、GUI編輯器等，可以幫助用戶創(chuàng)建出高效、高質(zhì)量的Web應(yīng)用和游戲。LayaAir還支持多種開發(fā)語言，包括JavaScript、TypeScript等。

??

4、動畫制作技術(shù)

?Unity3D：Unity3D是一款實時3D互動內(nèi)容創(chuàng)作和運營平臺，支持多種平臺和設(shè)備，包括PC、移動設(shè)備、虛擬現(xiàn)實和增強現(xiàn)實等。Unity3D提供了強大的編輯器和工具，支持C#和UnityScript等多種編程語言，可用于游戲開發(fā)、AR/VR應(yīng)用開發(fā)等。

?Unreal Engine: Unreal Engine是一款由Epic Games開發(fā)的3D游戲引擎，同樣支持多種平臺和設(shè)備，包括PC、主機、移動設(shè)備、VR和AR等。Unreal Engine提供了強大的編輯器和工具，支持C++和藍圖等多種編程方式，可用于游戲開發(fā)、建筑可視化、虛擬展覽等。

?CryEngine：CryEngine是一款由Crytek開發(fā)的3D游戲引擎，同樣支持多種平臺和設(shè)備，包括PC、主機、移動設(shè)備、VR和AR等。CryEngine提供了強大的編輯器和工具，支持C++和Lua等多種編程方式，可用于游戲開發(fā)、建筑可視化、虛擬展覽等。

?Godot：Godot是一款免費、開源的3D游戲引擎，支持多種平臺和設(shè)備，包括PC、移動設(shè)備、Web和VR等。Godot提供了強大的編輯器和工具，支持GDScript和C#等多種編程語言，可用于游戲開發(fā)、AR/VR應(yīng)用開發(fā)等。

部分軟件圖標(biāo)

??

除了以上技術(shù)應(yīng)該還有很多技術(shù)，歡迎大家熱烈討論和在評論區(qū)補充

三、構(gòu)建一個自己的數(shù)字人—小陳

第一步 用自己的照片生成自己的頭像模型

有以下三種辦法

1、使用 https://avatarsdk.com/ 在線制作，這個H5是基于WebGL的OpenCV技術(shù)構(gòu)建，可以傳一張照片（高p的）生成頭的模型，也可以生成頭和身體模型。

??

為了不影響建模，一般選擇禿頭，導(dǎo)出數(shù)字人頭部模型

??

2、使用Polycam軟件應(yīng)用上傳生成導(dǎo)出

拍照時自己站著不要動，我們做數(shù)字人需要頭就可以，拍照的仰角和俯角傾斜，拍40張左右即可

??

導(dǎo)入Blender進行對點云部分刪除部分，分析建模，然后導(dǎo)出數(shù)字人頭部模型

??

3、通過照片,格式工廠，在Metashape構(gòu)建模型 對點云進行處理 導(dǎo)出數(shù)字人頭部模型，原理是一樣的

以上方式根據(jù)具體的需求來，第二三種方式更逼真。

第二步 導(dǎo)入模型到UE5中，并安裝插件

安裝 MetaHuman插件（數(shù)字人）、 Bridge插件（建模）、LiveLink插件（交互動作）。插件都裝好后，重啟虛幻引擎

1、導(dǎo)入我們第一步的模型，創(chuàng)建MetaHuman實體，并給實體命名，注意這個名字就是你數(shù)字人的名字

??

2、雙擊進入，面部選擇網(wǎng)格體也就是我們第一步生成的頭像模型，并給小人選擇合適身體

??

繼續(xù)點擊提升幀，追蹤活動幀，效果如下圖

??

繼續(xù)點擊MetaHuman本體解算、網(wǎng)格體轉(zhuǎn)MetaHuman。

3、在UE5中打開Bridge，登陸一下賬號，只有l(wèi)ogo的就是我們的小人了。忽略我設(shè)計的禿頂和爆炸頭小陳

??

選中l(wèi)ogo模型，點擊START MHC進入MetaHuman Creator網(wǎng)頁，
https://metahuman.unrealengine.com/ 進一步加工我們的MetaHuman吧

??

第三步 調(diào)整你的數(shù)字人

對骨骼，膚色，頭發(fā)，牙齒，身體，表情動作等進行調(diào)整，內(nèi)容太豐富，建議自己嘗試，放一個眼影小陳，和大胡子小陳

??

??

第四步 下載數(shù)字人并加載到虛幻引擎中

1、打開Bridge點擊Down

??

2、添加小人到項目中后項目中多了一個MetaHuman的文件夾，移動到你的場景吧

??

3、最終效果圖，只下載好了（網(wǎng)速不好）禿頭小陳實在不好放大，下次做個好看的在更新下文章吧。

四、總結(jié)和暢想

本文介紹了如何打造一個數(shù)字人，描述業(yè)內(nèi)常用的一些軟件和技術(shù)棧，并實戰(zhàn)打造一個以自己為模型構(gòu)建的虛擬數(shù)字人，并詳細(xì)描述了全過程?？偟膩碚f數(shù)字人具備了逼真的人類外貌、身體動作和語言能力的虛擬人物，不同的制作方法和技術(shù)可以實現(xiàn)不同的效果和應(yīng)用，選擇合適的方法和技術(shù)需要根據(jù)具體需求和項目情況來確定。

大家將就看完了，模型還是丑丑的，下一步持續(xù)提升，讓數(shù)字人擁有智慧，擁有交互，擁有顏值（畢竟顏值才是正義）。

關(guān)于數(shù)字人如何創(chuàng)建和相關(guān)技術(shù)就介紹到這里啦，我也是剛?cè)腴T，有不對的地方和需要補充的，歡迎大家指正，希望對大家所有幫助，也歡迎多多點贊收藏。

最后關(guān)于數(shù)字人的應(yīng)用場景和結(jié)合實際的落地效果，大家有好的idea也可以一起討論。

五、團隊介紹

我們是互聯(lián)網(wǎng)醫(yī)療服務(wù)團隊，主要是在醫(yī)藥閉環(huán)流程中，承接醫(yī)患兩端服務(wù)平臺，包括派單、問診、處方等垂直領(lǐng)域業(yè)務(wù)，團隊一直致力于在醫(yī)療行業(yè)中探索和應(yīng)用各種新興的科技手段。目前主要在醫(yī)學(xué)對話，遠(yuǎn)程醫(yī)療、醫(yī)學(xué)影像診斷等方面進行探索和嘗試，相信可以為醫(yī)生和患者帶來更好的醫(yī)療服務(wù)體驗。