說明：文中所有的配圖均來源于網(wǎng)絡(luò)

日前，騰訊混元3D迎來重大升級，推出業(yè)界首個美術(shù)級3D生成大模型——Hunyuan3D-PolyGen。

該模型結(jié)合騰訊自研的高壓縮率表征BPT技術(shù)，能夠生成面數(shù)達(dá)上萬面的復(fù)雜幾何模型。其布線精度更高、細(xì)節(jié)更豐富，還同時支持三邊面和四邊面，可滿足不同專業(yè)管線的多樣化需求。基于此，混元3D資產(chǎn)可無縫應(yīng)用于UGC游戲資產(chǎn)生成，顯著提升美術(shù)師的建模效率。

目前，這一能力已在騰訊混元3D AI創(chuàng)作引擎上線（體驗地址：3d.hunyuan.tencent.com），誠邀大家體驗。同時，該技術(shù)也集成到騰訊多個游戲管線中，助力美術(shù)師建模效率提升超70%。該模型旨在解決3D資產(chǎn)生成中布線質(zhì)量不佳和復(fù)雜物體建模困難的問題，提升美術(shù)師工作效率。

當(dāng)前，3D生成算法在幾何建模上雖有顯著進(jìn)展，但生成的模型與美術(shù)制作專業(yè)標(biāo)準(zhǔn)仍有差距，難以直接用于游戲開發(fā)等專業(yè)場景。主要問題有三：一是生成網(wǎng)格面數(shù)過高，動輒數(shù)十萬，無法滿足游戲?qū)崟r加載與渲染需求；二是布線質(zhì)量欠佳，網(wǎng)格布線雜亂，影響模型美觀，還阻礙后續(xù)UV展開、骨骼綁定等環(huán)節(jié)；三是編輯難度大，生成結(jié)果為單一整體網(wǎng)格，難以拆分，限制了美術(shù)師后期編輯。為攻克這些難題，PolyGen進(jìn)行了一系列技術(shù)創(chuàng)新。

為實現(xiàn)3D生成從“可看”邁向“可用”，Hunyuan3D-PolyGen采用自回歸網(wǎng)格生成框架。它借助顯式、離散的頂點與面片建模開展空間推理，進(jìn)而生成高質(zhì)量、契合美術(shù)規(guī)范的3D模型。其核心流程（見圖2）分三步：第一步是網(wǎng)格序列化，把網(wǎng)格的頂點與面片轉(zhuǎn)換成Token序列，以此表示Mesh結(jié)構(gòu)；第二步為自回歸建模，以點云作為輸入Prompt，通過自回歸模型生成Mesh的Token序列；第三步是序列解碼，將生成的Token序列反向解碼成頂點與面片，最終重建出3D網(wǎng)格。

1、難點聚焦：對于復(fù)雜物體的建模

現(xiàn)有mesh自回歸方法存在明顯短板，表達(dá)一個面需9個token（一個面片含三個頂點，每個頂點對應(yīng)三個坐標(biāo)），mesh表達(dá)冗余度高。受限于有限的上下文窗口，該方法僅能對低面片（2k面以下）的簡單模型進(jìn)行建模，難以滿足復(fù)雜物體的建模需求。

破局之策：自研高壓縮率表征BPT

為提升可建模面數(shù)、實現(xiàn)復(fù)雜mesh建模，我們自主研發(fā)了高壓縮率mesh表征BPT（Blocked and Patchified Tokenization）。通過精心設(shè)計block索引和patch壓縮機制，讓表達(dá)相同mesh所需的token序列大幅縮短，有效突破了現(xiàn)有方法的局限，為復(fù)雜物體建模提供了有力支撐，具體效果如下圖所示：

block索引：精簡頂點表征，降低token數(shù)量

將網(wǎng)格空間劃分成多個block，把頂點的(x,y,z)空間坐標(biāo)轉(zhuǎn)化為(block, offset)索引坐標(biāo)。如此一來，token數(shù)量能有效降低33%，從源頭減少了數(shù)據(jù)冗余，為后續(xù)的壓縮處理奠定基礎(chǔ)。

patch壓縮：優(yōu)化面片組合，進(jìn)一步削減token

把相鄰面片組成patch（包含一個中心頂點和邊緣頂點），減少相鄰面片共用頂點的冗余。再結(jié)合共享block等技巧，token數(shù)量可進(jìn)一步降低約41%。

通過上述BPT壓縮算法，表征mesh的token數(shù)量可壓縮74%，平均2.3個token就能表征一個面，大幅提升模型可建模面數(shù)。從下圖能明顯看出，相較于現(xiàn)有mesh自回歸方法，該方法可建模的模型更復(fù)雜（可達(dá)2w + 面），細(xì)節(jié)也更為豐富。

2、難點聚焦：mesh自回歸生成穩(wěn)定性難題

mesh自回歸生成面臨的一大挑戰(zhàn)是穩(wěn)定性欠佳，同一模型多次生成的結(jié)果可能差異顯著，如圖5所示。這主要有兩方面原因：其一，mesh生成容錯率低，一個坐標(biāo)生成錯誤就可能導(dǎo)致整體生成失??；其二，mesh的token序列較長，可達(dá)上十萬，這無疑增加了出錯的概率。

破局之策：引入強化學(xué)習(xí)后訓(xùn)練

為解決這一問題，騰訊研發(fā)了mesh自回歸的強化學(xué)習(xí)后訓(xùn)練框架，如圖6所示。該框架在預(yù)訓(xùn)練模型基礎(chǔ)上開展后訓(xùn)練，精心設(shè)計穩(wěn)定生成和美術(shù)規(guī)范獎勵機制，以此引導(dǎo)模型生成更優(yōu)結(jié)果。借助強化學(xué)習(xí)，模型生成“好結(jié)果”的概率得以提升，生成“差結(jié)果”的概率降低，進(jìn)而有效提升了mesh自回歸生成的穩(wěn)定性，為高質(zhì)量3D模型生成提供了有力保障。

Hunyuan3D-PolyGen 與 Mesh 自回歸 SOTA 算法對比

在 3D 模型生成領(lǐng)域，傳統(tǒng)的 mesh 自回歸方法在處理復(fù)雜物體時，常出現(xiàn)模型破損、細(xì)節(jié)缺失、布線雜亂無章等狀況，嚴(yán)重影響生成質(zhì)量。而騰訊推出的混元 3D-PolyGen 表現(xiàn)卓越，在生成的穩(wěn)定性、細(xì)節(jié)豐富度以及布線質(zhì)量等多個關(guān)鍵維度上，均全面超越當(dāng)前表現(xiàn)最優(yōu)的 SOTA 模型，為復(fù)雜物體的高質(zhì)量 3D 生成提供了更優(yōu)解決方案。

Hunyuan3D-PolyGen 與業(yè)界重拓?fù)浣涌趯Ρ?/span>

為解決面數(shù)和布線難題，業(yè)界常借助傳統(tǒng)圖形學(xué)重拓?fù)渌惴▋?yōu)化布線。現(xiàn)有重拓?fù)浞椒m能生成規(guī)整布線，但面片大小分布均勻，在低面數(shù)設(shè)定下，會導(dǎo)致模型細(xì)節(jié)大量丟失。相比之下，混元 3D-PolyGen 可依據(jù)幾何結(jié)構(gòu)自適應(yīng)分配面數(shù)，以更低面數(shù)實現(xiàn)更精細(xì)的細(xì)節(jié)呈現(xiàn)。

輸入

效果