作者 | ZeR0編輯 | 漠影

將3D資產(chǎn)一鍵生成、一鍵換皮膚、一鍵變動畫，還有一鍵生成3D游戲視頻，此刻，騰訊混元3D創(chuàng)作引擎通通做到了！

智東西1月21日報告，今日，騰訊混元宣布開源3D生成大模型2.0版，并上線業(yè)界首個一站式、低門檻3D AI創(chuàng)作引擎「混元3D創(chuàng)作引擎」，為普通用戶UGC和游戲等專業(yè)場景供給一款有效的3D內(nèi)容生產(chǎn)工具。

混元3D創(chuàng)作引擎包括三層架構(gòu)，設(shè)計目的是用AI覆蓋3D管線多個環(huán)節(jié)，打造功能最全的3D AI創(chuàng)作平臺：

（1）模型層：基于3D-DiT和3D-Paint基本模型；

（2）能力層：含3D功能矩陣+3D生成工作流+3D創(chuàng)作素材庫；

（3）應(yīng)用層：供給可低成本定制的業(yè)務(wù)場景處理方法。

混元3D基本模型同期支持文生3D和圖生3D，幾何結(jié)構(gòu)精細(xì)度提高，紋理色彩豐富，支持紋理風(fēng)格選取與PBR貼圖。

3D功能矩陣瞄準(zhǔn)3D創(chuàng)作管線，供給豐富的生成和編輯3D資產(chǎn)能力，包含草圖生3D、3D風(fēng)格化、3D紋理生成、3D名人生成、3D小游戲創(chuàng)作等。

靈感廣場擺設(shè)了3D模型素材庫，右上方可選不同場景類目（游戲道具、名人角色、商品、動植物等）。點擊素材后，用戶能夠點擊下載或創(chuàng)作同款3D模型。

用該平臺生成的3D模型，支持經(jīng)過鏈接形式分享給好友，并支持在PC端、移動端進(jìn)行模型預(yù)覽、交互及下載。

體驗直通車：https://3d.hunyuan.tencent.com/

當(dāng)前游戲制作、社交、電商宣傳、工業(yè)制造、具身智能、自動駕駛、AR/VR、三維打印等行業(yè)都積極應(yīng)用AI能力輔助3D內(nèi)容生成?；煸?D生成大模型此前已起始應(yīng)用于游戲、社交、騰訊地圖、騰訊云、設(shè)備人等騰訊內(nèi)部業(yè)務(wù)。

以游戲業(yè)務(wù)為例，AI生成3D模型對游戲開發(fā)增效功效顯著，能夠減少美術(shù)成本和時間成本。傳統(tǒng)流程制作單角色模型需要花費6~100天，而AI生成單角色模型的時長僅分鐘級。

騰訊混元3D模型已全面開放+開源：面向企業(yè)、個人研發(fā)者供給商用品質(zhì)的3D開源模型，為設(shè)備人仿真、自動駕駛等行業(yè)供給數(shù)據(jù)燃料；降低3D資產(chǎn)的生成周期、成本，推動3D普及。

混元還為研究學(xué)者供給更大的3D基本模型，加速科研探索，并從企業(yè)界的新視角，幫科研者尋找有價值的科研方向。

混元3D模型2.0開源主頁：https://3d-models.hunyuan.tencent.com/

代碼倉庫：https://github.com/Tencent/Hunyuan3D-2/

1、支持文/圖生3D，能模擬逼真材質(zhì)

混元3D創(chuàng)作引擎同期支持文生3D和圖生3D。用戶能夠結(jié)合3D風(fēng)格化、渲染打光、骨骼綁定&動作驅(qū)動等3D模型編輯工具能力，調(diào)節(jié)模型效果。

文生3D模式供給了預(yù)設(shè)prompt和prompt指南。輸入提示詞后能一次生成4個模型，可選取區(qū)別紋理風(fēng)格（包含卡通、中國風(fēng)、青花瓷、石雕、賽博朋克等）。

倘若選取圖生3D模式，則能夠經(jīng)過上傳單圖來生成3D模型。

據(jù)介紹，混元近期將推出經(jīng)過多視圖生成3D模型的功能，以實現(xiàn)更高的可控性。

兩種模式均支持PBR貼圖，可經(jīng)過模擬理學(xué)特性，生成逼真的模型材質(zhì)效果。

另外，創(chuàng)作引擎支持端到端低多邊形模型生成。生成結(jié)果能夠在低面片的基本上最大化表現(xiàn)模型細(xì)節(jié)，拓?fù)洳季€更加符合美術(shù)標(biāo)準(zhǔn)，更適用于游戲引擎模型渲染。

其首個支持端到端生成低多邊形low-poly模型，可按照物體繁雜程度，自適應(yīng)生成幾百至數(shù)千面的三角mesh，在面數(shù)更低的同期可保準(zhǔn)模型細(xì)節(jié)效果。

2、花式應(yīng)用玩法：簡筆畫秒變3D、白模一鍵換皮、自制Q版玩偶

創(chuàng)作引擎的“實驗室”頁面供給了3D動畫生成、3D紋理生成、3D名人生成、草圖生3D、3D小游戲創(chuàng)作等應(yīng)用，做為3D模型應(yīng)用的展示模塊。

（1）草圖生3D：上傳線稿草圖或選取草圖素材，輸入紋理、顏色等特性的文本描述，就可一鍵將二維草圖轉(zhuǎn)換成高質(zhì)量的3D模型。

（2）3D紋理生成：上傳3D模型或選取預(yù)置白模，輸入文字指令或照片，該功能就能“一鍵換皮膚”，生成與上傳模型或白模幾何一致的高清紋理貼圖，還能選取生成PBR材質(zhì)貼圖。

（3）3D動畫生成：上傳模型或選取預(yù)置模型，AI就會對生成3D角色模型實現(xiàn)自動綁骨蒙皮。用戶能夠選取區(qū)別的動作模版，讓3D模型動起來。

（4）3D名人生成：上傳名人圖像，選取角色模版，該功能就能生成符合個性化的3D名人角色，實現(xiàn)個人UGC 3D形象定制。

（5）3D小游戲創(chuàng)作：上傳一張頭像，選取角色模版，一鍵生成個人專屬IP角色的游戲動畫視頻，并支持分享轉(zhuǎn)發(fā)。

還有一個混元3D特殊功能——面向?qū)I(yè)用戶的3D生成工作流，經(jīng)過模塊化節(jié)點設(shè)計，實現(xiàn)單點功能串聯(lián)，供給預(yù)設(shè)的工作流模版、工作流編輯器、工作臺管理能力，幫忙專業(yè)用戶在游戲研發(fā)、動畫制作等行業(yè)快速搭建3D生成工作流。

其供給的工作流模版類型多樣，有文/圖生3D角色、文/圖生3D道具，能夠滿足區(qū)別業(yè)務(wù)場景的需要。用戶僅需加載模版，按照自己的需要輸入提示詞或上傳照片，調(diào)節(jié)節(jié)點生成參數(shù)，就能一鍵生成擁有特定風(fēng)格或特征的3D資產(chǎn)。

這為專業(yè)用戶供給了更方便、更有效、更低門檻的3D創(chuàng)作工具。

3、混元3D生成大模型2.0全面開源：升級幾何結(jié)構(gòu)、紋理色彩

工業(yè)界3D模型多為閉源。去年11月全面開源的混元3D生成大模型1.0，是業(yè)界最早的端到端3D大模型之一，亦是業(yè)界首個同期支持文字、圖像生成3D的開源大模型。

2.0版本依然同期支持文、圖生3D，是業(yè)界最早一批3D-DiT原生大模型，并經(jīng)過將幾何、紋理解耦生成，幾何結(jié)構(gòu)更加精細(xì)，紋理色彩更加豐富。從下圖能夠看到，2.0版本的生成效果顯著提高：

3D生成模型重點包含幾何和紋理生成兩部分。幾何大模型專注于捉捕物體的形狀、結(jié)構(gòu)和空間關(guān)系，紋理大模型則專注于顏色、細(xì)節(jié)和表面特征。

這種專注性使得每一個模型能在其行業(yè)內(nèi)進(jìn)行更深入的學(xué)習(xí)和優(yōu)化，而幾何與紋理解耦生成的方式，讓整體生成能力達(dá)到更高上限，能夠生成更為精細(xì)和真實的3D結(jié)果。

幾何大模型和紋理大模型各自表現(xiàn)優(yōu)異。其中，幾何大模型由Hunyuan3D-DiT模型和Hunyuan ShapeVAE構(gòu)成，能實現(xiàn)超高精度的白模生成，幾乎達(dá)到了設(shè)計師手工建模的水平。

紋理大模型Hunyuan3D-Paint則采用多視圖擴散生成的方法，能夠基于用戶輸入的參考圖像對生成的幾何白模進(jìn)行紋理貼圖，還能支持對用戶任意輸入的幾何模型進(jìn)行任意文本或圖像引導(dǎo)的紋理生成。

騰訊混元從定量和定性兩個維度進(jìn)行了評定，在收集的In-the-wild測試集上，對3D生成質(zhì)量進(jìn)行了定量評定。

按照CLIP Maximum Mean Discrepancy（CMMD）、Frechet Inception Distance（FID）、CLIP-score指標(biāo)，不論是端到端最后3D資產(chǎn)的質(zhì)量，還是幾何模型生成的幾何結(jié)構(gòu)以及紋理基本模型生成紋理的質(zhì)量，Hunyuan3D-2.0的整體表現(xiàn)均優(yōu)于當(dāng)前業(yè)界包含閉源模型在內(nèi)的先進(jìn)模型。

▲整體模型比較

▲幾何模型比較

▲紋理模型比較

在定性評定方面，從整體滿意度、3D物體質(zhì)量、指令遵循三個維度進(jìn)行用戶主觀評定，結(jié)果表示，Hunyuan3D-2.0在生成質(zhì)量上優(yōu)于當(dāng)前最先進(jìn)的開源模型。

▲用戶愛好打分

▲3D生成可視化比較

▲幾何模型生成可視化比較

▲紋理結(jié)果生成可視化比較

結(jié)語：將來將更加多面向應(yīng)用標(biāo)準(zhǔn)而開發(fā)

騰訊混元3D負(fù)責(zé)人郭春超談道，混元3D生成大模型從1.0版本的率先開源，到快速升級2.0版本并開放業(yè)界首個一站式3D AI創(chuàng)作平臺，期盼切實幫忙公眾興趣者、研發(fā)者、創(chuàng)作者們降低運用門檻，提高創(chuàng)作效率，讓3D大模型技術(shù)在各行各業(yè)發(fā)揮價值。

3D創(chuàng)作門檻很高，純手工制作既貴又慢。其中3D制作管線非常繁雜，運轉(zhuǎn)觸及6大項、超過30個環(huán)節(jié)，觸及幾何、紋理、布線、骨骼等多種模態(tài)，況且各環(huán)節(jié)前后依賴，對3D建模專業(yè)知識需求高。僅有基本模型遠(yuǎn)遠(yuǎn)不足。

針對3D基本模型而言，加強可控性、可用性都是當(dāng)務(wù)之急，數(shù)據(jù)不足亦是掣肘模型發(fā)展的一大挑戰(zhàn)。日前此類模型的技術(shù)趨勢包含構(gòu)建有效3D暗示、探索3D-DiT架構(gòu)上限以及探索3D生成新范式。

學(xué)術(shù)3D生成技術(shù)與制作管線存在差異大的問題?；＝尤牍芫€需要深度思慮語義，觸及重拓?fù)?、UV展開、骨骼綁定與驅(qū)動等海量開發(fā)工作。

據(jù)介紹，混元將來將更加多面向應(yīng)用標(biāo)準(zhǔn)而開發(fā)，真正兼容3D管線需要。同期，混元亦會連續(xù)為開源社區(qū)貢獻(xiàn)力量。