WithAI.Design

5 min read

真的猛!Hunyuan3D2初试

真的猛!Hunyuan3D2初试

前言

之前,我测试过微软的 3 D 生成模型,trellis,# 【AI辅助设计】年度最强图片到3D的AI生成技术 称他为年度(2024)最强开源 3 D 模型,然后步入 2025 年,腾讯就推出了Hunyuan3D-2,在生成的模型精细度上比前者更胜一筹。作为半个 3 D 从业者,理所当然,要好好体验一番!😎

Hunyuan3D-2 介绍

这是官方的项目的地址:https://3d-models.hunyuan.tencent.com/

简单一张图,就可以说清楚整个技术的特点和应用场景了,确实强大!👍。

技术架构图:

简单而言,

这个技术就像一个**“3D模型制造工厂”** ,它主要分两个大车间:

第一个车间: “形状车间” (Shape Generation) - 就像捏泥巴,搭骨架!

  • 想象一下你在捏泥巴,你想捏一个小猪佩奇。 你是不是要先捏出小猪佩奇的大概形状? 比如圆圆的脑袋,椭圆的身体,四条腿,还有鼻子和耳朵的大概位置。
  • 这个“形状车间”就干这个活! 它用一些很厉害的“工具”(图里那些箭头和方块),先从一些简单的“点点”(Uniform)开始,慢慢地“搭”出一个3D模型的基本骨架和轮廓
  • 就像盖房子一样,先要打地基,搭框架。 这个“形状车间”就是负责打地基和搭框架的,先让模型有个大致的形状出来。
  • 你看图的左边,从上面那些像“星空”一样的点点,到最后变成一个灰色的模型(Hunyuan3D-DIT 下面的灰色模型),这就是“形状车间”的成果,模型的大概样子出来了,但是还很粗糙,没有颜色和细节。

第二个车间: “上色车间” (Texture Synthesis) - 就像化妆打扮,穿衣服!

  • 形状有了,但是光秃秃的灰色多难看啊! 就像你捏的小猪佩奇,光有形状,没有颜色,没有衣服,也不像真的小猪佩奇。
  • “上色车间”就是来给模型“化妆打扮”的! 它会给模型涂上漂亮的颜色,还会加上各种细节,比如衣服的纹理,皮肤的光泽,让模型看起来更真实、更生动。
  • 就像你给泥塑小猪佩奇涂上粉红色,画上眼睛鼻子,再给她穿上红色的小裙子一样! 模型瞬间就变得活灵活现了!
  • 你看图的右边,从中间那个灰色的模型,经过“上色车间”的处理,就变成了右边那些彩色的、栩栩如生的模型(小猫、小猪、小象、小鸭子)。 颜色鲜艳了,细节也丰富了,看起来就像真的一样!

所以,整个流程就像这样:

  1. 先在“形状车间”捏泥巴,搭出模型的骨架和轮廓 (Shape Generation)。
  2. 再在“上色车间”给模型化妆打扮,涂颜色加细节 (Texture Synthesis)。

两个车间配合起来,就能做出各种各样漂亮又逼真的3D模型啦!

这个技术有什么用呢?

  • 游戏里的人物和场景: 有了这个技术,游戏公司就能更快更方便地做出各种各样的游戏角色和游戏场景,让游戏更好玩!
  • 电影里的动画特效: 电影特效公司可以用这个技术制作更逼真、更精细的动画角色和场景,让电影更震撼!
  • 设计和制造: 设计师可以用这个技术快速设计出各种产品模型,比如汽车、家具、玩具等等,让设计更高效!

简单来说,这个技术就像一个强大的“3D模型魔术师”,可以帮助我们更快更轻松地创造出各种各样的3D世界!

官方的效果是非常赞的👍!

02.gif

02.gif

当然,估计是训练数据问题,我猜对于 IP、3 D 类模型,可能效果好一点。跟 trellis 其实类似。

如何使用

官方

可以在官方抱脸地址在线体验,但一般需要排队。

地址:https://huggingface.co/spaces/tencent/Hunyuan3D-2

本地部署

拉取源码:

git clone https://github.com/Tencent/Hunyuan3D-2.git

创建 conda 虚拟环境:

conda create -n h3d2 python==3.10
conda activate h3d2

安装依赖

pip install -r requirements.txt

安装 gradio 和启动

pip3 install gradio==3.39.0
python gradio_app.py

下载一大堆模型🥱

敲黑板,这里可能会报错 ModuleNotFoundError: No module named ‘custom_rasterizer’。

需要 cd 到 custom_rasterize目录,然后运行:

Python setup. Py install

这样就会正常了。

测试 1

使用之前测试 trellis 的模型,生成一个小女孩。

用时 120 多秒,速度比不上 trellis。

生成的质量,从预览看也不错。

导入到 blender 看看。

对比 trellis,面数明显精细很多!👍,贴图也更加细腻。

测试 2

使用官方的图: 浮雕效果基本 ok,就是脸部的细节不行😂。

整体来说是很不错!

在资源占用上,还是比较高的,就跑满 24 G 显存了🤦‍♂️。

ComfyUI 使用

被称为 ComfyUI 劳模的Kijai 大佬,首发了 ComfyUI插件。 地址:https://github.com/kijai/ComfyUI-Hunyuan3DWrapper

目前问题还比较多,反正我是没跑起来😂,期待大佬优化~💪

红包时间

关注我公众号(设计小站):sjxz 00,获取更多 AI 辅助设计和设计灵感趋势。

标签