5 min read
本地部署一套高斯溅射生成流程

谈到高斯溅射(gaussian-splatting),相信大家都不陌生。一款名为 Luma 的应用程序在国外利用这项技术创造了令人惊艳的效果。
Luma 的主要使用流程是通过手机扫描真实场景(实际上是拍摄多个照片),然后利用高斯溅射算法生成模型,供用户自由查看。
对于设计师来说,这项技术有着广泛的应用场景,以下是一些例子:
- 竞品分析和对比:可以将竞品的实物转化为高斯模型,导入到3D软件中,与设计方案进行对比。
- 搭建真实的渲染场景:通过扫描真实场景,可以将设计方案放入其中,实现更真实的效果。
- 游戏设计:无需建模,只需拍摄即可搭建游戏场景。 还有许多其他的应用场景,可以根据个人的想象力进行发挥。 目前,这项技术本身是开源的,但是 Luma 的方案却是闭源的。最近在 GitHub 上出现了一个名为 ComfyUI 的节点,它提供了一个名为 3D-Pack 的工具,支持通过 ComfyUI 部署一套高斯溅射模型的生成工作流程,值得一试。 安装过程可能有些复杂,对于没有接触过的朋友来说可能会感到困难。我通过实际操作积累了一些经验,将安装过程和可能遇到的问题详细描述,希望能对大家有所帮助。同时,我也希望大家能尽早掌握高斯溅射技术,因为它的未来发展是令人期待的。 当然,这套工作流目前的效果还在作者调试,尚未达到真正商用效果,但是 AI 的技术日新月异,提前准备好,收益往往会不期而至。
先看看效果
因为没有好的拍摄设备,输入源导致效果不太好,同时机器设备性能有限,参数没敢开得太高,大家可以感受一下。
安装过程
安装过程,基本是把作者的过程复述一遍,同时增加我自己的理解,并通过动图方式,尽量讲明白。
必备条件
- Windows 10/11
- Miniconda/Conda Python 3.11.7
- Torch version: 2.1.2+cu 121/V.2.1.2+cu 118
- 保持网络通畅,能正常链接github 为什么需要用到 conda?主要是为了避免跟其他 comfyui 的环境冲突,同时强烈建议大家新开一个 comfyui,作为单独使用。
安装 Miniconda
官方地址: https://docs.conda.io/projects/miniconda/en/latest/
根据官方的教程,一步一步下载安装即可。
[!NOTE] Title 这里要注意哦,安装时,需要勾选”添加到环境变量”。这样,才不会出现 conda 命令粗错的问题。
创建虚拟环境
在 comfyui 主文件的上一层目录,点击右键并选择【在终端打开】
在弹出的 cmd 命令中,输入
conda create -p ./python_miniconda_env/ComfyUI python=3.11
它的意思是,在当前目录创建一个名为”python_miniconda_env/ComfyUI”的 conda 虚拟环境,并使用 python3.11 版本。 这步基本没有问题,等待创建成功后,在命令行继续输入:
conda activate C:\Users\reall\Softwares\ComfyUI_windows_portable\python_miniconda_env\ComfyUI
它的意思是,激活刚才创建的环境。注意:
C:\Users\reall\Softwares\ComfyUI_windows_portable\python_miniconda_env\ComfyUI
要替换成你的实际路径,如我的路径是:K:\program\minicaonda\envs\comfyui3d
如果你也像我这样,那么虚拟环境已经创建成功了,接下来所有的依赖都会安装在这个环境里,非常纯净的环境。
安装torchvison
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
安装依赖
pip install -r ./ComfyUI/requirements.txt
接着,进入插件的根目录下,如我的:
cd K:\comfyui-conda\ComfyUI\custom_nodes\ComfyUI-Impact-Pack
然后运行 install
Python install. Py
耐心等待安装完成。
安装 pytorch3d
作者没有展开说 pytorch3 d 的安装,但使用其提供的 install.py 文件,会遇到报错。这里可以手动安装一下。
打开 pytorch 3d 的官方说明 https://github.com/facebookresearch/pytorch3d/blob/main/INSTALL.md ,这里有个手动安装的说明:
保持当前的 cmd 命令目录,运行代码即可:
git clone https://github.com/facebookresearch/pytorch3d.git
cd pytorch3d && pip install -e .
这里等待时间和构建依赖的时间会较长,耐心等待。完成后,如果没有错误,那么恭喜你,环境已经可以了,接下来就可以愉快玩 3D 啦!
3D 模型生成流程
先来试试倔强的奶龙。
素材准备
首先我们需要准备一个素材,120 张 360 环视的图,而且需要抠图。刚好手上有一只奶龙,那就拍成视频,然后通过 comfyui 的抠图流程,把图片处理好。
拍摄视频
设备简陋,大概是这样的,把奶龙放在台子上,固定手机,旋转台子拍好视频即可。
搭建图片处理工作流
我们要实现的目标和流程如下:
还记得我之前的文章吗?就是那个工作流,大家可以复习一下《 什么?十分钟扣1000张图,用AI帮你打工》
一下子就处理完了,奶龙整整齐齐。
生成高斯溅射模型
这里直接使用作者的工作流,不改动任何参数进行测试。工作流在 github 的项目代码里面,大家自行下载即可。我使用的是 Multi-View-Images_to_3 DGS_to_3 DMesh (DMTet and DiffRast)。这个工作流。
打开工作流后,在这里上传处理好的图片目录。
然后运行即可,参数大家自行试一下,如果加大参数,应该会有好的效果。
关注我,获取更多 AI 帮助设计的知识!!