WithAI.Design

5 min read

用AI批量生产3D资产又近一步?附喂饭级体验教程(一)

用AI批量生产3D资产又近一步?附喂饭级体验教程(一)

熟悉我们的读者朋友,应该还记得我们之前介绍过comfyui生成3D资产的文章:【AI辅助设计】本地部署一套高斯溅射生成流程 使用这个工作流,可以将一张图片生成一个3D模型。但是效果上,还是有点不足。最近,随着AI技术的发展,结合最新的TripoSR模型技术(一个最先进的开源模型,用于从单个图像进行快速前馈3D重建,由Tripo AI和Stability AI合作开发),生成的3D模型质量更高。官方和国外的网友纷纷放出视频:

3d1.gif

3d12.gif

3d123.gif

看效果,比以往的图片生成3D效果要好不少,用来制作精度不高的3D素材,已经可以用了。 这套本地部署的comfyui-TripoSR相对其他工作流,安装稍微复杂点,本文将手把手教大家如何安装和使用,建议设计师们都看看跟着学一下,AI时代,环境部署是基础!设计师也要懂点代码,这样才不吃亏!

必备条件

  1. Python 3.11 版本以上环境
  2. CUDA 12.1以上
  3. ComfyUI本体
  4. ComfyUI-layerdiffusion用于生成透明背景的图,有兴趣查阅:【AI辅助设计】又一设计师利器!Layerdiffusion
  5. ComfyUI-3D-Pack插件
  6. WAS Node Suite 很多实用的功能
  7. pythongosssss/ComfyUI-Custom-Scripts 组织图片用的
  8. ComfyUI Essentials 用于图片的裁剪等
  9. TripoSR 模型。最新的ComfyUI本体已经支持 上述条件中,ComfyUI-3D-Pack最难安装,接下来我将一步一步演示。

安装过程

下载ComfyUI本体

本体地址:https://github.com/comfyanonymous/ComfyUI 我们直接通过命令行安装,在电脑上,找一个干净的地方,右键在终端中打开

在终端中,输入

git clone https://github.com/comfyanonymous/ComfyUI

就可以把ComfyUI下载到本地。

安装conda

为了获得一个干净的python环境,我们需要用到conda这款开发神器,可以创建无数个独立的python环境,彼此互不影响,安装依赖也完整、快。 在Windows上安装Miniconda比较直接,只需按照以下步骤操作即可:

1. 下载Miniconda安装程序

  1. 访问Miniconda的官方下载页面:Miniconda下载页面
  2. 根据您的Windows系统是32位还是64位,选择相应的Miniconda版本。大多数现代计算机都是64位的,因此如果您不确定,可以选择64位版本。
  3. 点击下载链接,下载将自动开始。

2. 运行安装程序

  1. 找到下载的Miniconda安装程序(通常位于下载文件夹中),双击以启动安装向导。
  2. 如果出现提示,允许安装程序运行。

3. 安装Miniconda

  1. 安装类型:安装向导启动后,您将看到几个选项。首先,选择“为所有用户安装”(需要管理员权限)或“仅为我安装”(不需要管理员权限)。
  2. 许可协议:接受许可协议后继续。
  3. 安装位置:选择Miniconda的安装位置。默认位置通常就可以,除非您有特定的理由要更改它。为了方便日后管理,最好把他安装到一个比较大的固态硬盘上****。
  4. 高级选项:您会看到一些高级安装选项。最重要的是选择是否将Miniconda添加到您的PATH环境变量中。如果这是您唯一安装的Python版本,或者您希望它成为默认的Python版本,可以选择添加到PATH。但是,如果您已经安装了其他版本的Python,并希望避免冲突,则可能不想添加。
  5. 安装:点击“安装”按钮开始安装过程。

4. 完成安装

  1. 安装完成后,安装程序可能会询问您是否希望安装Microsoft VSCode。这是一个可选的步骤,取决于您是否需要这个编辑器。
  2. 最后,点击“完成”按钮退出安装向导。

5. 验证安装

  1. 打开Windows的开始菜单,搜索“Anaconda Prompt”或“cmd”打开命令提示符。
  2. 在命令行中输入以下命令:
    conda --version
    
    如果安装成功,它将显示conda的版本号。
  3. 为了确保所有的包都是最新的,您可以运行:
    conda update conda
    
    并按照提示操作。

这样,Miniconda就成功安装到您的Windows系统上了。您现在可以开始使用conda来管理您的Python环境和包了。

创建conda虚拟环境

我们回到已经下载好的ComfyUI文件夹,右键在终端中打开,输入:

conda create -n cf3d python=3.11

意思是创建一个名字为:cf3d,且python版本为3.11的环境。过程中,需要按一次y以确认创建。

激活环境

运行以下命令激活环境:

conda activate cf3d

看到命令行前面有cf3d,表示环境已经激活。

安装ComfyUI

现在ComfyUI只是下载到本地,但实际还没有安装好,我们需要基于conda的环境,进行依赖的安装。在当前命令行中,输入:

pip install -r requirements.txt

意思是使用pip 命令,安装ComfyUI的依赖文件,接下来就是等待。

看到以下提示,如果没报错,就表示成功了。

这时候,当前目录下,输入并启动Comfyui,可能会报错:

python main.py

这是因为默认安装依赖,会匹配了一个不适合当前cuda版本的torch,这时候需要手动适合系统当前cuda的torch:

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

例如我的系统是cuda12.1,这时候就需要安装该版本的torch。关于如何安装cuda,大家去官网直接下载安装包,安装即可。 这时候在启动Comfyui,就可以正常启动了。

用默认流程跑个图,可以成功跑出来。

安装 ComfyUI-3D-Pack插件

接下来安装ComfyUI-3D-Pack插件。在custom_nodes目录下运行终端,输入:

git clone https://github.com/MrForExample/ComfyUI-3D-Pack

下载插件到本地,下载完成后,cd到该插件:

cd ComfyUI-3D-Pack

然后安装依赖:

pip install -r requirements.txt

安装后如果没报错就代表安装成功了。

我们再次启动ComfyUI,看到有报错:

进入conda虚拟环境,手动安装kiui模块。

然后继续报错,

继续安装缺失的模块,这里作者没有明确说明,直接pip安装是找不到这个模块的,需要通过以下方式安装:

pip install git+https://github.com/ashawkey/diff-gaussian-rasterization

总之看到缺什么就装什么,一直到没报错为止,就可以了。 当然,作者提供自动化脚本,帮助大家安装,但是为了让环境完全自主可控,大家还是走一遍流程为好,这样后面无论安装其他插件,也可以以此类推,依次解决问题。

经过九牛二虎之力,终于看到3D的插件了🍻。

搭建工作流

写不完了,明天继续,敬请关注。

关注我公众号(设计小站):sjxz00,获取更多AI辅助设计和设计灵感趋势。

标签