WithAI.Design

5 min read

AI生成HDR贴图

AI生成HDR贴图

HDRAI.jpg

朋友们,AI辅助3D设计的话题,近期占据了设计小站的大篇幅文章内容。3D设计的几大要素:材质、模型、灯光、环境、贴图中,其中的材质、模型、贴图都有探讨了,今天来探讨一下环境HDR这块。

看效果

这是使用AI生成的HDR贴图,然后在Realibox iCreate工具搭建的一个简单的互动3D场景。

01.gif

大家可以通过,这个链接访问https://www.realibox.com/sl?p=cRRjre,实时的web 3D效果。

用ComfyUI生成的原图

ComfyUI_temp_xiypj_00003_.png

HDRI球

整体测试下来,这套AI生成HDRI贴图的性价比不错,可用性也很高,如果大家找不到合适的HDR图,可以试一试。

流程概述

这个生成流程用到了ComfyUI和DiffusionLight。 ComfyUI大家都比较熟悉了,就使用SDXL的文生图生成流程即可,目的是得到一张1024x1024的基础图片,作为制作HDRI图的输入。 DiffusionLight是一个开源项目,制作HDR图的核心程序。

流程详解

ComfyUI文生图

使用SDXL基础流程即可。 正向提示词:

landscape, clouds, lake, forest,snow

负向提示词:

bad quality, bad picture

安装DiffusionLight

目前DiffusionLight还没有大佬完美地整合到ComfyUI中,所以还是得借助官方的python代码跑。

其实kijai大佬已经做出了node https://github.com/kijai/ComfyUI-DiffusionLight ,但是输出的HDR,经过测试效果不好,所以我们还是使用官方的代码吧。

推荐大家使用wsl安装,这样会顺畅很多,也不会影响Windows的环境。至于如何安装wsl2,看微软官方的教程即可。同时要安装nvidia的驱动和cuda tookit,这些自行搜索互联网或者问GPT即可。 我们打开wsl的命令行工具。 ![](100 1

拉取代码

git clone https://github.com/kijai/ComfyUI-DiffusionLight

拉取完成后,CD到ComfyUI-DiffusionLight目录。 根据官方提供的方法,逐个输入:

conda env create -f environment.yml
conda activate diffusionlight
pip install -r requirements.txt

这里大家也需要安装conda,我用的是miniconda。 安装依赖这里,我遇到个坑,就是OpenEXR安装不上,所以我打开requirements.txt,手动把版本号改为:OpenEXR>=1.3.9,就可以安装了。

运行程序

在项目根目录新建一个inputoutput文件夹。

把ComfyUI生成的图,放进input文件夹中。 然后依次运行:

python inpaint.py --dataset input --output_dir output
python ball2envmap.py --ball_dir output/square --envmap_dir output/envmap
python exposure2hdr.py --input_dir output/envmap --output_dir output/hdr

注意,运行第一行代码时间比较长,4090大约运行了10分钟。 最终你可以在,output/hdr 文件夹中,找到最终的输出图。

使用HDR

熟悉HDR的朋友这步可以不看了,我这里会推荐一款在线的web实时3D互动制作工具,Realibox iCreate https://www.realibox.com/dashboard/home ,之前也有推荐过,纯线上,无需代码,可以制作web实时3d互动内容。我用它还复刻了最近比较火的小米su7的3d网站,虽然低配,但是无代码制作,还是很香的。如果大家感兴趣,我下期可以出个教程。

02.gif

03.gif

04.gif

回到正题,我们在iCreate里面使用素材库,快速往场景添加几个有意思的模型。

05.gif

从材质库添加材质。

06.gif

把生成的HDR拖放直场景,调整参数,就可以看到效果了。

07.gif

好了,今天的分享就到这里,有什么疑问或者问题,可以留言交流哦~

关注我公众号(设计小站):sjxz00,获取更多AI辅助设计和设计灵感趋势。

标签