5 min read
还在手动PS给产品加阴影?AI帮你来了

前言
做过设计的朋友都知道,有时候需要给产品加上阴影,这样更有立体感,通常我们要考虑阴影的真实性,虽然 PS 的操作也不复杂,但是如果图片非常多,那么处理起来还是挺苦难的。 最近发现了一个国外的研究项目,可以一步生成产品阴影。
官方演示
以下几个动图可以看到效果,自由度高,阴影真实,确实很强大!👍
项目介绍
逼真的阴影生成是高质量图像合成和视觉效果的关键组成部分,但现有方法存在局限性:基于物理的方法需要通常不可用的 3 D 场景几何信息,而基于学习的方法则难以控制且容易产生视觉伪影。我们提出了一种新颖的方法,旨在为 2 D 物体图像实现快速、可控且无背景的阴影生成。我们使用 3 D 渲染引擎创建了一个大型合成数据集,用于训练可控阴影生成的扩散模型,该模型能根据不同的光源参数生成阴影图。通过广泛的消融研究,我们发现利用修正流目标,仅需一个采样步骤即可获得高质量的结果,从而实现实时应用。此外,我们的实验表明,该模型具有良好的泛化能力,可以应用于真实世界的图像。为了促进对阴影生成质量和可控性评估的进一步研究,我们发布了一个包含各种设置下多样化物体图像和阴影图的新公共基准。
方法
我们利用合成数据来训练我们新颖的、单步、无背景且可控的阴影生成扩散模型。在创建合成数据集的过程中,我们采用球坐标系来策略性地定位相机、3 D 模型和光源。为了确保阴影的可控性,我们将光照参数 S=(θ, φ, s) 集成到去噪网络中。其中,θ 和 φ 分别对应于光源的极角和方位角,而 s 代表光源的大小,用于控制阴影的柔和度。我们的模型采用修正流进行训练,以便在推理阶段实现单步采样。右侧的图像展示了完整的推理流程。
基准测试
由于没有现有的数据集可用于评估我们流程的性能,我们决定专门为此任务创建一个新的基准,并使其公开访问。我们的新测试集包括三个轨道,每个轨道都经过精心设计,旨在评估模型在控制阴影柔和度以及水平和垂直方向方面的性能。我们为每个轨道创建样本的方式如下:
- 轨道 1: 柔和度控制。我们固定 θ 和 φ,并改变 s。
- 轨道 2: 水平方向控制。我们固定 θ 和 s,并改变 φ。
- 轨道 3: 垂直方向控制。我们固定 φ 和 s,并改变 θ。
每个轨道的示例渲染如下所示:
柔和度控制轨道中两个 3D 网格的渲染。θ=30 且 φ=0。
水平阴影方向控制轨道中一个 3D 网格的渲染。θ=30 且 s=2。
垂直阴影方向控制轨道中两个 3D 网格的渲染。φ=0 且 s=2。
项目地址
项目地址:https://gojasper.github.io/controllable-shadow-generation-project/
体验地址:https://shadow-generation-demo.jasper.ai/
更多 AI 辅助设计和设计灵感趋势,请关注公众号(设计小站):sjxz 00。