【AI前沿】这下真不需要渲染了！Adobe发布照片AI打光技术SynthLight

前言

《圣经·创世纪》中，上帝在创造世界之初，面对黑暗混沌的宇宙，发出了第一道神谕：“要有光！”（原文：Let there be light!）于是，光便出现了，驱散了黑暗，开启了万物生长的序幕。

可想而知，“光”对于真实世界是最基础的条件，那么在 AI 图像领域，也一样的。围绕这“光”的话题，开源的如敏大的 IC-light 技术，闭源的如 Magnific 的 Relight。我也出过几期关于重打光的开源工作流，感兴趣的可以回顾一下：

SynthLight技术介绍

作者

耶鲁大学
Adobe Research

SynthLight 使用环境贴图照明重新照亮人像。通过学习重新渲染合成人脸，我们的扩散模型在真实人像照片上产生逼真的照明效果，包括颈部明显的投射阴影和皮肤上自然的镜面高光。

项目地址

https://vrroom.github.io/synthlight/

摘要

我们介绍了 SynthLight，一种用于人像重新照明的扩散模型。我们的方法将图像重新照明视为重新渲染问题，其中像素会根据环境照明条件的变化而转换。使用基于物理的渲染引擎，我们合成了一个数据集，以模拟在不同照明条件下使用 3 D 头部资产的照明条件转换。我们提出了两种训练和推理策略，以弥合合成图像和真实图像领域之间的差距：

利用没有照明标签的真实人像进行多任务训练；
基于无分类器引导的推理时间扩散采样过程，利用输入人像更好地保留细节。我们的方法适用于各种真实照片，并产生逼真的照明效果，包括镜面高光和投射阴影，同时保留主体的身份。我们在光舞台数据上的定量实验展示了与最先进的重新照明方法相当的结果。我们在野外图像上的定性结果展示了丰富且前所未有的照明效果。