5 min read
照片打光再出新技术！LightLab！像控制现实的灯光一样真实！
前言
关于照片重打光，一直是 AI 领域的研究话题，之前我们介绍了不少这样的技术，其中已经应用了且开源的有：ic-light，可惜该技术的 flux 版本迟迟未出。感兴趣的朋友可以回顾一下：
基于 ic-light 技术，Magnify AI 做成了一个重磅商用功能-Relight，我们也尝试复刻和对比了，效果基本看齐：# 【AI辅助设计】尝试复刻Magnific的Relight功能
还有更古早的基于深度图、法线图的 Normallight 技术。# 【AI辅助设计】给二次元老婆做成3D且可以重新打光
其实最近也出了一个开源的技术叫 LBM，可以在基于潜空间识别并重新给图片打光，基于 SDXL，效果也不错，下面的视频就是我用这个技术做的人像摄影重打光效果。
视频号
当然，还有鸽子王 Adobe 的，论文发了好久，就是没看到有源代码和产品😂。# 【AI前沿】这下真不需要渲染了！Adobe发布照片AI打光技术SynthLight
一口气回顾了这么多打光技术，那么今天介绍的 LightLab 有何不同？
用扩散模型控制图像光源：LightLab 技术解析
最大的不同，是 LightLab 可以模拟真实的物理光源！这其中不是做调色、或者改变光照效果，是实际在图片中加入光源和进行控制！🐂
效果如何 ？
简单来说，LightLab 是一个基于人工智能的技术，允许你在一张照片里“玩弄”光源。想象一下，你拍了一张客厅照片，但你觉得灯光太暗或者颜色不对，甚至想在某个角落加一个灯——LightLab 就能帮你实现这些效果，而不需要真的去动房间里的灯或者用复杂的图像编辑软件。
从效果看那是非常的强悍！👍
它背后的基本原理是什么？
LightLab 使用了一种叫“扩散模型”的 AI 技术。这种技术有点像一个超级聪明的画家，它通过学习很多关于光照如何影响图像的例子，来“猜测”如果光源变了，图像应该是什么样子。这个 AI 不仅能看懂照片里的光源在哪里，还能模拟光照的复杂效果，比如光线反射、阴影，甚至光从墙壁上弹回来的那种间接照明。
为了让 AI 学会这些，光 Lab 团队给它喂了两类数据：
- 一小部分真实照片，比如同一场景下灯开和灯关的两张照片；
- 大量电脑合成的图片，这些图片可以精确控制每个光源的亮度和颜色。
通过这些数据，AI 学会了如何把光源的效果从照片里“拆开”，然后重新组合成新的光照效果。比如，它能把环境光（比如窗外透进来的光）和灯泡的光区分开，然后让你随便调整它们的亮度和颜色。
它能做什么？
- 调整光源亮度：如果你觉得照片里的台灯太暗或太亮，滑动一个滑块就能调整，就像调真的灯开关一样。
- 改变光源颜色：想让灯光变成蓝色或者红色？没问题，拖动颜色滑块就行。
- 添加虚拟光源：如果照片某个角落太黑，LightLab 可以“凭空”加一个光点，让那里亮起来。
- 控制环境光：窗外阳光太刺眼？也可以调暗一点，模拟拉上窗帘的效果。
- 逼真的光照效果：不管你怎么调光，AI 都会保证光影效果看起来像真的，比如物体的影子会随着光源位置变化。
原文
摘要
在摄影中，控制图像中的光源是一项基本技术，它会直接影响到拍摄主体、深度分离、颜色以及整体氛围。现有的图像重新照明（relighting）方法要么依赖于多视角输入在推理时进行逆向渲染，要么无法提供明确的控制方式。
我们提出了一种基于扩散模型的方法，允许从单张图像出发，对光源进行精细的参数化控制。我们的方法可以调整可见光源的强度和颜色、环境光的强度，甚至可以在场景中插入虚拟光源。我们利用扩散模型的逼真图像生成能力，在图像空间中直接模拟复杂的光照效果，比如间接照明、阴影和反射。这些模拟基于一组经过控制的光照变化的成对示例数据。
这些成对示例数据结合了少量真实照片对，以及大量合成渲染的图像。利用光的线性特性，我们将目标光源与场景的环境光分离开来，然后生成一系列参数化的图像序列，展示不同光强和颜色的变化。
我们的方法在各种场景下都能生成物理上可信的光照编辑效果，在定量评估和用户偏好测试中均优于现有方法。
技术背景与方法
技术方法概述
我们使用了一套独特的处理流程来实现对图像光源的控制。首先，对于真实的照片对，我们分离出目标光源的变化部分。对于合成数据，我们分别渲染每个光源组件，然后在线性颜色空间中缩放并组合这些分离的组件，生成参数化的图像序列。为了适应不同显示设备，我们采用了序列一致的色调映射策略，或者对每张图像单独进行色调映射到标准动态范围（SDR）。
条件控制机制
我们为局部空间信号和全局控制设计了不同的条件机制。局部条件包括输入图像、输入图像的深度图，以及两个用于目标光源强度变化和颜色变化的分割蒙版。全局控制（如环境光强度和色调映射策略）则被投影到文本嵌入维度，并通过交叉注意力机制插入模型中。
具体功能
- 光强控制：通过“Lightswitch”功能，用户可以参数化地控制光源强度。值得注意的是，光照现象在不同强度下保持一致，便于交互式编辑。
- 颜色控制：用户可以根据需要调整光源的颜色，通过颜色滑块实现彩色照明效果。
- 虚拟点光源：通过从合成 3 D 渲染中迁移知识，“LightLab”可以在场景中插入无几何形状的虚拟点光源。
- 环境光控制：将目标光源与环境光分离后，用户可以控制通过窗户进入的光线，这种光线在现实中往往难以直接操控。
- 物理上可信的光照：我们的方法能够生成符合物理规律的光照效果，例如自遮挡和阴影会根据光源位置和角度发生相应变化。
写在最后
LightLab 是一种革命性的图像处理技术，它通过 AI 扩散模型，让普通用户也能轻松控制照片中的光照效果。无论是调整光源亮度、改变颜色，还是凭空添加虚拟光源，LightLab 都能以物理上可信的方式实现这些效果。它不仅在技术指标上超越了现有方法，也在用户体验上更胜一筹。如果你对摄影或者图像编辑感兴趣，这个工具绝对值得一试！（如果发布了的话！😂）
项目地址：https://nadmag.github.io/LightLab/
想获取更多 AI 辅助设计和设计灵感趋势？ 欢迎关注我的公众号（设计小站）：sjxz00。