5 min read
整理三个AI信息
大家好啊，最近在忙工作和Figma插件的研发，很久没有分享过AI的新技术。今天为大家带来三个我认为有用AI新技术。
- RobustSAM-一种比SAM效果更好的图像识别技术
- Ray Tracing + 3D Gaussians- 结合3D渲染和AI技术，打造真实虚拟世界
- flux-minecraft-movie-一个有趣的FLUX LoRA
RobustSAM
Segment Anything Model (SAM) 已成为图像分割领域的一种变革性方法，以其强大的零样本分割能力和灵活的交互式分割而闻名。然而，其性能受到图像质量下降的挑战。为了解决这一局限性，该项目提出了 Robust Segment Anything Model (RobustSAM)，它增强了 SAM 在低质量图像上的性能，同时保留了其可提示性和零样本泛化能力。
他们的方法利用预先训练的 SAM 模型，仅增加了少量参数和计算需求。RobustSAM 的附加参数可以在八个 GPU 上在 30 小时内完成优化，证明了其对典型研究实验室的可行性和实用性。他们还介绍了 Robust-Seg 数据集，这是一个包含 688K 图像掩码对的集合，这些图像掩码对具有不同的退化，旨在优化地训练和评估模型。跨各种分割任务和数据集的大量实验证实了 RobustSAM 的优越性能，特别是在零样本条件下，突出了其在广泛的现实世界应用中的潜力。这种方法已被证明可以有效提高基于 SAM 的下游任务的性能，例如单图像去雾和去模糊。
[
Ray Tracing + 3D Gaussians
⚡ 光线追踪 + 三维高斯 = 新可能！
作者Ashkan Mirzaei公布了这项技术。他们认为高斯 splatting 技术受限于传统的光栅化渲染管线，Ashkan Mirzaei在 #SIGGRAPHAsia2024 的论文中展示了如何利用光线追踪，从而实现反射、阴影、鱼眼相机等效果。速度是关键，也是最大的挑战。
Ashkan Mirzaei开发了一个可微分的 3D 高斯光线追踪器，它可以从头开始训练，达到与 splatting 相当的质量，并且渲染速度超过 100 帧/秒。该追踪器支持从任意角度对（广义）高斯函数进行光线追踪，这对相机效果、阴影、照明和材质至关重要！
即使使用硬件加速库，对高斯函数进行光线追踪也并非易事。如何将粒子放入 BVH 中并不明确，而且光线通常会与数十到数百个重叠的透明高斯函数相交。简单的实现可能会非常慢。
Ashkan Mirzaei将截断的 3D 高斯函数封装在紧密的代理包络中，并构建了一个 BVH，用于在 NVIDIA OptiX 中进行 GPU 加速追踪。沿着每条光线收集并排序高斯函数，并采用了一种专门针对大量密集重叠粒子的优化策略。对高斯函数进行排序可以有效避免弹出伪影。
Ashkan Mirzaei的追踪器是可微分的，这意味着光线追踪在训练和推理期间都被使用。他们可以从头开始训练，或者从预先训练的 3DGS 场景初始化——在这种情况下，需要进行一些微调，因为评估的是点响应而不是 splatting。
这种追踪器对于自动驾驶汽车和机器人技术来说意义重大，在这些领域，高度失真的相机、滚动快门和激光雷达传感器至关重要。光线追踪可以低成本地模拟这些效果。
在计算机图形学中，光线追踪相对于光栅化的优势是众所周知的。二次光线可以实现阴影、反射和折射，光线穿过 3D 高斯函数和 PBR 网格的传输，以及所有这些效果的组合。光线追踪技术大显身手！
三维高斯光线追踪：粒子场景的快速追踪
#3dgrt 将于东京 #SIGGRAPHAsia2024 会议上发表
项目页面：https://gaussiantracer.github.io Arxiv：https://arxiv.org/abs/2407.07090 代码预计将于近期发布，敬请期待。
flux-minecraft-movie
看完技术，来看看一个非常有趣的flux LoRA模型，minecraft风格，憨憨的，很可爱~😂
a MNCRFTMOV film render of a blocky weird toad, minecraft style
a MNCRFTMOV film render of a goofy blocky tiger
今天的介绍就到这里，有什么疑问或者问题，可以留言交流哦~ 关注我公众号（设计小站）：sjxz00，获取更多AI辅助设计和设计灵感趋势。