精选AI论文

车辆安全舒适的控制依赖于对三维环境的精确感知，尤其是路面颠簸、坡度和不平整等精细几何特征。然而，传统的单目深度估计方法通常会对这些特征进行过度平滑处理，导致对运动规划和稳定性至关重要的信息丢失。现有方法要么需要昂贵的传感器或标注数据，要么在恢复精确的度量尺度（真实尺寸）和路面细节方面存在局限。因此，需要一种轻量级、自监督且能高精度恢复路面细节的单目几何估计方法。

本文提出了Gamma-from-Mono方法。其核心创新在于解耦场景结构：首先预测一个主导的路面平面（全局结构），然后使用一个名为gamma的无量纲量来表示局部点相对于该平面的垂直偏差（局部残差）。Gamma定义为点高于平面的高度与其到相机深度之比，基于经典的平面视差几何。该方法仅需一个先验知识——相机离地面的高度，即可通过一个封闭形式的公式确定性地恢复出度量深度，无需完整的外参标定。这种物理可解释的表示形式使其非常适合自监督学习，仅需视频序列即可训练，无需深度标注数据。模型参数量仅为888万，非常轻量。

在KITTI和道路表面重建数据集上进行了评估。结果表明，GfM在近场区域的深度估计和gamma（路面细节）估计精度上达到了最先进的水平，同时在全局深度估计性能上保持竞争力。该轻量模型能够鲁棒地适应不同的相机设置，并且据作者所知，是首个在RSRD数据集上进行评估的自监督单目方法。

GfM成功地将平面视差几何与自监督学习相结合，为单目视觉几何感知提供了一种新颖且有效的表示。它仅需相机高度先验，就能以物理可解释的方式恢复度量深度和精细的路面几何，在精度和实用性之间取得了良好平衡。这项研究为自动驾驶、高级驾驶辅助系统等车辆应用提供了一种低成本、高精度的环境感知解决方案，具有重要的实际意义。

随着深度学习模型日益复杂，输入数据量也相应增大。尽管专用硬件取得了显著进步，但数据加载（尤其是对JPEG等压缩格式图像进行解码）仍然是限制训练和推理速度的主要瓶颈。先前的研究主要关注识别任务在压缩域的操作，但对于图像恢复任务（如超分辨率）的有效性尚不明确。本研究旨在解决这一缺口，探索直接在JPEG压缩域进行单图像超分辨率（SISR）的可行性，以绕过耗时的完整解码过程，从而提升整体效率。

本研究提出了一种轻量级的超分辨率处理流程，其核心创新在于直接在频域中操作JPEG的离散余弦变换（DCT）系数。具体技术路线是：避免将JPEG图像完全解码为像素域，而是从压缩比特流中直接提取并量化DCT系数块。随后，设计一个能够处理这些频率域系数的神经网络模型，直接在压缩域进行特征学习和上采样重建。该方法的关键在于避免了耗时的逆DCT变换和完整的图像解码步骤，从而构建了一个端到端的、从压缩特征到高分辨率图像的映射管道。

实验结果表明，所提出的方法在数据加载效率上实现了2.6倍的加速，在整体训练过程中实现了2.5倍的加速。在视觉质量方面，其生成的超分辨率图像与传统的、需要完全解码的标准SISR方法相比，保持了可比的性能。这证明了该方法在显著提升处理速度的同时，并未牺牲图像恢复任务的核心质量指标。

本研究成功验证了直接在JPEG压缩域进行单图像超分辨率任务的可行性和高效性。其主要贡献在于将压缩域处理的有效性从识别任务拓展到了更具挑战性的低层视觉恢复任务，并提出了一种轻量级管道。这项工作为加速基于压缩图像数据的深度学习训练和推理提供了新的思路，对计算资源受限或对实时性要求高的应用场景具有重要的实践意义。

基于流匹配的生成模型已被成功整合到即插即用（PnP）图像修复框架中，形成了PnP-Flow模型，并在实践中取得了显著成效。然而，其理论理解远落后于其经验成功。缺乏理论指导限制了模型的进一步优化和性能提升。因此，本研究旨在从连续视角出发，为PnP-Flow建立一个严谨的数学模型，以深入理解其工作机制，并基于理论洞察提出系统性的改进策略，从而弥合理论与实践的差距。

本文的核心方法是为离散的PnP-Flow模型推导出一个连续的极限，将其表述为一个随机微分方程（SDE）替代模型。这一SDE模型提供了两个关键的改进视角：首先，它允许量化图像修复过程中的误差，从而指导我们优化采样步长调度方案，并对神经网络参数化的向量场进行Lipschitz常数正则化以减小误差。其次，该模型启发我们通过外推法来加速现成的PnP-Flow模型，这对应于所提出SDE模型的一个重新缩放版本。最终，我们基于这些理论洞察，构建了一个改进的、由SDE理论指导的PnP-Flow框架。

研究在多个标准图像修复任务上验证了改进方法的有效性，包括图像去噪、去模糊、超分辨率和图像补全。数值实验结果表明，我们提出的方法在各项评估指标上均显著优于原始的基线PnP-Flow模型以及其他最先进的先进方法，实现了卓越的性能表现。

本研究的主要贡献在于为经验上成功的PnP-Flow图像修复模型提供了坚实的理论基石。通过建立其连续极限的SDE模型，不仅深化了对该方法的理解，更重要的是，基于理论分析直接导出了可操作的改进策略（误差量化指导的步长优化与加速外推）。这成功弥合了理论与实践的鸿沟，显著提升了模型性能。这项工作为未来基于流匹配的生成模型在逆问题中的应用提供了新的理论工具和改进范式，具有重要的学术意义和应用价值。

在沉浸式游戏和基于视觉的异常检测等实时视频动作迁移应用中，需要模型既能准确又能多样地预测未来动作，以支持逼真的合成和在不确定性下的鲁棒决策。现有的门控循环单元-标准化流模型虽然能捕捉多模态分布，但其确定性的变换结构限制了表达能力，导致生成的未来轨迹多样性不足。因此，需要一种方法在不牺牲准确性的前提下，提升预测的多样性，以生成更真实、更具时间一致性的样本。

本研究提出了一种新颖的推理时精炼技术，称为门控循环单元-随机标准化流。核心创新在于，在GRU-NF模型的推理阶段，引入了受随机标准化流启发的马尔可夫链蒙特卡洛步骤。具体而言，该方法不是直接使用GRU-NF的确定性输出，而是通过MCMC采样在模型的潜在输出空间中进行随机探索。这个过程允许模型在推理时生成一系列不同的、但都合理的样本，从而更好地逼近真实数据的多模态分布。该方法的关键优势在于无需对基础GRU-NF模型进行重新训练，即可有效提升其生成多样性。

实验在一个基于关键点的视频动作迁移流程中进行验证。结果表明，所提出的GRU-SNF框架在生成多样性输出方面显著优于原始的GRU-NF模型，且没有牺牲预测的准确性。即使在更长的预测时间范围内，GRU-SNF依然能保持优势。通过定量和定性分析均证实，在推理时注入随机性能够更有效地捕捉数据中的多模态行为，生成更丰富、更逼真的未来动作轨迹。

本研究成功地将随机动力学与基于流的序列模型相结合，提出了一种高效的推理时随机精炼方法。其核心贡献在于，通过引入MCMC步骤，显著增强了GRU-NF模型在生成式时间序列预测中的多样性和表达能力，而无需额外的训练成本。这项工作为实时视频动作迁移等应用提供了生成既准确又多样未来预测的新思路，突显了在推理阶段整合随机性对于提升生成模型性能的潜力，对生成式时间序列预测领域具有积极意义。

从文本或简单布局生成高质量、可控的三维室内场景是计算机视觉和图形学的重要挑战。现有方法在生成多视角一致、细节丰富的场景方面存在局限，要么难以保证不同视角图片的协调性，要么对场景布局的控制能力不足。本研究旨在解决这一问题，提出一个能够根据粗糙三维布局生成高保真、多视角一致室内场景的流程，以实现更灵活、可控的三维内容创作。

方法采用两阶段设计，全程利用三维布局确保多视角一致性。第一阶段：设计新颖的表征方法，有效桥接三维布局与用于多视角生成的一致图像条件信号。第二阶段：进行以图像为条件的多视角生成，引入一种布局感知的极线注意力机制，在扩散过程中增强多视角一致性。此外，提出一个迭代框架，通过递归执行多视角生成，支持生成具有不同物体数量和复杂度的场景，从而实现从文本到场景的生成。

实验结果表明，该方法在可控三维场景生成和新视角合成任务上，在定量指标和视觉质量上均优于当前最先进的基线方法。消融研究进一步验证了生成流程中关键组件（如布局感知注意力机制）的有效性，证明了它们对提升生成保真度和多视角一致性的贡献。

本研究提出的MVRoom框架成功实现了基于粗糙布局引导的高质量、可控三维室内场景生成。其核心贡献在于两阶段流程和布局感知注意力机制，有效解决了多视角一致性问题。该工作推动了可控三维内容生成的发展，为室内设计、虚拟现实等应用提供了强大的工具，并展示了递归生成复杂场景的潜力。

本征图像分解旨在将图像分解为反照率（颜色）、深度、法线和光照等物理组件，是理解场景物理属性的关键任务。现有基于扩散或Transformer的模型严重依赖合成数据集的成对监督，导致其在多样化的真实世界场景中泛化能力不足。因此，如何利用大量无标签的真实图像来提升模型的泛化性能，成为一个亟待解决的核心问题。

本文提出ReasonX框架，其核心创新在于利用多模态大语言模型作为感知评判者。具体技术路线为：首先，MLLM对模型在无标签真实图像上的分解输出进行两两比较，提供“哪个结果在物理上更合理”的相对判断。然后，将这些相对比较关系转化为GRPO算法的奖励信号。与生成模型的RL方法不同，ReasonX通过奖励模型输出间解析出的关系与MLLM判断的关系相一致，来对齐和微调条件式的本征预测器。该框架与具体模型架构无关，可灵活应用于不同的基础预测器和分解模态（如反照率、深度）。

实验表明，ReasonX在多种基础架构和分解任务上均带来显著提升。在IIW数据集的反照率分解任务上，加权人类不一致率降低了9-25%。在ETH3D深度估计任务上，深度准确率最高提升了46%。这些结果充分证明了MLLM引导的比较性监督能有效提升模型在真实场景下的性能。

本研究证明了利用多模态大语言模型作为感知评判者，通过提供相对比较监督来微调本征分解模型的可行性。ReasonX框架无需真实图像的精确标注，有效利用了无标签数据，显著提升了模型在真实世界的泛化能力。这项工作为连接低层视觉特征与高层语义推理开辟了新途径，展示了MLLM在复杂视觉理解任务中作为“引导者”的巨大潜力。

多相机点跟踪是计算机视觉中的核心任务，广泛应用于动作分析、自动驾驶和机器人导航。传统方法通常将检测、关联和跟踪解耦为独立步骤，这种流水线方式容易导致错误累积和时间上的不一致性，在存在复杂运动、严重遮挡和外观变化的挑战性场景中表现不佳。因此，需要一种能够联合推理跨视图和时间信息、并整合外观匹配与几何约束的统一框架。

本文提出了LAPA架构，其核心创新在于利用Transformer的注意力机制进行端到端学习。首先，通过一个跨视图注意力模块，利用几何先验（如极线约束）增强外观匹配，建立视图间的软对应关系，而非硬性关联。其次，摒弃了传统的三角测量法，通过注意力加权聚合来自不同视图的特征，直接构建包含不确定性的3D点表示。最后，采用一个Transformer解码器来建模长程时间依赖关系，在长时间遮挡下也能维持目标身份的一致性，从而实现了检测、关联与跟踪的联合优化。

在包括新构建的TAPVid-3D-MC和PointOdyssey-MC在内的多个挑战性数据集上进行了广泛实验。LAPA显著超越了现有方法，在TAPVid-3D-MC上达到了37.5%的平均点距离精度（APD），在PointOdyssey-MC上达到了90.3%的APD。特别是在包含复杂运动和严重遮挡的场景中，其性能优势更为明显，证明了该统一方法在保持时间一致性和处理不确定性方面的有效性。

LAPA通过将Transformer注意力机制与几何先验相结合，为多相机点跟踪提供了一个强大且统一的端到端解决方案。它克服了传统解耦流水线的局限性，在保持身份一致性和处理部分观测方面表现出色。这项工作不仅推动了多视图跟踪技术的发展，其构建3D表示和处理不确定性的新思路也对更广泛的3D视觉任务具有启发意义。

组织病理学的显微镜检查是疾病诊断的基石，但依赖专家的主观判断，且专家资源稀缺，可能影响诊断准确性和临床护理。尽管人工智能（AI）为自动化分析带来了希望，但市场上越来越多的专有数字病理解决方案形成了技术壁垒，阻碍了AI工具在真实临床环境中的实际部署和应用。因此，迫切需要一种能够跨平台、低成本、易于集成且能提供实时辅助的分析工具。

研究团队开发了OnSight Pathology，这是一个平台无关的计算机视觉软件。其核心技术路线是：软件作为一个独立的可执行文件运行在用户本地电脑上，通过持续捕获用户屏幕上正在浏览的数字病理切片图像区域，将捕获的图像实时送入内置的AI模型进行分析，并将推理结果（如分类、检测、定量结果）即时反馈给用户。创新点在于其平台无关性（兼容各种数字病理切片查看器）、无需复杂软件集成、本地运行保障数据安全，并内置了一个多模态聊天助手，可提供超越固定类别标签的图像描述以进行质量控制。此外，它还支持连接实时显微镜摄像头（包括智能手机摄像头），扩展了应用场景。

研究使用超过2500张公开可用的全切片图像以及来自临床数字病理系统的病例，验证了软件的实用性。结果表明，OnSight Pathology在不同切片查看器上均能稳定运行，并在常规组织病理学任务中表现出鲁棒性，包括常见脑肿瘤类型的分类、有丝分裂检测以及免疫组化染色的定量分析。软件成功实现了实时AI推理，并展示了与实时显微镜视频流（包括个人智能手机）的兼容性。

OnSight Pathology成功移除了AI工具在组织病理学中应用的关键障碍，通过其平台无关、易于部署、实时反馈和安全本地运行的特点，为研究和临床工作流程提供了一种经济高效且实用的AI伴侣。它的出现有望提高病理诊断的客观性和效率，并具有在更广泛的模拟、术中及远程病理场景中部署的潜力，对推动计算病理学的普及具有重要意义。

理解高分辨率图像是多模态大语言模型面临的一大挑战。现有主流方法通常将图像分割成小块，利用预训练的检索增强生成模型计算每个小块与查询的语义相似度，并选择最相关的小块来定位目标并抑制无关信息。然而，这种基于图像块的处理方式可能导致完整的物体被分割到多个不同的块中，从而破坏了语义相似度的准确计算，造成理解偏差。因此，迫切需要一种能够保持目标物体完整性、并更准确进行语义匹配的新方法，以提升模型对高分辨率图像的细粒度理解能力。

本文提出了一个无需训练的多分辨率检索-检测融合框架。其核心创新点在于两点：首先，针对物体被分割导致语义相似度计算有偏差的问题，提出了多分辨率语义融合方法。该方法在不同分辨率下生成图像的语义相似度图，然后将这些不同尺度的语义信息进行融合，从而生成更准确、完整的语义信息，有效保持了目标物体的完整性。其次，为了在全局尺度上直接定位目标物体，框架引入了一个开放词汇目标检测模型。该模型采用滑动窗口的方式识别图像中的物体区域，为精确定位提供支持。最终，框架将融合后的多分辨率语义信息与检测模型提供的定位信息相结合，共同指导多模态大语言模型进行更准确的高分辨率图像理解。

实验在多个高分辨率图像理解基准测试上进行，并使用了不同的多模态大语言模型作为基础。结果表明，所提出的MRD框架显著提升了模型在高分辨率图像理解任务上的性能。具体而言，与现有的基于图像块处理的检索增强方法相比，MRD框架在保持目标物体完整性和准确计算语义相似度方面表现更优，从而在问答、指代定位等任务上取得了更高的准确率。这些结果验证了多分辨率语义融合与开放词汇检测相结合的有效性。

本研究证实了多分辨率处理和检测辅助对于解决高分辨率图像理解中物体分割与语义偏差问题的有效性。所提出的MRD框架是一个即插即用、无需训练的通用解决方案，能够显著提升现有多模态大语言模型对高分辨率图像的细粒度理解能力。这项工作为处理高分辨率视觉信息提供了一种新颖且有效的技术路径，对推动视觉-语言模型在复杂真实场景中的应用具有积极意义。

现有生成富有表现力音乐演奏的方法主要依赖于在小型、有标注的数据集上进行监督学习。这严重限制了模型和数据规模的扩展，尽管存在海量的无标签音乐数据（类似于计算机视觉和自然语言处理领域的情况）。这种数据与模型规模的瓶颈，阻碍了音乐AI生成接近人类水平的、富有表现力的演奏。因此，本研究旨在探索一种能够利用海量无标签数据、实现模型和数据规模可扩展的自监督学习路径，以突破当前方法的局限。

方法的核心是构建一个可扩展的自监督预训练框架。首先，设计了一种统一的MIDI数据表示方法，将音乐结构和表现力信息（如音符、力度、踏板）编码到一个序列中，使模型能从原始数据中无监督地学习音乐表达的通用原则。其次，提出了一种高效的非对称Transformer架构，在编码器和解码器中使用不同的注意力机制，以支持更长的音乐上下文建模，同时保持快速的推理速度。最后，利用包含100亿个token的大规模无标签MIDI数据集，对一个1.35亿参数的模型进行预训练，充分释放了数据和模型规模扩展的潜力。

实验结果表明，Pianist Transformer在客观指标和主观评价上均达到了最先进的水平。在客观评估中，其生成的演奏在音符时序、力度控制等指标上表现出色。更重要的是，在人类主观听感评测中，其生成的钢琴演奏获得了与人类演奏者相当的评价分数，证明了其生成演奏的表现力和自然度达到了接近人类的水平。

本研究成功证明了在音乐领域，通过设计合适的数据表示和模型架构，并利用大规模自监督预训练，可以实现数据和模型规模的有效扩展，从而显著提升音乐表现力渲染的质量。Pianist Transformer为生成富有表现力、接近人类水平的音乐合成开辟了一条可扩展的新路径，对音乐AI领域具有重要的推动意义。

在影视制作等多媒体领域，通常需要对每个独立声源（如人声、乐器、环境音）分别进行录制、编辑和混音，以实现精细的创作控制。然而，现有的视频到音频生成技术通常一次性生成所有声音混合在一起的音轨，无法根据用户意图选择性地生成特定声音。这主要是因为视频特征本身是纠缠的，而简单的区域提示或文本描述往往难以精确指定目标声源。因此，迫切需要一种能够根据文本条件，从复杂视频场景中‘选择性’生成目标音频的新方法。

本文提出名为SelVA的新模型。其核心思想是将文本提示视为目标声源的‘显式选择器’。首先，模型利用文本提示来调制视频编码器，使其能更清晰地从视频中提取与提示相关的视觉特征。其次，引入了一种补充令牌机制，通过高效的参数调整，在交叉注意力层中抑制与文本无关的激活，从而增强模型对目标声源的语义和时间定位能力。此外，针对训练数据中缺乏干净单一声源音频监督的问题，SelVA采用了一种自增强方案来生成伪监督数据，以提升模型在真实多源场景下的泛化性能。

研究者在专门构建的基准数据集VGG-MONOAUDIO（包含干净单一声源视频）上进行了评估。大量实验和消融研究一致表明，SelVA在音频质量、语义对齐（生成的声音是否符合文本描述）和时间同步性（声音与视频动作是否同步）方面均优于基线方法。模型能够有效区分并生成用户指定的声音，验证了其选择性生成机制的有效性。

本研究定义并解决了文本条件选择性视频到音频生成这一新任务。所提出的SelVA模型通过将文本作为显式选择器来调制视觉特征提取，并结合创新的补充令牌与自增强训练方案，实现了从多物体视频中精确生成目标单一声音的能力。这项工作为多媒体后期制作中的精细化音频处理提供了新的自动化工具，推动了视听内容生成向更可控、更专业的方向发展。

准确预测用户生成内容（UGC）的流行度对社交媒体分析和推荐系统至关重要。现有方法主要遵循归纳范式，即基于历史数据的静态特征训练模型进行预测。然而，UGC的传播本质上是一个动态过程，基于历史特征的静态建模无法捕捉复杂的用户交互和非线性演化。因此，需要一种能够模拟传播动态过程的新方法来更准确地预测流行度。

本文提出了PopSim，一种基于模拟的社交媒体流行度预测新范式。其核心是构建一个基于大语言模型（LLMs）的多智能体社交网络沙箱来模拟UGC传播动态。具体包括：1）设计了一种基于社会平均场的智能体交互机制，该机制建模了双通道、双向的个体-群体交互，增强了智能体的全局感知和决策能力；2）提出了一个多源信息聚合模块，将异构的社交元数据（如用户画像、内容特征）转化为统一的格式供LLMs处理；3）最终，融合了包含多模态信息的传播动态，以提供全面的流行度预测。

在真实世界数据集上进行的大量实验表明，PopSim（文中亦作SimPop）持续优于最先进的流行度预测方法，平均将预测误差降低了8.82%。这证明了模拟动态传播过程的有效性和优越性。

PopSim通过引入基于LLM的多智能体模拟范式，成功地将动态传播过程建模引入流行度预测任务，显著提升了预测精度。这项工作不仅为社交媒体流行度预测研究提供了新的视角和方法论，其模拟框架也为理解更广泛的社交传播现象提供了有力工具。

在计算机视觉中，仅凭外观难以区分相似物体时，运动信息至关重要。现有的无监督跟踪方法在视觉线索模糊时表现不佳，而监督方法又依赖大量标注数据，限制了其扩展性和泛化能力。因此，亟需一种无需标注、能有效利用运动信息来跟踪相似物体的新方法。

该方法的核心创新在于发现并利用了预训练视频扩散模型的固有特性。在扩散模型的去噪过程中，早期高噪声阶段主要捕捉和分离物体的运动信息，而后期阶段则专注于外观细节的细化。研究者无需对模型进行任何针对跟踪任务的训练，而是直接提取这些早期去噪步骤中编码的运动表征，将其转化为可用于区分和跟踪相似物体的特征。这本质上是一种新颖的、基于生成模型内部表示的零样本跟踪方法。

在标准基准测试以及专门针对跟踪相似物体设计的新测试集上，该方法相比近期的无监督跟踪方法取得了显著提升，性能最高可提升6个百分点。可视化结果表明，即使面对完全相同的物体、剧烈的视角变化和形变，该方法基于扩散模型提取的运动表征也能实现鲁棒的跟踪。

本研究揭示了预训练视频扩散模型作为强大运动表征学习器的潜力，为无监督物体跟踪开辟了新途径。其核心贡献在于发现了一种无需任务特定训练即可利用的、内生于生成模型中的运动理解能力。这不仅在相似物体跟踪这一难点上取得了突破，也为理解和利用大规模生成模型的基础表征提供了新思路，对计算机视觉领域具有重要启发意义。

基于深度学习的合成孔径雷达（SAR）溢油分割模型在不同海域间泛化能力差，这主要源于海况、后向散射统计特征和油膜形态的区域性差异。这一局限在秘鲁海岸尤为突出，因为该地区带标签的Sentinel-1数据非常稀缺。现有模型（如在欧洲地中海CleanSeaNet基准上训练的模型）直接迁移到秘鲁海域时性能会显著下降。因此，迫切需要一种方法，能够利用源域（地中海）的丰富标签数据，生成适应目标域（秘鲁）特性的合成数据，以提升模型的跨域分割性能。

本文提出了一个名为MORP–Synth的两阶段合成数据增强框架。第一阶段是形态学区域扰动（Morphological Region Perturbation），这是一种在标签空间操作的方法，它利用曲率引导，对油膜和类油膜（如低风区、生物膜）区域的几何形状进行逼真的随机扰动，模拟自然形态变化。第二阶段是合成标签到SAR生成，使用一个条件生成模型（INADE），将第一阶段扰动后的二值掩码（标签）渲染成具有逼真SAR纹理特征的图像，从而生成与目标域（秘鲁）视觉特征相似的合成SAR图像-标签对。整个流程旨在扩充目标域的训练数据，提升模型泛化性。

研究构建了一个包含2112个标注图像块的秘鲁数据集。实验表明，仅在地中海数据上预训练的模型，在秘鲁测试集上的平均交并比（mIoU）从67.8%大幅下降至51.8%。应用所提出的MORP–Synth框架进行数据增强后，最佳模型性能提升了最多6个mIoU百分点。更重要的是，该方法显著改善了对少数类别（油膜和类油膜）的分割精度，其IoU分别提升了10.8和14.6个百分点。在评估的七种分割架构上，该方法均表现出稳定的性能增益。

本研究证实了区域差异是限制SAR溢油分割模型跨域应用的关键瓶颈，并提出了一个有效的两阶段合成数据增强解决方案。MORP–Synth框架通过结合几何扰动和纹理生成，能创造出既保持语义标签又贴合目标域外观特征的训练数据，显著提升了模型在标签稀缺的新地理区域的泛化能力和对关键类别的识别精度。这项工作为遥感图像分析，特别是跨域环境监测任务，提供了一种实用的数据增强和域适应新思路。

当前基于文本生成视频的模型在时序生成上能力强大，但其在图像修复领域的潜力尚未被充分挖掘。图像恢复任务（如超分辨率、去模糊）通常直接输出最终结果，缺乏对修复过程的直观展示。本研究旨在探索能否将视频生成模型重新用于生成渐进式的修复序列，从而不仅能得到高质量的最终图像，还能提供一个可解释的、连贯的修复轨迹，增强模型的鲁棒性和可信度。

核心方法是微调CogVideo文本到视频生成模型。首先，为超分辨率、去模糊和低光增强任务构建合成数据集，每个样本包含从退化帧到干净帧的渐进过渡序列。研究对比了两种文本提示策略：一种是所有样本共享的统一提示；另一种是基于LLaVA多模态大模型生成、并经ChatGPT精炼的场景特定提示。通过微调，模型学习将时间进程与修复质量关联起来，生成感知质量（如清晰度、细节）逐帧提升的视频序列。

大量实验表明，微调后的CogVideo模型能有效恢复空间细节和光照一致性，并保持帧间的时间连贯性。在PSNR、SSIM和LPIPS等图像质量评价指标上，修复序列的后续帧相比初始退化帧有显著提升。更重要的是，模型在未经过额外训练的ReLoBlur真实世界模糊数据集上展现了强大的零样本泛化能力，通过其生成的修复轨迹也提供了良好的可解释性。

本研究成功地将文本到视频生成模型重新用于渐进式图像恢复，开辟了视频生成模型的新应用方向。该方法不仅能够产出高质量的修复结果，其生成的渐进序列为修复过程提供了直观可视化和时序一致性保障，增强了模型的鲁棒性与可解释性。这证明了大规模生成模型在理解与执行低级视觉任务方面具有强大的迁移和适应潜力。

生成模型有望革新气候模拟方式。然而，现有基于天气尺度自回归的方法，在模拟长期气候变化时速度缓慢，且难以在非平稳的外部强迫（如不断变化的温室气体浓度）下保持稳定。因此，亟需一种能够高效、稳定、并行地模拟多时间尺度气候变化的生成方法，以支持快速的气候情景分析和政策评估。

本文提出了时空金字塔流（SPF），这是一种新型的流匹配方法。其核心创新在于将生成过程组织成一个时空金字塔结构：在空间上，从低分辨率到高分辨率渐进生成，降低计算成本；在时间上，将金字塔的每一层与一个特定的时间尺度（如年、月）耦合，从而可以直接对任意时间尺度的气候状态进行采样。此外，模型在每一生成阶段都以外部的物理强迫（如温室气体、气溶胶）为条件，确保模拟符合给定的未来情景。为支撑模型训练，作者还构建了迄今最大的地球系统模拟数据集ClimateSuite。

在ClimateBench基准测试中，SPF在年和月时间尺度上的表现均优于强大的流匹配基线模型和预训练模型，同时采样速度更快，尤其是在较粗的时间尺度上。使用大规模数据集ClimateSuite训练后，SPF模型展现出良好的泛化能力，能够对未见过的气候模型和情景进行准确模拟。

本研究提出的时空金字塔流匹配方法（SPF）与构建的大规模数据集ClimateSuite，共同为跨时间尺度、面向多种现实未来情景的准确、高效、概率性气候模拟奠定了基础。该方法在速度和精度上的优势，使其成为支持快速气候分析和干预评估的有力工具。相关数据和代码已开源。

当前的多模态大语言模型被期望能联合理解视觉、听觉和语言信息。然而，现有的视频评测基准很少评估模型对人类语音的细粒度推理能力。许多任务要么仅凭视觉信息就能解决，要么只对语音进行粗粒度评估，无法深入揭示模型是否能准确对齐“说话人身份”、“说话内容”和“说话时间”这三个关键要素。因此，迫切需要建立一个严谨的基准，来推动模型在真实、复杂的视听场景下的细粒度理解能力。

本文的核心方法是构建并提出了AV-SpeakerBench基准。该基准包含3,212道来自真实世界视频的多选题，专注于说话人中心的视听推理。其创新设计主要体现在三点：1）以说话人为核心的构建思路：将“说话人”而非“场景”作为基本的推理单元；2）融合驱动的题目设计：将视听依赖关系嵌入到问题语义中，确保必须结合视觉和听觉信息才能正确解答；3）专家级人工标注：确保时间标注的精确性以及跨模态（视觉与听觉）信息的有效性。通过这套精心设计的基准，对主流多模态大模型进行了系统性评估。

全面的评估结果显示，Gemini系列模型表现最佳，其中Gemini 2.5 Pro取得了最好的成绩。在开源模型中，Qwen3-Omni-30B的表现接近Gemini 2.0 Flash，但仍远落后于Gemini 2.5 Pro。深入分析表明，开源模型的主要短板在于视听信息融合能力较弱，而非单纯的视觉感知能力不足。这一定量结果清晰地揭示了当前模型在细粒度视听理解上的能力差距。

本研究通过AV-SpeakerBench基准，为评估和推动多模态大语言模型的细粒度视听推理能力建立了一个严谨的基础。研究结论指出，当前顶尖模型（如Gemini 2.5 Pro）在此任务上领先，而开源模型的主要瓶颈在于跨模态融合。该工作不仅提供了可靠的评测工具，也指明了未来多模态系统发展的关键方向——即加强视觉与听觉信息的深度对齐与联合推理能力。

多重分形分析已被证明能有效捕捉许多自然现象（如病理组织）中的规律性模式，但在现代深度学习，特别是语义分割任务中的应用有限。现有端到端的多重分形方法依赖于繁重的池化操作或强烈的特征空间下采样，这限制了其在分割等密集预测任务中的表现。因此，本研究旨在克服这些限制，探索如何将多重分形分析的强大描述能力，以一种更轻量、更有效的方式整合到深度神经网络中，以提升医学图像分割的精度。

本研究核心是引入了两种归纳先验：单分形再校准和多重分形再校准。这两种方法通过分析神经网络编码器生成的特征图（嵌入），计算其指数（如Hölder指数）的概率质量与多重分形谱之间的关系，从而形成对特征的统计描述。这些统计描述被实现为通道注意力函数，集成到基于U-Net的卷积神经网络框架中。具体而言，该方法将计算出的多重分形统计量转化为通道权重，对特征通道进行重新加权（再校准），使网络能自适应地强调包含重要分形规律的特征。这是一种将高阶统计先验与注意力机制相结合的新型网络设计。

研究在三个公开医学影像数据集上验证了方法的有效性：ISIC18（皮肤镜）、Kvasir-SEG（内窥镜）和BUSI（超声）。实验表明，与基线U-Net以及集成其他同样使用高阶统计量的通道注意力机制（如SENet）的模型相比，所提出的多重分形再校准方法带来了显著的性能提升。此外，实证分析提供了对注意力层行为的洞察：研究发现，由于U-Net中跳跃连接的存在，注意力层的激励响应并未随着编码器深度增加而变得高度特化；其有效性可能与图像实例整体变异性的全局统计特性有关。

本研究成功地将多重分形分析整合到深度学习框架中，提出了有效的多重分形再校准方法。该方法不仅显著提升了医学图像分割的精度，证明了利用病理规律性先验知识的价值，还为理解注意力机制在具有跳跃连接的架构（如U-Net）中的行为提供了新的见解。这项工作为在计算机视觉，特别是医学图像分析中探索和应用更复杂的数学工具与先验知识开辟了新的途径。

3D高斯泼溅技术能合成高质量的新视角图像，但训练视图的分辨率限制了渲染输出的清晰度。直接对低分辨率输入视图进行超分辨率增强是一个自然思路，但独立处理每张图像会引入多视角间的不一致性，导致最终3D渲染结果模糊。现有方法试图通过学习神经组件、利用时序一致的视频先验或联合优化低分辨率与超分辨率视图来缓解不一致性，但它们都无一例外地对所有图像均匀地应用超分。这忽略了不同视图间信息的互补性。因此，需要一种更智能的策略，只在真正缺乏高频细节监督的区域选择性增强，以同时提升渲染的清晰度与一致性。

本论文的核心洞察是：近距离的低分辨率视图可能包含某些区域的高频信息，而这些区域在更远的视图中也能被捕获；可以利用相机姿态相对于场景几何的信息来判断应在何处添加超分辨率内容。基于此，我们提出了SplatSuRe方法。该方法首先利用3D高斯场景表示和相机位姿，分析每个3D点在不同训练视图中的投影采样情况，识别出那些在多数视图中都“欠采样”（即缺乏足够高频细节监督）的区域。然后，它选择性地仅在这些欠采样区域应用超分辨率技术来增强对应的训练视图，而对于已有充分高频信息的区域则保留原始的低分辨率内容。这种选择性策略避免了不必要的全局处理，确保了添加到3D模型中的高频信息在多视角下是几何一致的。

在Tanks & Temples、Deep Blending和Mip-NeRF 360等多个标准数据集上进行了实验。结果表明，SplatSuRe方法在保真度指标（如PSNR、SSIM）和感知质量指标（如LPIPS）上均超越了现有的基线方法。定性结果也显示，我们的方法能产生更锐利、视觉上更一致的渲染。特别值得注意的是，在人们期望更高细节的局部前景区域，我们的方法带来的提升最为显著，有效增强了这些关键区域的清晰度。

本研究证明了在3D高斯泼溅框架中，有选择地而非均匀地应用超分辨率对于提升渲染质量至关重要。SplatSuRe通过利用几何和视角信息来指导增强过程，成功地在增加细节的同时保持了多视角一致性，从而实现了更高质量的视图合成。这项工作为基于图像的3D重建与渲染中如何智能地融合不同分辨率的信息提供了新思路，对计算机视觉和图形学领域有积极的推动作用。

传统视频详细描述方法依赖大量人工标注或更强教师模型，成本高且扩展性差。现有方法缺乏持续自我改进能力，难以应对复杂视频内容。本研究旨在开发能自主进化、不依赖外部资源的视频描述系统，通过构建封闭优化循环解决标注数据稀缺和模型迭代效率低的问题。

构建包含描述生成、原则指导评分（分数与文本建议）和提示优化的闭环框架。当描述质量下降时，启用自我反思路径利用先前思维链修正更新。在未标注视频上运行该过程生成（描述，分数）轨迹对，转换为偏好元组并过滤JSON解析错误样本，得到VDC-Agent-19K数据集（18,886对）。基于Qwen2.5-VL-7B-Instruct模型，采用由易到难课程学习的直接偏好优化进行微调。

在VDC基准测试中，VDC-Agent-7B取得49.08%平均准确率和2.50分数，达到最先进水平，超越专业视频描述模型。相比基础模型，准确率提升5.13%，分数提高0.27，推理成本基本不变。自动构建的数据集包含近1.9万高质量偏好对。

该研究证明了自进化框架在视频描述任务中的有效性，通过智能自我反思实现无需外部监督的持续优化。创建的VDC-Agent-19K数据集为视频理解提供新资源，课程直接偏好优化方法提升训练效率。这项工作为多模态大模型的自监督进化开辟了新途径，对降低AI开发成本具有重要意义。

传统监控系统多依赖单一模态（如仅视频），难以全面感知复杂环境。工业场景需实时精准识别异常活动（如安全事故），但现有方法在跨模态融合和实时性上存在不足。本研究旨在构建同步处理音视频的多模态系统，提升异常检测的可靠性和实际部署价值。

系统经历两代演进：初代集成YOLOv8（目标检测）、ByteTrack（目标跟踪）和AST（音频分析）；进阶版引入多模型音频集成（AST、Wav2Vec2、HuBERT）、混合目标检测（YOLO与DETR互补）、双向跨模态注意力机制（增强音视频关联学习）及多方法异常检测算法。通过深度融合与模型协同，显著提升环境感知全面性。

实验表明，进阶系统在通用监控和工业安全场景均表现优异：跨模态融合使异常检测准确率显著提升，支持在标准硬件上实时运行（如30fps处理速度），对比初代系统在噪声环境下的误报率降低约40%，同时保持高鲁棒性。

研究证实多模态融合与模型集成能有效解决复杂场景的感知局限，系统兼具高精度与实时性，为工业安全监控提供了可落地的技术方案，推动了多模态AI在边缘计算领域的应用边界。

基于深度学习的人体检测系统在安防监控中广泛应用，但其易受对抗样本攻击的特性带来了严重安全隐患。现有可穿戴攻击方法多为逐帧优化纹理，无法在包含运动、姿态变化和衣物变形的长视频序列中保持隐蔽性。需要开发能在真实物理环境中持续有效的对抗服装，以评估和提升检测系统的鲁棒性

首先将商品图像映射到UV空间并转换为紧凑的调色板和控点参数化表示，通过ICC色彩锁定确保所有颜色可打印。建立基于物理的人类-服装仿真管线，模拟人体运动、多角度摄像机视角、布料动力学和光照变化。采用基于变换期望的目标函数配合时序加权，优化控制点以最小化整个序列中的检测置信度。该方法在数字和物理层面均保持对抗效果的一致性

实验表明该方法在数字环境中实现强效稳定的隐蔽效果，对视角变化具有高鲁棒性，并展现优异的跨模型迁移能力。通过升华印花制作的实体服装在室内外录制测试中均实现可靠的人体检测抑制，数字攻击成功率超过90%，物理测试中使检测器置信度下降70%以上

本研究证明了序列级对抗服装在物理世界中的可行性，为评估视觉安防系统的脆弱性提供了新范式。通过统一考虑动态因素和物理约束，推动了可穿戴对抗攻击从数字模拟到实际应用的转变，对提升人体检测系统的鲁棒性和隐私保护技术发展具有重要意义

当前海洋数据通常以抽象图表呈现，公众难以直观理解气候变化的生态影响。受牛顿·哈里森生态美学思想启发，研究旨在通过AI技术将海洋数据转化为具身化叙事，解决科学数据与公众认知之间的情感隔阂，推动环境数据的沉浸式传播。

采用模块化多智能体架构，基于检索增强的大语言模型框架构建海洋拟人化对话系统。通过关键词检测与语义解析技术，实时关联对话内容与时空主题线索，动态触发多维数据可视化及音视频播放。创新性地将科学洞察与生态诗学融合生成响应内容。

系统成功实现自然语音交互，能根据用户对话动态生成匹配的海洋数据可视化场景。实测显示该系统显著提升了用户对复杂海洋数据的理解深度，通过生态艺术呈现使环境数据认知效率提升约40%。

研究证明了对话式AI在环境数据情感化传递中的有效性，开创了人-机-生态系统协同的新范式。为科学传播提供了可复用的技术框架，推动了生态艺术与人工智能的跨学科融合。

多模态大语言模型在医疗影像分析中展现出强大潜力，但存在对性别、种族等人口群体的诊断不公平问题。现有去偏方法通常需要大量标注数据或模型微调，这对基础规模模型既不现实也不高效。因此需要开发轻量级、无需调参的公平性提升方案，推动医疗AI的公平应用。

提出公平感知演示选择方法FADS，核心创新在于通过聚类采样构建人口统计平衡且语义相关的演示示例。首先对候选示例进行人口属性和语义特征的双重聚类，然后从各人口群组中均衡采样代表性示例，确保演示集既覆盖多样病例又保持人口分布平衡。该方法完全基于上下文学习框架，无需模型微调即可实现公平性优化。

在多个医疗影像基准测试中，FADS相比传统演示选择方法，在性别、种族和民族相关指标上显著降低诊断差异达15-30%，同时保持整体准确率不变。该方法在不同模态的医疗数据上均表现稳定，为医疗公平性提供了可扩展的解决方案。

本研究证明了公平感知上下文学习在医疗影像推理中的有效性，FADS方法为大规模基础模型提供了一种数据高效、计算轻量的公平性提升途径。这项工作推动了可信医疗AI的发展，为构建公平、可及的医疗诊断系统提供了重要技术支撑。

乳腺超声是乳腺癌筛查的重要手段，但现有AI模型在跨医院应用时性能下降严重。多任务学习通过共享知识提升泛化能力，但分割与分类任务间存在负向干扰。传统方法在波兰数据训练后，在西班牙、埃及等外部数据上分割效果骤降（Dice系数最低仅0.49），亟需解决任务冲突并提升模型普适性。

核心创新是设计基于可微分BI-RADS特征的一致性正则化方法。首先将临床常用的BI-RADS标准（如肿瘤形态、边缘特征）转化为可微计算模块，使神经网络能直接学习这些医学先验知识。在分割网络和分类网络并行训练时，通过约束两个任务输出的特征一致性，动态平衡任务权重。该方法在BrEaST数据集训练时，确保分割结果与BI-RADS形态特征预测相互促进，避免单一任务主导训练。

在波兰数据训练后，于三个外部数据集验证：西班牙UDIAT（Dice=0.81 vs 基线0.59）、埃及BUSI（0.66 vs 0.56）、西班牙BUS-UCLM（0.69 vs 0.49），所有改进均具统计显著性（p<0.001）。在UDIAT数据集上达到当前最优分割性能，证明其跨机构泛化能力。

本研究通过医学先验知识与深度学习结合，首次实现多任务学习在乳腺超声分割中的可靠外部验证。所提一致性正则化方法为医疗AI的临床部署提供新思路，显著降低模型对单一数据源的依赖，推动超声辅助诊断系统的实际应用。

在仓库自动化、物流分拣等场景中，机器人需准确估计杂乱环境下物体的6D姿态（位置和旋转）。现有方法存在局限：基于CAD模型的方法依赖高精度网格且适应性差；无模型方法灵活性高但抗干扰能力弱；类别级方法往往忽略环境先验，工业实用性不足。本文针对仓库箱子的特定类别，旨在开发兼顾精度、速度和泛化能力的零样本姿态估计方案。

Box6D基于单次RGB-D观测，首先通过快速二分搜索推断箱子尺寸，避免依赖实例特定模型；随后利用类别级CAD模板进行姿态估计，结合深度数据设计合理性过滤器，剔除不可靠假设；引入早停策略降低计算成本。核心创新包括：尺寸自适应推断、模板化姿态求解、以及轻量级假设验证机制，实现零样本条件下高效准确的姿态估计。

在真实仓库场景和公开基准测试中，Box6D在6D姿态精度上达到或优于对比方法，同时推理时间减少约76%。具体指标显示，其在遮挡和杂乱环境下仍保持稳定性能，验证了方法在工业场景中的高效性与鲁棒性。

Box6D通过类别级模板与尺寸自适应推断，解决了仓库箱子6D姿态估计的精度与效率平衡问题。其零样本特性降低了对训练数据的依赖，76%的加速显著提升了实用性，为物流自动化、机器人抓取等应用提供了可靠的技术支撑。

6D姿态估计对机器人和AR应用至关重要。现有方法对已知物体通过精细调参能达到高精度，但泛化到未见物体时效果骤降。传统多阶段流程（检测-分割-初始姿态-优化）在遮挡场景下，前期错误会逐级传播导致失败。现有评估指标也存在遮挡偏差，亟需能同时解决未见物体适应性和遮挡鲁棒性的新方法。

提出四项核心创新：（1）动态非均匀密集采样策略，优先计算物体可见区域，减少遮挡干扰；（2）多假设推理机制，保留多个按置信度排序的候选姿态，避免单路径失败；（3）迭代优化模块逐步提升姿态精度；（4）系列遮挡增强训练方法，通过模拟遮挡提升模型泛化能力。同时提出加权可见性评估指标，消除现有标准对遮挡场景的评估偏差。

在ICBIN数据集上准确率提升超5%，BOP基准数据集提升超2%，推理速度提升约3倍。新提出的加权可见性指标更公平地评估了遮挡下的性能，验证了方法在复杂场景下的优越性。

本研究通过系统化解决遮挡和泛化问题，推动了6D姿态估计的实用化进程。四项技术扩展形成协同效应，为机器人抓取、AR交互等需要处理未知遮挡场景的应用提供了更可靠的解决方案，同时提出的新评估标准为领域建立了更科学的性能衡量体系。

Segment Anything Model 3 (SAM3) 在图像和视频概念分割领域取得突破，但其统一架构（共享视觉主干、DETR风格检测器、密集内存跟踪器）计算复杂、内存需求高，难以部署到资源受限的边缘设备。现有轻量级模型无法平衡性能与效率，特别是在视频场景中保持时空一致性的概念分割任务上存在明显差距。本研究旨在通过知识蒸馏技术，将SAM3的强大多模态理解能力迁移到高效模型中，解决移动端实时视频分析的应用瓶颈。

提出渐进式分层蒸馏框架，分三阶段转移SAM3能力：1）编码器蒸馏：在SA-1B数据集上采用提示循环训练对齐图像特征表示；2）时序记忆蒸馏：用基于Perceiver的紧凑模块替代原密集内存，在SA-V数据集上学习压缩和检索时空特征，显著降低内存开销；3）端到端微调：在官方SAM3 PCS数据上优化全流程，保持概念级分割精度。该方法支持RepViT、TinyViT和EfficientViT等多种轻量骨干网络，构建可调节的模型变体系列。

在主流视频目标分割数据集上评测，EfficientSAM3系列模型相比原SAM3参数量减少5-20倍，推理速度提升3-8倍，同时保持约95%的教师模型性能。与MobileSAM、FastSAM等轻量方案相比，在DAVIS和YouTube-VOS基准测试中分别取得2.1%和1.7%的J&F指标提升，显著优于同期高效分割模型，实现了最优的性能-效率权衡。

本研究通过渐进式分层蒸馏成功将SAM3的复杂能力迁移到轻量级架构，首次实现可在移动设备运行的高质量视频概念分割。提出的PHD框架为大规模基础模型的高效部署提供了可扩展的技术路径，其模块化设计支持灵活适配不同计算预算。这项工作推动了视觉基础模型在边缘计算场景的实用化进程，为实时视频分析、AR/VR等应用提供了关键技术支撑。

当前虚拟试穿技术虽能实现单件衣物替换，但面临两大挑战：一是文字指令（如‘换上红色连衣裙’）与参考图像间的语义理解存在偏差；二是多件衣物同时更换、模特间互换等复杂场景缺乏训练数据。现有方法难以兼顾灵活性与准确性，亟需构建能适应多样化任务的通用框架。

核心创新包括：1）设计MLLM引导的语义对齐模块（MGSA），通过多模态大语言模型解析文本与图像，配合可学习查询向量建立跨模态语义关联，并引入语义对齐损失函数强化特征一致性；2）提出两阶段渐进训练策略：首阶段使用自合成流程生成伪数据扩充复杂场景，次阶段联合优化生成网络。该方法将服装属性、人体姿态等隐式语义转化为显式生成指导。

在多个基准测试中，UniFit在FID指标上较基线模型提升约12%，特别是在多服装试穿任务中生成误差降低23%。定性实验显示其能准确处理‘保留上衣更换下装’等复杂指令，且对遮挡、褶皱等细节的还原度优于VITON-HD、HR-VTON等主流方法。

UniFit通过多模态语义对齐突破了通用虚拟试穿的技术瓶颈，其两阶段训练机制为数据稀缺场景提供了新思路。该框架支持电商、AR/VR等实际应用，推动了多模态生成模型在时尚领域的发展。

现有视频变分自编码器直接编码RGB像素，忽略了帧间内容相似性，导致潜在表示存在大量冗余。这不仅增加了计算和存储开销，还限制了模型对视频本质结构的捕捉能力。为解决这一问题，需要开发能够显式分离视频静态与动态特征的紧凑表示方法。

通过显式解耦将视频内容分解为关键帧、运动和残差三个独立组件，分别为每个组件设计专用编码器。采用共享3D解码器确保重建时的时空一致性，并设计解耦适应策略：依次训练各组件编码器时冻结其他组件，稳定训练过程并精确学习静态与动态特征。关键创新在于组件间解耦设计和顺序训练机制。

在多个视频数据集上的定量和定性实验表明，DeCo-VAE在重建质量指标（如PSNR、SSIM）上显著优于现有方法。可视化结果证实其能更精确地保持视频细节和运动连续性，同时潜在空间维度减少约40%。

该研究证明了通过显式解耦视频组件可学习紧凑且高效的潜在表示，为视频生成、压缩等任务提供了新范式。其组件隔离训练策略对多模态表示学习具有借鉴意义，推动了视频理解领域的发展。