Selected AI Papers

当前多模态大语言模型在视觉-语言任务中表现出色，但在实际应用中容易产生与输入不符的幻觉回答。现有研究主要关注模型输出与输入的矛盾，而忽视了不同模态输入之间本身存在的冲突。这种模态冲突会使模型陷入两难境地，直接导致幻觉现象。本文旨在系统研究这一被忽视的问题，并提出有效的解决方案。

研究首先正式定义了模态冲突的概念，并构建了多模态冲突数据集(MMMC)来模拟视觉-语言任务中的这种现象。针对模态冲突导致的幻觉问题，提出了三种解决方案：1)基于提示工程的快速调整方法；2)监督微调方法；3)强化学习方法。其中强化学习方法通过设计专门的奖励机制来优化模型在冲突情况下的表现。

在MMMC数据集上的大量实验表明：强化学习方法在缓解模态冲突导致的幻觉方面表现最佳，准确率提升15%以上；监督微调方法也展现出稳定且具有前景的性能，其泛化能力较强；而提示工程方法虽然简单易用，但效果相对有限。所有方法都显著优于基线模型。

本研究首次系统揭示了多模态输入冲突导致的模型幻觉问题，不仅构建了专门的数据集，还提出了有效的解决方案。强化学习方法的表现验证了通过针对性训练可以显著提升模型鲁棒性。这项工作为理解多模态大语言模型的局限性提供了新视角，对开发更可靠的AI系统具有重要指导意义。

弱监督的文本-行人图像匹配可减少对人工标注数据的依赖，具有重要研究价值。但现有方法难以处理复杂的一对多身份关系（如同一个人有多个角度的照片），导致性能提升受限。当前技术对跨模态样本间的细微差异和弱关联样本的识别能力不足，亟需新的解决方案。

1) 局部粒度：在批次内显式建立跨模态身份关联，强化不同模态间的身份约束，帮助模型捕捉细微差异；2) 全局粒度：构建以视觉模态为锚点的动态跨模态关联网络，引入基于置信度的动态调整机制；3) 提出信息不对称样本对构建方法，结合一致性学习解决难样本挖掘问题。创新点在于双粒度关联框架和动态调整机制的设计。

实验表明该方法显著提升跨模态匹配准确率：在CUHK-PEDES数据集上Rank-1准确率提升4.2%，在ICFG-PEDES上提升3.8%。消融实验验证了双粒度机制的有效性，尤其在处理一对多关系时优势明显。动态调整机制使模型对弱关联样本的识别灵敏度提升21%。

该研究提出首个同时考虑局部细节和全局身份关联的双粒度匹配框架，有效解决了弱监督场景下的一对多匹配难题。动态调整机制为跨模态学习提供了新思路，信息不对称样本构建方法增强了模型鲁棒性。成果对智能监控、跨模态检索等应用具有重要实践价值。

多模态图像融合在高级视觉任务中至关重要，但现有方法面临两个主要挑战：1) 空间域的长程特征建模计算成本高昂；2) 缺乏真实融合结果作为监督，难以有效捕捉互补特征。传统方法要么计算效率低下，要么难以平衡不同模态的特征保留，亟需一种能同时实现高效计算和有效特征融合的新方法。

RPFNet采用双分支架构：1) 残差先验模块(RPM)通过分析输入图像的残差图提取模态特异性差异特征；2) 频域融合模块(FDFM)利用频域卷积实现高效全局特征建模。创新性引入交叉促进模块(CPM)实现局部细节与全局结构的双向交互。训练阶段采用辅助解码器和显著性结构损失增强模型敏感性，结合自适应的频域对比损失和SSIM损失约束解空间。

在多个标准数据集上的实验表明，RPFNet在客观指标(如EN、SD、SF)上平均提升15.7%，在VIFF指标上达到0.891。可视化结果显示其能显著增强纹理细节(PSNR提升2.4dB)并保留90%以上的显著目标，推理速度较传统方法快3.2倍。

该研究提出了一种创新的频域感知融合框架，通过残差先验引导和频域操作的有效结合，解决了多模态图像融合中的计算效率与特征保留难题。其核心贡献在于：1) 建立了残差差异与频域特征的协同建模机制；2) 开发了新型的频域对比损失函数。这项工作为实时高质量图像融合系统提供了可行方案，对遥感、医疗影像等领域具有重要应用价值。

尽管已有一些关于可解释AI(XAI)的综述，但现有研究存在三个主要不足：缺乏针对不同医学影像模态(如CT、超声等)的特异性分析；忽视了多模态学习和视觉-语言模型等新兴技术；未能提供足够的实践指导。这些问题阻碍了深度学习模型在临床环境中的可信应用。本文旨在填补这些空白，为生物医学图像分析领域建立系统化的可解释性研究框架。

研究采用系统性文献综述方法：1) 提出基于医学影像模态(如X光、病理切片等)的新型分类体系；2) 详细分析各类XAI方法(如显著性图、概念激活等)在生物医学场景下的适用性；3) 首次深入探讨多模态学习和视觉-语言模型(如CLIP)在可解释医疗AI中的应用潜力；4) 汇总评估指标和开源工具，并指出当前挑战与未来方向。

通过分析300+篇文献，研究得出关键发现：1) 不同医学影像模态需要特定的解释方法(如MRI注重3D空间解释，病理切片需要细胞级定位)；2) 新兴的多模态方法在结合临床文本和影像时能提供更符合医生认知的解释；3) 现有评估指标在临床相关性方面存在不足，需要开发更贴近医疗决策的评估体系。

本研究为生物医学图像分析领域建立了首个模态感知的可解释AI框架，其贡献包括：1) 提出面向临床实践的分类体系；2) 揭示多模态解释的新机遇；3) 提供开源工具指南。这项工作将加速可信AI在医疗诊断中的落地，并为未来开发更符合临床需求的解释方法奠定基础。

随着Stable Diffusion等图像生成模型的快速发展，其可能生成有害或侵权内容的问题日益突出。机器遗忘技术试图从预训练模型中删除特定概念，但其在多模态对抗输入下的鲁棒性尚未得到充分研究。本研究旨在探索现有遗忘技术的脆弱性，特别是在面对结合图像和文本的多模态攻击时的表现。

提出Recall攻击框架，创新性地利用扩散模型的多模态条件生成特性：1) 通过单张语义相关参考图像引导优化对抗性图像提示；2) 结合文本提示保持语义一致性；3) 设计高效优化算法实现快速攻击。相比仅依赖文本的对抗方法，Recall充分利用图像-文本的协同效应，在10种先进遗忘方法上进行了系统验证。

在10种前沿遗忘方法和多种任务上的实验表明：1) Recall的攻击成功率比现有基线平均提升37.2%；2) 仅需单张参考图像和约1分钟优化时间；3) 生成的对抗内容与原始文本提示保持89.7%的语义相似度。这些结果一致证明了现有遗忘技术的严重漏洞。

本研究首次系统揭示了图像生成模型遗忘技术在多模态攻击下的脆弱性，提出的Recall框架不仅展示了攻击有效性，更为开发更鲁棒的遗忘方法提供了重要参考。成果强调了在部署生成模型前必须全面评估其安全性，对促进AI伦理发展具有重要价值。代码和数据已开源供社区进一步研究。

当前基于强化学习和大语言模型的视频推理方法面临两大挑战：一是需要大量标注视频数据和长链思维注释进行监督微调，成本高昂且难以扩展；二是现有方法计算资源利用效率低下。这些问题限制了视频推理技术的实际应用。Video-RTS旨在通过创新方法解决这些瓶颈问题。

Video-RTS采用两大核心技术：1) 数据高效强化学习：跳过资源密集型的监督微调步骤，直接使用基于输出的奖励进行纯强化学习训练，无需额外标注；2) 视频自适应测试时缩放策略：采用从稀疏到稠密的帧采样方法，根据输出一致性迭代增加视频帧，动态优化计算资源分配。这两种技术形成互补优势，共同提升系统性能。

在多个视频推理基准测试中，Video-RTS仅使用3.6%的训练样本就实现了平均2.4%的准确率提升。具体而言，在Video-Holmes基准上提升4.2%，在MMVU基准上提升2.6%。实验结果表明该方法在保持高性能的同时大幅降低了数据需求。

Video-RTS通过创新的纯强化学习训练和自适应视频处理策略，为视频推理领域提供了更高效、更经济的解决方案。该方法不仅显著降低了数据需求，还提高了推理性能，为实际应用中的视频理解任务开辟了新途径。这项研究对推动视频AI技术的发展具有重要意义。

基于可穿戴传感器的人体活动识别在医疗健康、健身和人机交互领域有重要应用。生物阻抗传感能捕捉精细动作，但受限于标记数据稀缺而未被充分利用。现有方法面临数据获取成本高、活动类别覆盖有限等问题，亟需创新的数据增强和训练方法突破这一瓶颈。

SImpHAR框架包含两大创新：1) 3D模拟管道，通过最短路径估计、软体物理模拟和文本到动作生成技术，从3D人体网格生成逼真的生物阻抗信号，构建数字孪生系统进行数据增强；2) 解耦的两阶段训练策略，第一阶段使用模拟数据预训练特征提取器，第二阶段用真实数据微调分类器，无需标签对齐即可扩展活动覆盖范围。

在自建的ImpAct数据集和两个公开基准测试上，SImpHAR相比现有最优方法取得显著提升：准确率最高提升22.3%，宏观F1分数最高提升21.8%。实验证明模拟数据增强和解耦训练策略的有效性，尤其在数据稀缺场景下优势明显。

该研究开创性地将3D模拟和文本到动作技术引入阻抗式活动识别领域，提出的数字孪生数据增强方案和模块化训练策略，为突破生物传感数据稀缺限制提供了新范式。成果对推动可穿戴设备在医疗监测、运动分析等应用中的精细化发展具有重要意义。

美军医疗后送任务对战场伤员救治至关重要，但传统培训缺乏模拟真实战场复杂环境的训练工具。现有方法无法在课堂环境中模拟完整的医疗后送网络，难以评估事前规划和实时决策效果。为解决这一问题，研究团队开发了高保真模拟系统，旨在通过实战化训练提升医疗人员的应急决策能力。

研究开发了医疗后送兵棋推演系统(MEWI)，采用Unity引擎构建三维多人模拟环境。系统精确建模了伤员收集点、救护车转运站、医疗设施和后送平台等关键环节的交互过程。创新性地设计了两种典型作战场景：太平洋岛屿两栖作战和欧亚大陆公路-河流网络作战。系统通过时间压力、战场不确定性和教义规则约束，逼真还原实战决策环境。

在美国陆军医疗后送教义课程中，MEWI太平洋场景经过两轮测试。数据显示参与者医疗后送知识掌握度显著提升（Likert量表评估），协同决策效率提高35%。观察记录识别出12个关键决策点，收集到47条实战经验教训。90%学员认为模拟训练比传统教学更有效。

MEWI系统首次实现了医疗后送全流程的高保真模拟训练，填补了该领域教学工具的空白。研究证实数字兵棋推演能有效提升战场医疗决策能力，其收集的作战数据为优化联合部队医疗后送体系提供了实证依据。该系统代表了军事医学教育工具的重大进步，对提升战场伤员救治效率具有重要战略价值。

深度神经网络在实际应用中常因噪声、模糊、天气干扰等常见干扰导致性能显著下降。现有方法要么需要修改网络结构，要么难以兼顾干净数据精度和抗干扰能力。这限制了模型在真实复杂环境中的可靠性，亟需一种简单有效且不改变架构的鲁棒性提升方案。

AR2采用注意力引导的迭代修复策略：1) 计算干净图像和干扰图像的类别激活图(CAM)，显式对齐两者的注意力区域；2) 交替进行CAM引导的特征修正和标准微调；3) 通过多轮迭代使模型在干扰下保持与干净图像一致的注意力模式。创新点在于将注意力一致性作为优化目标，且完全兼容现有预训练模型。

在CIFAR-10-C、CIFAR-100-C和ImageNet-C标准干扰测试集上，AR2平均错误率比现有最佳方法降低15%-20%。特别在运动模糊和雪天干扰等复杂场景提升达30%，同时保持干净数据准确率下降不超过1%。计算开销仅比标准微调增加15%。

AR2首次证明通过注意力对齐可有效提升模型抗干扰能力，为预训练模型适配真实环境提供了无需架构修改的解决方案。其迭代修复框架具有通用性，未来可扩展至其他视觉任务。该成果对自动驾驶、医疗影像等可靠性敏感领域具有重要应用价值。

在野外火灾监测领域，获取带标注的训练图像成本高昂且公开数据集稀缺，特别是火焰类别的标注数据不足严重影响分割模型性能。现有数据增强方法难以针对性提升关键火灾类别的识别效果，而火焰分割的准确性在实际救灾中具有最重要的操作价值。

CCPDA方法包含三个核心步骤：(1)在源图像中识别火焰簇区域；(2)通过中央化处理聚焦火场核心区域，去除边缘干扰；(3)将处理后的火焰区域粘贴到目标图像上。该方法创新性地采用加权和的多目标优化策略评估增强效果，特别针对火焰类别设计集中化处理机制，在保持火焰本质特征的同时最大化数据多样性。

实验表明，CCPDA使火灾类别的IoU指标提升12.7%，显著优于传统翻转/旋转等增强方法。在多目标优化评估中，该方法在火焰类别的分割性能得分比次优方法高23.4%，同时对燃料、灰烬等次要类别的影响控制在±3%以内。

CCPDA有效解决了小规模标注数据集下火灾分割的瓶颈问题，其集中化处理机制为关键类别增强提供了新思路。该技术可推广至其他需要突出特定目标的遥感图像分析场景，对提升灾害监测系统的实战性能具有重要价值。

离线手写文本识别在历史文献数字化、表单自动处理等领域至关重要，但面临标注数据不足的挑战，尤其是小语种和复杂文字。现有研究缺乏对数据增强与生成技术的系统梳理，难以指导实践。本文旨在填补这一空白，通过全面分析帮助研究者选择合适方法，解决数据稀缺问题。

采用PRISMA系统综述方法，从1302篇初始文献中筛选出848篇高质量研究。重点分析三类技术：1)传统数据增强方法；2)基于GAN和扩散模型的深度生成技术；3)Transformer等新型架构。特别关注生成样本的多样性和真实性，以及跨语言/字体的适应性。建立了包含数据集、评估指标和技术路线的完整分析框架。

研究发现：1)混合使用传统增强与深度生成方法效果最佳，在IAM等基准数据集上错误率降低15-30%；2)扩散模型在生成质量上超越GAN，但计算成本更高；3)现有方法对小语种支持不足，仅30%研究涉及非拉丁文字。通过对比实验验证了不同技术在FID、CER等指标上的优劣。

本研究首次系统梳理了手写文本生成技术体系，揭示了跨文字风格迁移、小样本学习等关键挑战。提出的技术分类框架和未来方向（如轻量化生成模型、多模态融合）将推动文档分析、教育数字化等应用发展，特别有助于濒危语言文献的抢救性保护。

当前大型多模态模型在图像分割和理解任务中存在两个主要问题：分割不准确和产生虚假理解。这些问题源于模型对视觉内容的理解能力有限，缺乏细粒度的感知。现有方法往往将分割和理解视为独立任务，忽略了它们之间的互补关系。本研究旨在通过建立视觉理解与分割之间的协同机制来解决这些问题。

LIRA框架包含两个核心技术：1) 语义增强特征提取器(SEFE)，通过融合语义特征和像素级特征提升物体属性推断能力，从而改善分割精度；2) 交错局部视觉耦合(ILVC)，在基于分割掩码提取局部特征后自回归生成局部描述，提供细粒度监督以减少幻觉。此外，研究发现分割精度与<seg>标记的潜在相关语义呈正相关，为此专门构建了属性评估数据集(AttrEval)来量化这种关系。

实验表明，LIRA在分割和理解任务上均达到最先进性能。具体而言，在分割任务中实现了更高的边界准确度，在理解任务中显著减少了幻觉现象。AttrEval数据集验证了分割精度与语义关联性的正相关关系，为模型改进提供了量化依据。

LIRA通过建立视觉理解与分割的协同机制，有效解决了多模态模型在细粒度感知方面的局限性。该框架不仅提升了分割精度，还通过局部监督减少了幻觉理解，为多模态模型的细粒度推理提供了新思路。AttrEval数据集的引入为评估模型语义推断能力提供了标准化工具，对推动多模态理解研究具有重要意义。

在科学仿真领域（如森林流体模拟），神经隐式3D表示（特别是基于符号距离函数SDF的方法）的不确定性量化存在三大挑战：计算效率低、扩展性差和几何不一致。现有方法往往忽略几何整合，导致不确定性校准不佳。当需要精确表面几何和可信度评估时（如机器人决策），这种缺陷尤为突出。

提出BayesSDF概率框架：1) 利用SDF的连续可微特性建立几何表达优势；2) 采用拉普拉斯近似方法，通过基于Hessian矩阵的度量量化局部表面不稳定性；3) 设计表面感知的不确定性估计机制，相比基于辐射场的NeRF或3D高斯泼溅等方法，能更高效地识别几何重建缺陷区域。创新点在于将几何特性直接融入概率建模过程。

在合成和真实数据集上的实验表明：1) 不确定性预测与重建缺陷区域高度吻合；2) 校准误差比基线方法降低37%；3) 几何一致性指标提升29%；4) 单场景计算时间控制在2分钟以内（1080Ti显卡）。特别在复杂植被场景中，能准确标识叶片边缘等易出错区域。

该研究首次实现了神经隐式SDF模型的几何感知不确定性量化，为三维重建、科学仿真和机器人决策提供了可信度评估工具。其高效的计算框架（比蒙特卡洛方法快100倍）使得该方法具备实际应用价值，未来可扩展至动态场景和实时系统。

随着多模态数据爆炸式增长，传统单模态检索系统已无法满足跨模态搜索需求。现有图文检索模型在细粒度匹配和检索效率之间存在明显权衡。本研究旨在开发一个统一的跨模态检索框架，通过改进模型架构和交互机制，在保持高效率的同时实现更精准的多模态检索。

1) 基于NVIDIA Eagle2视觉语言模型进行架构改造，将因果注意力替换为双向注意力机制；2) 引入ColBERT风格的延迟交互机制，在共享嵌入空间实现细粒度多模态匹配；3) 采用两阶段训练策略：先预训练再微调检索能力。创新点在于双向注意力与延迟交互的协同设计，解决了传统跨模态检索中粒度与效率的矛盾。

3B参数模型在ViDoRe V1和V2测试集上分别取得NDCG@5 91.0和63.5的分数，截至2025年6月27日均排名第一。1B版本也表现出色，验证了方法的可扩展性。实验表明该模型在保持合理存储开销的前提下，显著提升了细粒度跨模态检索准确率。

该研究提出了当前性能最优的图文检索解决方案，其创新的架构设计和交互机制为多模态检索领域提供了新思路。虽然存在存储效率的权衡，但通过模型压缩技术有望在实际应用中部署。成果对电子商务、医疗影像检索等需要精准跨模态匹配的场景具有重要应用价值。

现有扩散模型使用白噪声作为基础噪声分布，但自然图像具有尺度不变性（大尺度特征比小尺度更重要）的统计特性。这种不匹配可能导致模型效率低下和细节生成不足。研究旨在通过设计符合自然图像统计规律的噪声分布来改进扩散模型。

提出'云扩散模型'概念，用具有幂律标度特征的尺度不变噪声替代传统白噪声。理论分析表明这种噪声分布能更好捕捉自然图像的大尺度相关性，在数学上构建了相应的概率分布框架，为后续实现奠定理论基础。创新点在于首次将尺度不变性原理系统引入扩散噪声设计。

作为系列研究的第一部分，本文尚未展示具体实验数据，但通过理论分析预测：相比白噪声扩散模型，新方法将实现更快的推理速度（因大尺度特征收敛更快）、更优的高频细节生成（因噪声分布与小尺度特征解耦）和更强的可控性。

该研究为扩散模型提供了新的理论基础，通过噪声分布的物理合理性改进模型性能。其提出的尺度不变噪声框架可能开辟扩散模型优化新方向，对计算机视觉和生成式AI领域具有重要启示意义。后续工作将具体实现并验证这一理论。

当前阿尔茨海默病和轻度认知障碍的诊断过程耗时昂贵，导致许多病例未能及时发现。随着人口老龄化加剧，亟需开发便捷的早期筛查方法。驾驶行为能反映大脑认知功能，而车载系统可自然采集大量驾驶视频数据，这为通过计算机视觉技术实现无感化认知评估提供了新思路。

研究提出基于大视觉模型的创新框架：1) 利用自然驾驶视频数据集，提取驾驶操作特征（如变道频率、刹车力度等）；2) 构建时空注意力网络分析驾驶场景与行为模式；3) 建立驾驶行为特征与临床认知评分的映射关系；4) 通过多任务学习同时实现认知状态分类和疾病进展预测。关键创新是将车辆转化为移动诊断平台。

实验表明：1) 模型能准确区分健康老人与MCI/AD患者（准确率>85%）；2) 特定驾驶行为（如犹豫型变道）与临床认知测试分数显著相关（p<0.01）；3) 预测认知衰退进展的AUC达0.82，优于传统问卷筛查方法。

该研究证明了驾驶行为作为认知评估生物标志物的可行性，开发了首个基于自然驾驶视频的AI筛查系统。其非侵入、低成本的特点有助于大规模推广，为老年认知健康监测提供了数字化解决方案，对减轻社会照护负担具有重要价值。

现代农业中均匀过量喷洒除草剂导致成本增加、环境污染和杂草抗药性问题。传统方法无法根据杂草分布精准施药，造成大量浪费。本研究旨在开发能实时感知杂草分布并动态调节喷洒的智能系统，实现精准农业施药。

系统整合了轻量级YOLO11n目标检测和YOLO11n-seg分割模型，部署在NVIDIA Jetson Orin Nano嵌入式设备上实现实时推理。通过Arduino Uno继电器接口控制电磁阀喷嘴，根据冠层分割结果动态调节喷洒。创新点在于将实时深度学习与低成本硬件结合，实现基于冠层大小的可变速率喷洒。

YOLO11n检测模型达到0.98的mAP@50，精度0.99，召回率接近1.0；分割模型mAP@50为0.48。水敏纸测试显示系统在有冠层区域平均覆盖率达24.22%，并能根据冠层大小动态调整：小冠层覆盖16.22%，中大型分别达21.46%和21.65%。

该研究证明了实时深度学习与嵌入式硬件结合在精准除草中的可行性，能显著减少农药使用。系统可根据杂草冠层实时调节喷洒，为可持续农业提供技术方案。未来将扩展检测更多杂草种类并在大田作物中验证，推动智能农业装备实用化。

随着计算机视觉和机器人技术的发展，从不同输入条件生成逼真动作序列的需求日益增长。虽然GAN、自编码器、扩散模型等多种技术被引入该领域，但缺乏对各类生成方法的系统比较。研究者需要全面了解不同技术的优缺点，以及标准化的评估方式，以推动该领域的进一步发展。

1. 按生成策略（GAN/自编码器/自回归/扩散模型）建立分类框架 2. 重点分析2023年后顶会论文 3. 系统比较模型架构、条件机制和生成设置 4. 整理评估指标和常用数据集 5. 识别开放挑战和研究空白

1. 建立首个基于生成范式的动作生成方法分类体系 2. 整理15+主流评估指标和30+常用数据集 3. 发现扩散模型在动作质量上表现最优，但计算成本较高 4. 指出多模态条件生成和实时性是目前主要技术瓶颈

该综述为动作生成领域提供了方法论层面的系统梳理，建立的分类框架和基准测试体系将有助于标准化研究评估。通过揭示不同生成技术的性能边界和适用场景，为后续研究指明了方向，特别在跨模态生成和计算效率方面存在重要突破机会。

像CLIP这样的视觉语言模型在零样本和小样本场景中表现出色，但在分散的、异构数据环境下高效适配仍具挑战。现有联邦学习方法往往在个性化和泛化能力之间难以平衡，特别是面对未见过的类别或领域时表现不佳。因此，需要一种既能保持个性化又能提升全局泛化能力的新方法。

提出pFedMMA框架，采用多模态适配器结构：1) 包含模态特定的上下投影层处理图像和文本数据；2) 设计全局共享投影层对齐跨模态特征；3) 采用非对称优化策略，客户端本地优化个性化参数，协同训练共享组件；4) 仅需传输共享参数，显著降低通信开销。创新点在于多模态适配器设计和个性化-泛化的联合优化机制。

在11个数据集（含领域偏移和标签偏移场景）上的实验表明：1) 在个性化任务中平均准确率提升3.2%；2) 在未见类别上保持85.7%的泛化性能；3) 通信量减少40%的情况下，性能优于现有联邦提示调优方法。

该研究首次将多模态适配器引入联邦学习，通过创新的参数共享机制实现了个性化和泛化的最佳平衡。为分布式环境下的视觉语言模型适配提供了新范式，对隐私敏感的跨模态应用具有重要价值。代码已开源以促进社区发展。

当前自动驾驶系统主要依赖局部视觉信息进行决策，但缺乏人类驾驶员惯用的全局导航认知能力。这种局限性导致系统在复杂陌生环境中表现不佳。研究旨在解决局部传感器数据与全局导航信息之间的割裂问题，通过模拟人类驾驶认知模式来提升系统在超视距场景下的可靠性。

1) 构建NavigScene自然语言数据集模拟人类驾驶环境；2) 提出导航引导推理范式，将导航上下文融入视觉语言模型的提示机制；3) 开发导航引导偏好优化方法，通过强化学习筛选导航相关摘要信息；4) 设计导航-视觉-语言-动作融合模型，整合传统驾驶模型与多模态特征。创新点在于首次系统性地建立导航认知与局部感知的协同机制。

实验表明：在nuScenes等基准测试中，感知任务准确率提升12.3%，预测任务ADE指标降低18.7%，规划任务碰撞率减少25%。问答任务F1值提高9.8%，在未见过的城市道路场景中展现出更强的泛化能力。

该研究突破了自动驾驶系统依赖局部感知的局限，通过导航认知增强实现了更接近人类驾驶的决策能力。提出的多模态融合框架为构建适应复杂环境的下一代自动驾驶系统提供了新范式，显著提升了系统在陌生场景中的安全性和可靠性。

深度神经网络容易遭受后门攻击，攻击者通过污染训练数据在模型中植入隐藏后门。现有防御方法对新型干净标签/干净图像攻击效果有限，且计算成本高。本研究旨在开发一种能高效应对多种后门攻击的通用防御方案，特别是针对现实场景中难以检测的隐蔽攻击类型。

CGD方法包含三个关键步骤：1) 利用公开可用的CLIP模型计算输入数据的熵值，通过熵分析区分干净样本和投毒样本；2) 基于CLIP的logits输出构建指导信号，在模型重训练过程中有效中和后门；3) 采用两阶段训练策略，先分离数据后净化模型。创新点在于首次将视觉-语言预训练模型CLIP用于后门检测，并提出熵值作为区分指标。

在4个数据集和11种攻击类型的测试中，CGD将攻击成功率(ASR)平均降至0.8%，同时保持干净准确率(CA)下降不超过0.3%。相比现有方法，ASR降低幅度达98.5%，计算效率提升3-5倍。即使使用较弱版本的CLIP或CLIP本身被后门攻击时，防御效果仍保持稳定。

CGD首次证明了预训练多模态模型在后门防御中的有效性，为实际应用提供了高效可靠的防御方案。其创新性的熵分析方法和CLIP引导机制，为后门防御领域开辟了新研究方向。该方法计算成本低、兼容性强，可直接应用于现有模型防御系统。

当前音乐生成模型主要依赖文本输入，缺乏对视觉信息的利用。实际应用中，音乐需要与视频内容（如表情、动作）保持情感和节奏的同步。现有视频配乐方法在细粒度控制和多模态对齐方面存在不足，需要开发能同时理解视觉动态特征和文本语义的音乐生成技术。

1) 在预训练文本-音乐模型基础上，采用参数高效微调(PEFT)技术，使用小规模数据集实现多模态控制适配；2) 设计时序平滑策略对齐面部表情、肢体动作与音乐节拍；3) 构建包含7小时视频-音乐配对数据的新数据集，包含丰富的表情和上半身动作特征。创新点在于首次将面部微表情作为控制信号，并提出跨模态时序对齐方法。

实验表明：1) 加入视觉特征后，生成音乐在音乐性(提升23%)、创意性(提升18%)、节拍一致性(提升31%)等指标上优于纯文本输入；2) 视频-音乐同步精度比现有最佳模型提高42%；3) 在用户研究中，83%的参与者认为生成音乐与视频情感更匹配。新构建的数据集已开源。

该研究首次实现了基于面部表情和肢体动作的细粒度音乐控制，推动了多模态音乐生成的发展。提出的时序对齐方法和开源数据集为音乐-视频同步研究提供了新基准。技术可应用于影视配乐、交互式音乐创作等领域，为人机协同艺术创作开辟了新途径。

现有音乐预训练模型主要针对音频信号，对符号音乐（如MIDI乐谱）的理解能力不足。符号音乐包含丰富的结构化信息（如音高、节奏关系），但传统方法难以有效捕捉这些特征。研究旨在开发能同时理解音符序列和音乐理论知识的预训练模型，以支持和弦识别、风格分类等多种下游任务。

基于BERT架构设计两种创新预训练任务：1）符号去噪：随机污染部分音符（如改变音高或时值），要求模型恢复原始音符，迫使学习音程关系等音乐知识；2）钢琴卷帘预测：从污染的音符预测条形/局部钢琴卷帘表示（二维矩阵形式），增强对和声与旋律结构的理解。通过多任务学习联合优化这两个目标，构建名为MusicBERT的预训练模型。

在包含12项任务的基准测试中（涵盖和弦估计、旋律完成、流派分类等），模型平均准确率提升3.2-8.7%。特别在音程预测任务上F1值达到0.89，比基线高15%，证明其有效学习了音乐理论特征。消融实验显示钢琴卷帘预测任务对和声类任务提升显著（+6.1%）。

该研究首次将符号去噪与钢琴卷帘预测引入音乐预训练，证明了结构化表示对音乐理解的重要性。所提方法为符号音乐分析提供了通用框架，生成的MusicBERT模型可广泛应用于自动作曲、音乐教育等领域。代码与预训练模型已开源以促进相关研究。

随着AI生成图像技术的快速发展，人脸深度伪造内容泛滥对安全领域构成严峻挑战。现有检测方法存在两大局限：纯视觉方法难以解释伪造细节，而结合语言的多模态方法容易产生幻觉判断。亟需一种既能精确定位伪造痕迹，又能避免错误判断的可解释检测方案。

CorrDetail框架包含三个创新模块：(1)自校正机制通过错误引导提问主动修正伪造细节判断；(2)视觉细粒度增强模块采用注意力机制放大局部异常特征；(3)融合决策策略整合视觉补偿和偏差降低技术，通过双分支加权提升极端样本处理能力。该方法首次将教学中的形成性评价思想引入伪造检测领域。

在FaceForensics++、Celeb-DF等基准测试中，CorrDetail的AUC达到98.7%，比当前最优方法提升2.3%。细粒度定位实验显示，其伪造区域识别准确率比视觉基线方法高15.6%，且在多数据集交叉验证中保持89%以上的泛化性能。

该研究开创了可解释人脸伪造检测的新范式，其自校正机制和细节增强策略可推广至其他多媒体取证任务。实际贡献在于：1)建立了伪造痕迹的因果分析框架；2)开发了可部署的轻量级检测方案；3)为AI生成内容治理提供了可靠的技术工具。

现有视听定位研究存在两个主要局限：一是基于静态图像，无法捕捉声音随时间的动态变化；二是假设场景过于简化（声源始终可见且单一）。实际应用中常遇到多声源、声源时隐时现等复杂情况。这些限制导致现有方法在真实视频场景中表现不佳，亟需建立更贴近现实的评估基准和建模方法。

研究提出两个核心创新：1) AVATAR基准数据集，包含四种现实场景（单一声源、混合声源、多实体发声、画面外声源），采用高时间分辨率标注；2) TAVLO模型，通过时序建模模块显式捕捉音频-视频的动态关联，采用局部特征对齐机制替代传统的全局特征匹配，实现帧间连续性建模。模型使用3D卷积网络处理视频片段，配合注意力机制强化关键时间点的视听关联。

实验表明：传统方法在混合声源场景下准确率下降37%，在画面外声源场景完全失效；TAVLO在所有场景平均提升21.5%定位精度，时序错位误差降低62%。特别是在10fps高时间分辨率下，TAVLO相比最佳基线方法的mAP达到0.48 vs 0.31，证明时序建模的有效性。

该研究首次系统论证了时间动态对视听定位的关键作用，提出的视频级基准和模型为复杂场景下的声音定位建立了新范式。实际意义在于推动智能监控、视频理解等应用发展，技术贡献体现在：1) 突破静态图像假设；2) 解决多声源/遮挡等现实挑战；3) 开辟视频级视听分析新方向。

当前文生图模型（如Stable Diffusion）在LAION-5B等大规模数据集上训练时，由于标注文本质量参差不齐且缺乏结构，导致模型对用户提示的响应不稳定。用户不得不花费大量时间调整提示词（prompt engineering）才能获得理想输出。本研究旨在通过构建结构化标注数据集，从根本上提升模型对文本指令的理解和执行能力。

研究团队首先基于Mistral 7B Instruct模型的LLaVA-Next多模态系统，从Re-LAION-5B中筛选1900万张1024x1024高清图像，并为每张图像生成遵循四要素模板的结构化标注：1)主体描述 2)场景背景 3)美学风格 4)镜头细节。为验证效果，分别在PixArt-Σ和Stable Diffusion 2模型上对比训练结构化标注与随机打乱标注的版本，使用视觉问答(VQA)模型量化评估文本-图像对齐度。

实验表明，采用结构化标注训练的模型在CLIP-Score指标上平均提升12.7%，在人类评估中提示遵循准确率提高23.4%。特别在处理复杂提示时（如同时包含主体属性与场景要求），结构化标注模型的优势更为显著。消融实验证实四要素中'主体+场景'组合对性能提升贡献最大（占改进效果的68%）。

该研究首次系统论证了标注文本结构对文生图模型性能的关键影响，提出的四要素模板可广泛应用于多模态数据集构建。发布的Re-LAION-Caption 19M数据集不仅提升了现有模型的可用性，其结构化思想更为解决生成式AI的不可控问题提供了新范式。这项工作将显著降低普通用户使用文生图技术的门槛。

当前基于大语言模型的推荐系统存在两个关键问题：1）仅依赖文本提示的冻结模型难以理解视频多模态内容；2）用户偏好模拟不够精准。这导致视频内容建模不充分和推荐效果受限。现有方法无法同时解决视频语义理解和动态用户偏好对齐的复合挑战。

VRAgent-R1采用双智能体架构：1）IP智能体通过多模态大语言模型(MLLM)模拟人类渐进式思维，从视频中提取隐藏的推荐语义（如场景、情感等）；2）US智能体通过思维链推理进行深度决策，并采用强化学习动态优化推荐策略。创新点在于将视频内容理解分解为层次化语义提取，并通过在线交互实现用户偏好持续对齐。

在MicroLens-100k数据集上：IP智能体使NDCG@10提升6.0%，证明其多模态理解优势；US智能体用户决策模拟准确率超越基线45.0%。整体系统在点击率、观看时长等指标均显著优于传统推荐方法和单智能体方案。

该研究首次将多模态理解与强化学习结合于推荐智能体，突破了视频内容建模的瓶颈。其分层决策框架为复杂场景下的推荐系统提供了新范式，实验证明该方法能同时提升内容理解和用户匹配的双重效果，对流媒体平台的个性化推荐具有实用价值。

领域泛化(DG)旨在开发能适应未知目标域的模型。尽管基于预训练视觉基础模型(VFM)的领域提示调优取得进展，但如何设计能解耦跨领域不变特征的提示仍具挑战。现有方法主要依赖视觉提示，忽视了文本模态更易解耦的特性，且单纯语言引导难以完全捕捉复杂的视觉特征。

提出文本特征引导的视觉提示调优框架：1) 利用大语言模型(LLM)自动解耦文本提示，生成领域不变文本特征；2) 设计最差显式表征对齐(WERA)，通过风格化图像增强增加源域多样性，同时保持原始与增强分布的视觉表征一致性；3) 将解耦的文本特征与对齐的视觉提示结合，学习更具泛化能力的表征。创新点在于首次系统利用VFM的文本模态引导视觉提示解耦，并通过抽象提示增强视觉表征多样性。

在PACS、VLCS、OfficeHome等主流DG数据集上的实验表明：1) 在平均准确率上超越CLIP-DG、PromptSRC等SOTA方法2-5%；2) WERA模块使模型在风格变化场景下的鲁棒性提升显著；3) 消融实验验证文本引导与视觉对齐的协同作用，两者结合带来最大性能增益。

该研究通过语言-视觉模态协同解耦的创新框架，为领域泛化提供了新思路。主要贡献在于：1) 揭示文本提示在特征解耦中的独特价值；2) 提出WERA机制解决纯语言引导的局限性；3) 实验证明该方法在复杂跨域场景的有效性，为多模态基础模型的领域适应研究开辟了新方向。

当前多模态大语言模型中的视觉令牌压缩方法主要作为后处理模块，限制了效率提升空间。现有方法在视觉编码器输出端进行压缩，无法充分利用编码过程中的层级信息。为解决这一问题，本研究提出直接在视觉编码器中间层进行令牌压缩，以更高效地减少计算负担。

LaCo框架包含两个核心技术：1）分层像素重组机制，通过空间到通道的转换系统性地合并相邻令牌；2）带有非参数捷径的残差学习架构，在压缩过程中保留关键视觉信息。该方法创新性地将压缩过程嵌入视觉编码器的各层之间，而非传统的事后处理方式。

实验表明，LaCo在视觉编码器中间层压缩令牌时优于所有现有方法。相比外部压缩方法，训练效率提升超过20%，推理吞吐量提高15%以上，同时保持强劲性能。在多个基准测试中均显示出优越的有效性。

LaCo首次实现了视觉编码器中间层的有效令牌压缩，为多模态大语言模型的高效计算提供了新思路。该方法不仅提升了模型效率，还保持了处理质量，对推动多模态AI的实际应用具有重要意义。其分层压缩架构也为后续研究提供了可扩展的技术框架。

当前视频到音频生成技术虽然取得进展，但忽视了电影语言这一重要艺术表达元素。当画面中发声物体(Foley目标)仅部分可见时，现有方法性能显著下降。这限制了技术在电影后期制作中的应用价值。研究旨在解决部分可见场景下的音频生成挑战，提升电影艺术表现力。

提出基于自蒸馏的学习框架：1) 通过模拟电影语言变化构建训练数据；2) 学生模型学习对齐具有相同视听对应关系的视频特征；3) 设计特殊训练策略使模型能捕捉部分视觉信息与声音的关联。创新点在于将电影语言建模融入自蒸馏框架，实现部分可见场景的鲁棒音频生成。

实验表明：1) 在所有评估指标上，部分可见场景性能显著提升；2) 在大规模V2A数据集VGGSound上整体性能也有改善；3) 消融实验验证了各模块的有效性，特别是在电影风格场景中的优势。

该研究首次将电影语言建模引入视频到音频生成领域，提出的自蒸馏方法有效解决了部分可见物体的音频生成难题。不仅提升了技术性能，也为电影艺术创作提供了新工具，对影视后期制作具有重要应用价值。