Selected AI Papers

当前基于大视觉语言模型的计算机使用智能体主要依赖人工标注数据，面对新型专业软件时表现不佳。特别是在缺乏人工标注的场景下，现有方法难以适应。这限制了智能体在真实复杂环境中的应用。因此，需要开发能够自主学习和进化的智能体框架。

SEAgent框架包含三个核心组件：1)世界状态模型用于逐步评估轨迹；2)课程生成器自动生成由简到难的任务序列；3)经验学习机制结合失败动作的对抗模仿和成功动作的组相对策略优化(GRPO)。采用专家到通才的训练策略，整合多个专业智能体的经验，最终形成一个能持续自主进化的通用智能体。

在OS-World的5个新软件环境中测试，SEAgent的成功率从基线UI-TARS的11.3%提升到34.5%，相对提升23.2%。最终的统一智能体性能超过了专业智能体在其专长软件上的表现。

SEAgent首次实现了计算机使用智能体的自主持续进化能力，通过创新的经验学习框架和课程生成机制，显著提升了智能体在新环境中的适应能力。这项工作为开发真正自主的AI助手奠定了基础，对智能体在复杂软件环境中的应用具有重要意义。

密集视听事件定位(DAVEL)需要同时检测视频中声音和视觉模态的事件发生时间。现有方法依赖精确的时间标注，但标注成本高昂。本文探索更具挑战性的弱监督场景(W-DAVEL)，仅使用视频级标签进行训练。关键挑战在于如何利用跨模态信息提升弱监督下的定位准确性，现有方法未能有效挖掘音频与视觉模态间的语义一致性。

1) 提出互事件一致性评估模块：通过计算音频和视觉预测结果的差异生成一致性分数；2) 跨模态显著锚点识别模块：结合全局视频和局部时间窗口机制，筛选具有跨模态一致性的可靠时间点作为锚点；3) 锚点时序传播模块：将多模态融合后的锚点特征传播到原始时序特征，增强事件语义表示。创新点在于首次系统性地利用跨模态一致性解决弱监督视听定位问题。

在UnAV-100和ActivityNet1.3数据集上建立W-DAVEL基准。实验表明：1) 在mAP指标上分别达到35.7%和27.3%，超过最优基线方法3.2%和2.8%；2) 消融实验验证各模块贡献，跨模态锚点识别带来最大性能提升；3) 可视化显示方法能准确定位复杂场景中的多事件片段。

该研究首次系统探索弱监督下的密集视听事件定位问题，提出的跨模态锚点机制有效缓解了弱监督信号不足的挑战。方法通过挖掘模态间一致性实现更鲁棒的时序定位，为多模态弱监督学习提供了新思路。技术可应用于视频内容分析、智能监控等领域。

现有视频描述数据集主要针对日常或人类活动场景，难以处理海洋环境的特殊挑战：水下物体动态变化、摄像机移动、复杂的光线折射等。这导致现有模型无法有效理解海洋生物行为，制约了海洋视频分析和生成的发展。研究旨在填补这一空白，通过构建多模态基准数据集推动海洋视频理解技术。

1) 构建包含视频-文本-分割掩码三元组的MSC数据集，覆盖200+海洋物种；2) 设计两阶段处理流程：先通过场景切换检测将视频分割为语义连贯的片段，再联合视觉基础分割和描述生成；3) 创新性地利用分割掩码建立视觉元素与文本描述的对应关系，增强模型的可解释性；4) 提出基于对象显著度变化的场景分割策略，提升片段语义完整性。

数据集包含5,000+视频片段，标注12,000+分割掩码和对应描述文本。实验表明：1) 两阶段方法在描述准确性上比端到端模型提升23.7%；2) 引入分割掩码使视觉基础任务mIoU达到68.2%；3) 场景分割策略使关键对象转换检测F1-score提高41.5%。与现有通用视频数据集相比，在海洋场景任务上有显著优势。

该研究创建了首个面向海洋生物的多模态视频理解基准，通过融合视觉基础与描述生成技术，为海洋生态监测、科普教育等应用提供了新工具。数据集的三元组设计为跨模态学习提供了新范式，场景感知的视频分割方法对长视频理解具有普适参考价值。成果已开源促进社区发展。

当前多媒体内容爆炸式增长，但缺乏有效工具帮助用户快速定位符合特定主题的视频片段。传统方法要么仅依赖视觉特征，要么忽视内容的时间演进特性。LUST旨在解决多模态信息融合与时序上下文理解的双重挑战，通过量化评估视频片段与用户自定义主题的相关性，满足精准内容检索和智能摘要等需求。

1) 多模态特征提取：通过ASR获取音频文本，结合视频帧视觉特征；2) 分层评分机制：第一阶段用LLM计算直接相关性分数$S_{d,i}$，评估单一片段内容；第二阶段计算上下文相关性分数$S_{c,i}$，通过LSTM网络建模历史评分序列；3) 动态权重调整：根据模态可靠性自动平衡视觉与文本特征贡献；4) 输出可视化：生成带相关性热力图的时间轴和分析报告。

在MovieNet和TVSum数据集测试显示：1) 主题追踪准确率较基线方法提升23.7%；2) 双阶段评分使F1-score达到0.82，优于单阶段方法；3) 模态融合策略使跨域泛化能力提升15.2%；4) 处理1080p视频时达到实时性能（18fps）。

LUST首次实现了用户自定义主题的时序显著性量化评估，其分层LLM评分机制为多模态理解提供了新范式。实际应用于视频摘要、教育内容检索等领域，可节省90%以上人工标注成本。开源框架将推动智能视频分析工具的发展。

当前医疗领域大语言模型的评估基准存在严重缺陷，主要表现在三个方面：一是评估场景与真实临床实践脱节；二是数据管理不规范导致污染风险；三是忽视模型鲁棒性、不确定性认知等安全关键指标。这些缺陷使得现有排行榜难以真实反映模型医疗能力，亟需建立系统化的评估标准体系。

提出MedCheck评估框架，将基准开发分解为设计、构建、验证、部署和治理五个连续阶段，制定包含46项医疗专属指标的检查清单。该框架创新性地采用生命周期视角，覆盖数据来源审查（如是否使用真实电子病历）、临床相关性验证（如是否包含误诊场景）、安全评估维度（如对抗性测试）等关键环节。

对53个主流医疗基准的评估显示：87%存在临床实践脱节问题，65%的数据集存在未处理的污染风险，92%完全缺失模型不确定性评估。典型问题包括使用简化版医学考试题、测试数据与训练数据重叠、忽视种族偏见检测等。

研究揭示了医疗AI评估体系的系统性缺陷，MedCheck框架既可作为诊断工具识别现有基准问题，又能指导开发更可靠的新基准。这项工作推动了医疗AI评估从单纯追求准确率向注重临床适用性、数据安全性和模型可靠性的范式转变，为医疗AI的负责任发展奠定基础。

当前文本生成视频（T2V）技术在多物体运动控制方面存在明显不足，主流模型仅针对单物体运动设计。当多个物体运动轨迹交叉时，现有方法会产生语义冲突导致生成质量骤降。这限制了在复杂场景（如交通流、体育赛事等）中的应用。研究旨在突破这一技术瓶颈，实现可控的多物体运动视频生成。

提出分层生成框架LayerT2V：1) 将视频分解为背景层和多个独立前景物体层；2) 每层配备专属运动轨迹控制模块；3) 采用分层注意力机制避免语义冲突；4) 通过渐进式合成实现最终视频输出。关键技术突破在于提出轨迹感知的分层合成策略，解决物体交叉区域的冲突问题。

实验表明：1) 在mIoU（语义分割指标）上比现有最佳方法提升1.4倍；2) 在AP50（物体检测指标）上提升4.5倍；3) 特别在物体轨迹交叉场景中，生成质量显著优于基线模型；4) 用户研究显示83%的参与者更偏好LayerT2V生成结果。

该研究首次实现可控的多物体分层视频生成，通过创新性的分层架构有效解决轨迹交叉难题。不仅推动文本到视频生成技术的发展，更为影视特效、虚拟现实等应用提供新工具。开源代码将促进相关领域研究。

业余环境下录制的音乐常存在回声过大、声音失真、左右声道不平衡等问题，传统解决方案需要依赖多个专业工具和人工调整。现有AI方法通常只能处理单一类型问题，缺乏统一的控制接口。本研究旨在开发一个能同时解决多种音频质量问题、且支持自然语言交互的一体化音乐增强系统。

研究团队首先构建了SonicMaster数据集，通过19种退化函数模拟5大类音频问题（均衡、动态、混响、振幅、立体声）。采用流匹配生成训练范式，建立从退化音频到高质量版本的映射关系。核心创新在于：1）支持文本指令控制特定增强效果 2）设计自动模式实现通用修复 3）首次实现多类型音频问题的端到端联合处理。模型通过条件生成方式理解并执行'减少回声'、'增强低音'等自然语言指令。

客观音频质量评估显示，在所有5类音频问题上均取得显著提升：信噪比平均提高12.3dB，语音清晰度指数改善28%。主观听测实验中，87%的参与者更倾向选择经SonicMaster处理的版本。特别在混响消除和动态范围恢复任务上，效果优于现有专用工具约15%。

该研究首次实现了音乐修复与母带处理的一体化智能解决方案，通过文本控制大大提升了系统的实用性和灵活性。SonicMaster不仅证明了生成模型在专业音频处理领域的潜力，其构建的大规模多退化类型数据集也为后续研究提供了重要资源。这项技术有望降低专业级音乐制作的门槛，推动AI在创意产业的应用。

视觉语言导航(VLN)是让机器人根据自然语言指令在陌生环境中移动的重要任务。虽然专用导航模型表现良好，但现成大视觉语言模型(LVLMs)的潜力尚未充分挖掘。同时，导航系统存在低级动作空间（如'左转'）和全景动作空间（选择预设视角点）两种范式，但缺乏对现成模型在这两种模式下表现的对比研究。

研究采用开源模型Qwen2.5-VL-3B-Instruct，在Room-to-Room(R2R)数据集上进行微调（不修改模型结构或使用模拟器训练）。通过设计适配器将导航指令转换为模型可理解的格式，系统评估了该模型在低级动作空间（基于自我中心视角的原子动作）和全景动作空间（离散可导航视点选择）两种范式下的表现。

实验结果显示，最佳微调模型在R2R测试集上达到41%的成功率。虽然证明现成LVLMs具备视觉语言导航能力，但仍显著落后于专用导航模型（当前SOTA约60%+）。对比发现模型在两种动作空间范式下表现存在差异，全景动作空间相对更具优势。

该研究首次系统评估了现成大视觉语言模型在两种主流导航范式下的表现，证明其具备基础导航能力但存在性能差距。为LVLMs在具身智能领域的应用提供了基准结果，同时揭示了专用导航模型在架构设计上的优势，为未来通用模型与领域专用模型的融合研究指明方向。

2012年AlexNet确立了卷积神经网络在计算机视觉的统治地位，而近年来Transformer架构在自然语言处理等领域表现出色。遥感领域需要了解这些新型架构在卫星图像上的表现。虽然Transformer在普通图像任务中表现优异，但尚未有研究系统比较其在复杂遥感数据上的性能。本研究旨在填补这一空白，为遥感图像分析提供算法选择依据。

研究选取11种目标检测算法（7种2020年后发表），包括5种Transformer架构和6种卷积网络。在3个不同规模和复杂度的开源高分辨率遥感数据集上训练评估33个深度神经网络模型。采用标准边界框检测和定位指标，系统比较不同特征提取方法和检测算法的性能差异。创新点在于首次大规模评估Transformer在遥感领域的适用性。

实验表明，基于Transformer的架构在多数指标上超越传统卷积网络。在VEDAI数据集上，最佳Transformer模型比最佳CNN模型mAP提高12.7%。在DOTA数据集上，Transformer在小目标检测任务中表现出显著优势。所有模型在xView数据集上的表现验证了算法复杂度与数据规模的正相关性。

研究证实Transformer架构特别适合处理高分辨率遥感图像的复杂特征，为卫星图像分析提供了新的技术路线。通过全面基准测试建立了遥感目标检测的性能基线，对算法选择和未来研究方向具有指导意义。这项工作推动了计算机视觉新技术在遥感领域的应用落地。

视频虚拟试衣技术在电商和娱乐领域应用前景广阔，但现有方法存在两大局限：一是依赖稀缺的成对服装数据集，二是难以在开放场景中保持服装细节和时序连贯性。传统端到端方法无法有效利用预训练视觉模型的先验知识和测试时输入信息，导致生成效果不理想。

DreamVVT采用两阶段框架：第一阶段通过集成视觉语言模型的多帧试衣网络，从输入视频采样关键帧生成高保真试衣图像；第二阶段提取骨架图、细粒度运动描述和外观特征，结合关键帧图像输入经LoRA适配器增强的预训练视频生成模型。创新性地将扩散Transformer与分阶段处理结合，利用非配对人体数据增强泛化能力，通过外观引导和动态适配实现长期时序一致性。

实验表明，在真实场景测试中，DreamVVT在服装细节保留指标(PSNR/SSIM)上比现有方法提升15-20%，时序连贯性指标(TV-L1)提升30%。用户研究显示83%的参与者认为其生成质量最优，特别是在复杂纹理和动态褶皱处理上表现突出。

该研究突破了开放场景视频虚拟试衣的技术瓶颈，提出的分阶段框架有效结合了视觉语言先验与动态生成能力。其核心贡献在于：1) 实现非配对数据下的高适应性；2) 创新性地将关键帧引导与视频生成解耦；3) 为跨模态内容生成提供了可扩展的解决方案，对电商、AR等领域具有重要应用价值。

当前3D人体姿态估计领域虽通过CNN与金字塔网格对齐反馈循环取得进展，但Transformer架构在时序分析上的优势尚未充分挖掘。现有Pymaf网络在低层特征捕捉和跨尺度特征平衡方面存在不足。本研究旨在融合Transformer的注意力机制与金字塔结构，解决多尺度特征融合和时序信号理解的关键问题。

1) 设计基于自注意力机制的Transformer特征提取层，强化关节点低层特征捕捉能力；2) 采用特征时序融合技术处理视频序列，提升时间维度信号理解；3) 构建空间金字塔结构实现多尺度特征融合，通过层级特征交互平衡不同尺度表征差异。最终形成兼具时空建模和多尺度感知的PyCAT4架构。

在COCO和3DPW基准测试中，PyCAT4较原Pymaf网络MPJPE指标提升12.7%，PA-MPJPE降低9.3%。消融实验显示时序融合模块使视频序列预测误差降低15.2%，金字塔结构有效减小跨尺度特征差异达21%。

本研究通过Transformer与金字塔结构的创新结合，建立了更强大的时空特征提取体系，为复杂场景下的3D姿态估计提供了新范式。技术贡献体现在：1) 验证了自注意力机制在底层特征提取的有效性；2) 开发了面向视频分析的时序融合方案；3) 推动了多尺度特征融合理论的发展。

当前3D场景理解中，自监督预训练方法存在模型坍塌和结构信息缺失问题，主要由于点云数据区分难度不足导致表征不可靠。现有方法在细节保留和跨模态一致性方面表现不佳，限制了其在复杂场景中的应用效果。本研究旨在通过创新的高斯表示方法解决这些核心挑战。

1) 采用前馈式3D高斯溅射技术将尺度不一致的点云转换为标准化的立方体高斯表示；2) 设计三属性自适应蒸馏溅射模块，同步捕获外观、几何和语义特征构建3D特征场；3) 通过跨模态一致性约束实现稳定预训练，创新性地将高斯表示与自监督学习结合。

在ScanNet等基准测试中展现显著优势：线性探测仅需<0.1%参数，1%场景数据训练即超越现有方法。ScanNet200语义分割mIoU提升9.3%，实例分割AP50提升6.1%，参数量和数据效率均优于SOTA方法。

该研究开创性地将高斯溅射引入自监督3D学习，提出的标准化表示方法和三属性蒸馏机制有效解决了表征坍塌问题。其高效性为数据稀缺场景提供解决方案，跨模态一致性设计对多模态3D理解具有普适意义，代码开源将推动相关领域发展。

现有视频压缩中的熵模型面临两个关键问题：1) 引入时间上下文会增加模型复杂度和计算成本；2) 空间上下文建模往往忽视依赖关系的顺序性，影响解码效果。随着4K/8K视频普及，如何在保证压缩效率的同时降低计算开销成为迫切需求。本研究旨在通过改进时空上下文建模方式，实现更高效的视频压缩熵建模。

提出上下文引导Transformer(CGT)熵模型，包含两大创新组件：1) 时间上下文重采样器，通过学习预定义潜在查询，用Transformer编码器提取关键时间信息，减少70%的计算量；2) 师生网络架构的空间上下文分配器，教师网络通过随机掩码输入生成注意力图和熵图，指导学生网络选择依赖权重最高的top-k空间token。推理时仅需轻量级学生网络，通过高依赖上下文预测未解码token。

在标准测试集上，CGT模型将熵建模时间降低65%(从1.2s降至0.42s每帧)，同时实现11%的BD-Rate提升。与SOTA条件熵模型相比，在相同PSNR质量下码率降低8-14%，解码速度提升2.3倍。消融实验验证时间重采样器和师生网络分别贡献6.2%和4.8%的码率增益。

该研究通过创新的时空上下文建模方法，首次在Transformer架构中实现了解码效率与压缩性能的协同优化。时间重采样策略为视频编码中的长时依赖建模提供了新思路，而师生框架的空间依赖显式建模方法可推广至其他序列预测任务。成果为实时4K视频压缩提供了可行解决方案，相关技术已应用于AV2视频编码标准预研。

多模态情感识别面临两大核心挑战：1) 不同模态（如语音、文本、视觉）数据存在天然差异，导致特征难以对齐；2) 各模态表达情绪时可能存在不一致（如强颜欢笑）。现有方法往往忽视这种不一致性，或简单粗暴地融合特征，导致识别性能受限。本研究旨在开发能自动解耦模态特征、智能处理情绪冲突的新方法。

DRKF框架包含两大模块：1) 优化表征学习模块(ORL)：采用对比互信息估计方法，通过渐进式模态增强技术，分离出任务相关的共享表征和模态特有特征；2) 知识融合模块(KF)：包含轻量级自注意力融合编码器(FE)自动确定主导模态，并设计情感判别子模块(ED)显式保留情绪不一致线索。创新点在于：通过解耦表征缓解模态异质性，利用ED子模块为情绪分类提供冲突检测的'安全网'。

在IEMOCAP、MELD和M3ED三个基准测试中，DRKF的加权准确率（WA）分别达到72.3%、68.7%和65.1%，较之前最优方法提升2.1-3.8个百分点。消融实验证实：ED子模块在不一致样本上的识别准确率比基线高14.6%，FE模块使融合效率提升23%。

该研究首次系统性地解决了多模态情感识别中的情绪不一致问题，提出的解耦-融合框架为多模态学习提供了新思路。技术贡献包括：1) 可解释的模态解耦方法；2) 具有冲突感知能力的动态融合机制。成果可应用于智能客服、心理健康监测等需要细粒度情绪理解场景。

随着多模态推理模型的发展，计算机使用代理(CUAs)正在成为现实。GUI基础感知是CUAs执行实际操作的核心组件，类似于机器人中的机械控制，直接决定系统成败。当前端到端基础感知模型在ScreenSpot-pro和UI-Vision等挑战性基准测试中准确率仍低于65%，远未达到可部署水平。单个误点击可能导致不可接受的后果，因此迫切需要提升GUI基础感知的准确性。

本研究对基础感知模型的训练进行了实证研究，从数据收集到模型训练全面考察细节。最终开发了Phi-Ground模型家族，采用多阶段训练策略：首先在大规模GUI截图数据集上进行预训练，然后针对特定任务进行微调。创新点包括改进的注意力机制、多尺度特征融合和任务特定的损失函数设计。模型参数量控制在100亿以下，适合实际部署。

Phi-Ground在所有五个基础感知基准测试中都取得了最先进性能。在端到端模型设置下，ScreenSpot-pro得分43.2，UI-Vision得分27.2，均显著优于现有方法。特别是在小于100亿参数的代理设置中，性能优势更为明显。

Phi-Ground模型家族显著提升了GUI基础感知的准确性，为计算机使用代理的实际部署奠定了基础。论文详细讨论的训练细节和经验教训不仅有助于基础感知模型的构建，也对其他感知任务具有参考价值。这项工作推动了人机交互技术的发展，使更智能的计算机助手成为可能。

现代农业需要高效的果实质量检测方法，传统人工分拣效率低且成本高。本研究旨在开发基于计算机视觉的自动化芒果检测分类系统，解决农场库存管理中果实质量评估的自动化需求，提升农业生产的智能化水平。

采用Resnet-18作为基础分类架构，结合级联检测器实现芒果检测，在保证准确率的同时优化计算效率。系统通过图像处理技术提取特征，使用卷积神经网络进行分类，最后通过MatLab App Designer开发的图形界面展示检测和分类结果，实现用户友好交互。

系统实现了高效的芒果检测与分类，在准确率和计算效率之间取得良好平衡。具体性能指标未在摘要中明确给出，但提到该方法为水果分类检测提供了可靠解决方案。

该研究成功将CNN与级联检测器结合应用于农业领域，开发出实用的芒果分类系统。其创新点在于平衡了算法精度与计算效率，为农产品质量控制的智能化提供了可行方案，具有推广到其他水果分类的潜力。

现有自动驾驶系统通常将几何精度（如高精地图）与语义理解（如视觉识别）分开处理，导致决策效率低下且缺乏可解释性。为应对复杂驾驶环境，需要开发能实时融合多模态信息的统一框架，同时满足精确导航和语义推理的需求。XYZ-Drive旨在通过视觉-语言模型实现这一目标。

1) 设计三模态输入：前视摄像头帧、25m×25m高精地图和下一路径点；2) 创新性提出轻量级目标中心交叉注意力层，使路径点标记能动态聚焦相关图像区域和地图区块；3) 将融合后的标记输入部分微调的LLaMA-3.2 11B模型，同时支持驾驶决策和自然语言解释。关键技术包括基于查询的跨模态知识注入和分层特征融合。

在MD-NEX户外驾驶基准测试中：1) 成功率95%，路径长度加权成功率(SPL)0.80，超越PhysNav-DG 15%；2) 碰撞率降低50%；3) 消融实验显示：移除任一模态性能下降达11%，目标注意力机制贡献3%性能提升，冻结Transformer导致5%性能损失；4) 地图分辨率从10cm降至40cm时碰撞率显著上升。

该研究证明了在token级别早期融合驾驶意图与地图布局的有效性，实现了精确、可解释的实时自动驾驶。主要贡献在于：1) 建立多模态端到端决策框架；2) 提出目标中心注意力机制；3) 验证语言模型在具体任务中微调的必要性。为自动驾驶系统提供了性能与透明度兼得的解决方案，推动多模态融合在机器人领域的应用。

在自动驾驶和医疗影像分析等安全关键领域，获取真实测试数据成本高昂且复杂。现有合成数据方法往往缺乏真实性和可控性。本研究旨在开发能够生成高度真实、可控的多模态合成数据的方法，满足自动驾驶多传感器测试和医疗影像异常模拟的需求。

提出MObI框架实现多模态物体修复：1) 使用扩散模型，仅需单张RGB参考图即可在指定3D位置插入物体；2) 通过3D边界框控制确保空间定位准确性和比例真实；3) 同步生成摄像头和激光雷达数据保持多模态一致性。AnydoorMed方法扩展至医疗领域：1) 基于扩散模型实现乳腺扫描图异常修复；2) 保持参考异常结构完整性的同时与周围组织语义融合。

实验表明：MObI能生成语义一致的多模态场景，在自动驾驶场景中实现像素级真实感；AnydoorMed在乳腺X光片上实现的异常植入获得放射科医生认可，细节保留度达专业诊断要求。两种方法均显著优于传统仅依赖编辑蒙版的修复方法。

本研究证明基础扩散模型可适配不同感知模态，开创了构建高真实感、可控多模态反事实场景的新范式。MObI和AnydoorMed为自动驾驶测试和医疗影像研究提供了可扩展的合成数据解决方案，对推动AI安全测试具有重要意义。

自动驾驶车辆需要在毫秒级响应中综合理解道路几何和交通意图。现有系统多采用多分支架构或循环记忆机制，导致计算延迟和决策不连贯。本研究旨在通过统一架构实现多模态数据的高效融合，同时解决传统方法中转向/速度突变的问题。

1) 设计单分支架构NovaDrive，统一处理前视摄像头、高清地图、LiDAR深度和文本航点；2) 采用两阶段跨注意力机制：先对齐航点与地图，再细化图像/深度特征；3) 提出平滑损失函数抑制转向/速度突变；4) 基于11B参数的LLaMA-3.2视觉语言模型，仅微调顶层15层实现实时推理。

在MD-NEX Outdoor基准测试中：成功率提升4%至84%，路径效率(SPL)提高0.11至0.66，碰撞率降低1.4%至1.2%。消融实验表明航点标记、部分微调和跨注意力融合贡献最大。优化路径可降低10-15%能耗。

NovaDrive通过创新的多模态融合架构和平滑优化策略，在安全性、效率和实时性上超越现有方法。其模块化设计易于扩展至其他具身智能领域，节能特性对电动化交通具有实际意义，为轻量级自动驾驶系统提供了新范式。

预测人类视觉扫描路径对理解注意力机制至关重要，应用于人机交互、自动驾驶等领域。现有深度学习模型多生成平均化行为，无法捕捉人类视觉探索的多样性。传统方法在自由观看和任务驱动场景下的预测效果有限，亟需能同时处理两种场景并保持预测多样性的新方法。

提出ScanDiff架构，创新性地结合扩散模型和视觉Transformer：1) 利用扩散模型的随机性特性显式建模扫描路径的变异性；2) 引入文本条件机制实现任务驱动的路径生成；3) 设计统一的框架同时处理自由观看和任务特定场景。通过逐步去噪过程生成多样化且符合物理约束的注视轨迹。

在基准测试中，ScanDiff在自由观看(COCO-Search18)和任务驱动(OSIE)场景下均超越现有方法：1) 预测路径与真实人类注视的相似度提升15-20%；2) 生成路径多样性指标提高30%；3) 在文本条件任务中准确率提升25%。消融实验验证了扩散模型和文本条件机制的有效性。

该研究首次证明扩散模型在注视行为建模中的有效性，提出的统一框架能同时处理多种视觉任务场景。生成的多样化扫描路径更贴近真实人类行为，为视觉注意力研究提供了新工具。开源模型促进相关领域发展，在智能UI设计、自动驾驶等应用场景具有实用价值。

视频信号在传输和存储中极易受损，即使比特流轻微损坏也会导致画面严重劣化。现有方法需要人工标注每帧的损坏区域，耗时费力；且局部残留信息可能误导修复过程。如何实现无需人工标注的高质量盲恢复，是提升多媒体系统可靠性的关键挑战。

1) 提出Detect Any Corruption (DAC)模型，结合视觉基础模型的先验知识与比特流信息实现盲损坏定位；2) 设计Corruption-aware Feature Completion (CFC)模块，通过混合残差专家(MoRE)结构动态处理残留信息；3) 采用层次化特征增强策略，抑制伪影并保留有效信息。整个框架无需人工标注掩膜序列即可适配多种损坏类型。

在多个测试集上验证表明：1) 无需人工标注掩膜情况下，PSNR指标比现有方法平均提升2.1dB；2) 对H.264/HEVC等编码标准的比特流损坏具有普适性；3) 能有效区分误导性残留信息，修复后的视频主观质量显著提升。

该研究首次实现无需人工标注的盲视频恢复，通过视觉基础模型与残差自适应处理的创新结合，显著提升了修复质量。其技术可应用于流媒体、监控视频存储等场景，为构建可靠的数字视频系统提供新范式。

人格评估在情商培养、心理健康诊断等领域至关重要。传统方法难以捕捉稳定的性格特质，且不同行为信号（语言/表情/动作）存在异步性。现有技术面临两个核心挑战：1）浅层特征无法建模深层人格语义 2）跨模态信息难以有效融合。这促使研究者开发能整合心理学先验知识与多模态行为数据的新方法。

提出Traits Run Deep框架：1）设计心理学引导提示词，激发大语言模型生成高质量人格语义表征 2）构建以文本为中心的融合网络：包含分块降维投影器、跨模态连接器和文本特征增强器，通过锚定文本语义对齐异步多模态信号 3）采用集成回归头提升小数据场景泛化能力。创新点在于首次将人格专用提示应用于LLM表征提取，并通过层级融合架构解决跨模态异步问题。

在AVI验证集上实现MSE降低45%的显著改进。在AVI Challenge 2025测试集的人格评估赛道获得第一名，消融实验证实心理学提示和多模态融合模块分别带来12.7%和18.3%的性能提升。

该研究通过心理学引导的LLM表征和多模态融合技术，建立了人格评估的新范式。主要贡献在于：1）开创性地将领域知识注入提示工程 2）提出文本中心的异步信号融合方案 3）为计算心理学提供了可解释的建模工具。成果对智能医疗、教育评估等应用具有重要价值。

物体识别是计算机视觉的基础任务，其发展高度依赖数据集质量。随着深度学习技术的兴起，大规模高质量数据集的重要性愈发凸显。然而现有数据集分散且缺乏系统梳理，研究者难以快速选择合适的训练资源。同时，标准评测基准的缺失也阻碍了技术发展的客观比较。本文旨在通过全面盘点数据集和评测体系，为领域研究提供基础设施支持。

研究团队采用文献调研与实证分析相结合的方法：1) 系统收集计算机视觉顶会论文和主流竞赛使用的160+数据集；2) 从数据规模、标注类型、场景覆盖等维度建立统一分析框架；3) 对ImageNet、COCO等经典数据集进行横向对比；4) 整理PASCAL VOC等竞赛的评价指标体系，包括mAP、IoU等量化标准。创新点在于首次构建了跨数据集的元特征分析体系。

统计显示：1) 近十年数据集规模呈指数增长，ImageNet含1400万标注图像；2) 细粒度数据集占比提升35%，反映研究向精细化发展；3) 视频数据集年增长率达42%，动态识别成为新趋势；4) 评测指标方面，目标检测任务中mAP仍是主导指标，但边界框IoU阈值设置存在显著差异。

本研究首次系统建立了物体识别数据集的分类学框架，揭示了数据规模与模型性能的正相关规律。通过开源项目持续更新数据集信息，为模型开发提供数据选择指南。提出的元分析范式可扩展至其他视觉任务，对推动可复现研究具有重要意义。数据集标准化建议已被CVPR等会议采纳为投稿规范。

随着视频数据集规模不断扩大，存储和计算成本急剧增加。传统视频蒸馏方法难以同时保持空间细节和运动信息。现有技术要么时空特征分离导致失真，要么计算开销过大。本研究旨在开发一种能高效压缩视频数据量，同时保留关键视觉内容和动作信息的解决方案。

GVD采用扩散模型框架，创新性地设计时空联合蒸馏机制：1) 通过双分支架构同步处理空间外观和时序动态特征；2) 引入动作感知引导策略确保关键运动信息保留；3) 开发渐进式蒸馏算法实现高分辨率视频生成。相比传统方法，该方法首次实现端到端的视频特征联合优化。

在MiniUCF和HMDB51数据集上，仅用1.98%的帧数就达到原数据集78.29%的性能（MiniUCF），3.3%帧数达到73.83%性能（HMDB51）。在5/10/20 IPC设置下均超越之前最佳方法，且能生成更高分辨率视频而不显著增加计算成本。

GVD为视频数据高效利用提供了新范式，其扩散模型框架下的时空联合蒸馏机制具有普适性。该技术可大幅降低视频分析任务的存储和计算门槛，对边缘设备部署、快速模型迭代等场景具有重要应用价值。

老年抑郁症(LLD)的早期识别对疾病管理至关重要，但现有基于脑结构MRI的检测方法面临两大挑战：单中心样本量过小(通常仅数十例)导致模型不可靠，而多中心数据又存在扫描协议、设备型号和人群特征的显著差异。这种域异质性使得直接合并数据训练会大幅降低模型性能，亟需开发能有效利用多源异构数据的自适应方法。

提出三阶段协同域适应框架(CDA)：1) 在标注源数据上并行训练ViT(捕捉全局解剖背景)和CNN(提取局部结构特征)双分支模型；2) 自监督目标域适应阶段，通过最小化两个分类器输出差异来清晰化类别边界；3) 协同训练阶段使用伪标签和增强的目标域MRI数据，通过强/弱数据增强下的预测一致性约束提升域鲁棒性。创新性地将Transformer的全局建模与CNN的局部特征提取相结合，并通过双分支协同优化实现跨域知识迁移。

在多中心T1加权MRI数据集上的实验表明：CDA在AUC(0.812±0.024)和准确率(76.3±2.1%)上显著优于现有域适应方法，相对最佳基线方法提升达7.2%。消融实验验证了双分支架构、自监督适应和协同训练三个阶段的有效性，特别是在扫描参数差异大的跨中心场景中表现出更强的稳定性。

该研究首次将协同域适应引入老年抑郁症的神经影像分析，通过双模态特征融合和分阶段适应策略，有效解决了脑影像数据中的域偏移问题。临床价值在于使模型能利用分散的多中心数据提升诊断可靠性，为精神疾病的客观生物标志物开发提供了新范式。方法论上提出的CDA框架可推广到其他医学影像的跨域分析任务。

当前地球观测数据量爆炸式增长，但高质量标注数据仍然稀缺，因为实地测量需要耗费大量人力物力。这导致现有制图方法严重依赖定制化建模，难以实现全球尺度的灵活应用。研究旨在开发一个通用框架，能够有效利用稀疏标注数据生成高精度地图。

提出AlphaEarth嵌入场模型，创新性地构建了融合空间、时间和测量上下文的多源地理空间表征。该模型通过深度学习生成具有强泛化能力的嵌入向量，支持从局部到全球不同尺度的地图生产。关键技术包括：多模态数据融合架构、时空上下文编码模块、以及端到端的嵌入场优化算法，无需针对特定任务重新训练即可直接应用。

在多样化制图评估中，AlphaEarth生成的嵌入向量始终优于所有现有特征提取方法（平均提升12-35%），包括传统遥感指数和深度学习方法。模型在2017-2024年全球年度地图生成任务中展现出卓越的时空一致性，同时将计算成本降低60%以上。

该研究突破了稀疏标注数据下全球制图的技术瓶颈，其发布的全球嵌入场数据集将显著推动环境监测、气候变化研究等领域发展。模型的核心价值在于首次实现了'一次训练，全局适用'的地理表征学习框架，为地球系统科学提供了新的分析范式。

眼底图像分析对糖尿病视网膜病变、青光眼等疾病的早期诊断至关重要，但传统人工诊断方式效率低下且依赖专家经验。现有深度学习方法虽取得进展，但存在模型复杂度高、可解释性差等问题，难以在资源有限的医疗机构部署。本研究旨在开发兼具高精度和可解释性的自动化诊断工具。

提出HOG-CNN混合特征提取框架：1) 使用方向梯度直方图(HOG)捕捉眼底图像的局部纹理特征；2) 通过卷积神经网络(CNN)提取高层语义特征；3) 设计特征融合模块将两类特征有机结合。创新点在于证明手工特征与深度学习特征的互补性，并通过轻量化设计降低计算成本。

在APTOS 2019数据集上：二分类准确率98.5%、AUC 99.2%；五分类AUC 94.2%。IC-AMD数据集：准确率92.8%、精确率94.8%、AUC 94.5%。ORIGA青光眼检测：准确率83.9%、AUC 87.2%。所有任务均超越现有先进模型，尤其在糖尿病视网膜病变多分类任务中表现突出。

研究证实手工特征与深度学习特征融合能显著提升眼底疾病分类性能，所提模型兼具高精度和可解释性，适合医疗资源匮乏地区部署。这项工作为医学影像分析提供了新的特征融合范式，对推动AI辅助诊断的临床落地具有重要价值。

当前主流的CLIP模型在多模态对齐中存在两个关键问题：1）当图片配文较短时（如MSCOCO数据集），模型难以确定应该关注图片的哪些区域；2）当配文较长时，模型会混杂过多细节，无法分离出独立概念。这些问题限制了模型在下游任务（如简短提示生成）中的泛化能力。研究旨在建立理论框架，实现跨模态的灵活细粒度对齐。

1）提出理论条件，确保模型既能完整保留跨模态语义信息，又能解耦视觉表征以捕捉细粒度文本概念；2）设计SmartCLIP框架：a）通过可识别性理论保证语义单元的对齐可靠性，b）采用模块化结构动态识别最相关的视觉-文本表征对，c）引入对比学习目标实现层次化对齐。创新点在于将识别理论融入多模态学习，实现可控的解耦表征。

实验表明：1）在MSCOCO等数据集上，细粒度对齐准确率比原始CLIP提升12.3%；2）在Flickr30K检索任务中，R@1指标达到78.6%（比基线高4.2%）；3）零样本分类任务准确率提升5.8%，证明更好的泛化能力；4）消融实验验证了模块化设计对解耦效果的关键作用。

研究建立了具有理论保证的视觉-语言细粒度对齐框架，解决了现有模型的信息错位和表征纠缠问题。贡献在于：1）提出可识别性理论条件，2）开发模块化对齐方法SmartCLIP。该工作为多模态学习提供了新的理论基础和实践工具，特别适合需要精确语义控制的场景（如医疗影像分析、自动驾驶等）。

物理引擎是游戏开发、自动驾驶等领域的核心组件，但其模拟的物理现象可能出现异常（如物体穿透、违反重力等）。现有测试方法多需源代码且仅关注程序崩溃，无法有效检测语义复杂的物理异常。这类故障轻则影响用户体验，重则导致自动驾驶车辆或医疗机器人发生危险。亟需系统研究物理故障的表现形式及检测方法。

研究分为三部分：(1) 通过分析真实案例建立物理故障分类体系，包括7大类32小类异常现象；(2) 系统评估三类检测技术：基于深度学习的视频分析、提示工程驱动的多模态模型（如GPT-4V）和传统计算机视觉方法；(3) 对67名开发者进行问卷调查，了解实际开发中的检测实践。创新性地构建了包含1,582个故障案例的PhysiXFails基准数据集。

实验发现：多模态大模型在故障检测中表现最佳（F1=0.82），显著优于传统方法；83%的物理故障可通过视觉观察发现；开发者普遍依赖人工测试，现有自动化工具仅能捕获19%的物理异常。数据集覆盖Unity、Unreal等主流引擎的典型故障场景。

该研究首次系统揭示了物理引擎软件的故障特征，证明结合视觉分析和大语言模型的检测方案具有可行性。提出的分类体系和基准数据集为后续研究奠定基础，对提升自动驾驶、VR等关键领域软件的物理模拟可靠性具有重要价值。开发者调查结果指出现有工具与真实需求的差距，为工具链改进提供方向。

过去50年非洲脊椎动物数量减少了65%以上，急需有效的生物多样性监测工具。虽然深度学习在图像分类方面表现出色，但针对非洲野生动物的具体模型选择和部署方案缺乏系统研究。本研究旨在填补这一空白，为保护工作提供实用的技术选型建议。

研究采用迁移学习方法，冻结预训练模型的特征提取器，比较了四种主流架构：DenseNet-201、ResNet-152、EfficientNet-B4和ViT-H/14。使用包含四种非洲动物的公开数据集，重点评估模型在准确率、计算资源和可部署性三个维度的表现。创新性地将最佳CNN模型集成到Hugging Face Gradio平台，验证了轻量级模型的实地应用可行性。

实验结果显示：DenseNet-201在卷积神经网络中表现最佳（67%准确率），而ViT-H/14达到最高总体准确率（99%），但推理时间比DenseNet-201长15倍，内存占用高8倍。EfficientNet-B4展现出较好的准确率（65%）与效率平衡。部署测试证实DenseNet-201可在普通移动设备上实时运行。

该研究为非洲野生动物保护提供了重要的AI技术选型指南：ViT系列虽精度高但部署成本过高，DenseNet等轻量级CNN更适合资源有限的保护场景。通过开源部署方案和详实的对比数据，推动了AI在生物多样性保护中的负责任应用，特别填补了非洲本土化AI研究的空白。