精选AI论文

大视觉语言模型在图文任务中表现优异，但幻觉问题严重影响其可靠性。关系幻觉（如错误描述物体间关系）在三种幻觉类型中占比最高却研究最少。现有方法多关注物体或属性幻觉，缺乏针对关系推理的专门优化。因此，需要开发无需重新训练的高效方法，精准提升模型对视觉关系中主体、客体及关联的推理能力。

ChainMPQ包含三个核心模块：首先从问题中提取主客体关键词并增强对应图像区域；接着构建多视角问题集，分别聚焦关系中的主体、客体及其关联；最后以交错链式顺序将问题输入模型，使前序步骤的图文记忆（如主体定位结果）为后续推理（如关系判断）提供上下文支持，形成渐进式推理链条。该方法无需训练，通过动态积累多模态记忆实现关系推理的自我修正。

在多个大视觉语言模型（如LLaVA、BLIP-2）和基准测试（如MMHal-Bench）上的实验表明，ChainMPQ将关系幻觉率平均降低12.8%，在复杂关系任务中提升尤为显著。消融实验验证了三个模块的协同作用：移除多视角问题会使性能下降9.5%，取消记忆链机制导致错误率上升15.2%。

ChainMPQ通过结构化的问题链和记忆增强机制，为大视觉语言模型的关系幻觉问题提供了可解释的解决方案。其训练无关的特性使其具备广泛适用性，推动了多模态推理从静态识别向动态因果推断的演进，为构建可靠的多模态AI系统提供了新范式。

当前自监督学习方法主要专注于学习物体识别或运动理解中的单一任务表征，缺乏同时兼顾两者的有效方案。虽然潜在动态建模在决策任务中已用于学习观测表征及其时序变换，但尚未应用于视觉感知领域。本研究旨在解决自然视频中多物体场景下，如何统一学习识别与运动表征的核心挑战。

Midway网络引入中途自上而下路径推断视频帧间的运动潜在变量，通过稠密前向预测目标建模复杂动态。采用分层结构处理自然视频中的多物体场景，将潜在动态建模扩展至视觉领域。创新点包括：中途路径设计、稠密预测机制和层次化架构，实现了从原始视频端到端学习联合表征。

在两个大规模自然视频数据集上预训练后，Midway网络在语义分割和光流估计任务上均优于先前自监督方法。通过前向特征扰动的新分析方法，证明其学习到的动态能捕获高层次对应关系，在标准评测指标上达到领先性能。

该研究证明了潜在动态建模可有效统一视觉识别与运动理解任务，为自监督学习提供了新范式。其联合表征学习框架对自动驾驶、机器人感知等领域具有重要应用价值，推动了多模态感知研究的发展。

在中小学数学教育中，学生作业大多为手写形式，通过批改作业能深入了解学生的学习过程，但人工批改耗时费力。随着多模态大语言模型的发展，研究者希望探索其自动批改手写作业的潜力，特别是在需要视觉理解和教学判断的复杂场景中的应用可能性。

研究设计了两组实验：实验A使用加纳中学生288份有明确答案的算术手写作业，直接测试模型识别能力；实验B使用美国小学生150份数学图示作业，这些图示没有标准答案，需要视觉理解和教学判断。为区分模型的视觉能力和教学能力，研究先让模型直接评分，再提供人工描述的图像信息进行对比分析。

在算术题批改中，模型达到95%准确率，与人类评分一致性高达0.90，但会出现人类不会犯的错误。在数学图示评分中，模型与真实评分的一致性仅为0.20，但当提供人工描述后，一致性显著提升至0.47，达到人类间一致性水平。

研究表明多模态大语言模型能较好识别手写算术作业，但在需要复杂视觉理解和教学判断的图示作业上仍有局限。模型当前更擅长处理有明确答案的任务，而对开放式、需要教育专业知识的任务表现不佳。这为教育领域AI应用提供了重要参考，指出了技术改进方向。

现有扩散模型在处理需要额外输入输出通道的任务（如材质估计、图像分解）时，通常需要针对特定应用定制解决方案。这些方法缺乏灵活性，难以适配不同模型或新任务。研究旨在开发统一框架，在不改变预训练模型结构的前提下，实现多通道扩展和跨任务适配。

Teamwork框架通过协调多个基础扩散模型实例（称为队友），采用改进的低秩适配技术（LoRA）同时处理模型间协调与任务适配。关键创新包括：1）保持预训练模型参数冻结，仅训练轻量级适配模块；2）通过低秩矩阵分解实现高效跨模型交互；3）支持队友动态激活/停用机制，实现计算资源按需分配。

在图像修复、材质估计、本征分解等5类任务上的实验表明：1）仅需训练0.3%参数即可达到专用模型性能；2）在SVBRDF估计任务中PSNR指标提升12%；3）支持单模型同时处理生成式与逆向图形任务，显存占用降低40%。

该研究提出了首个统一的多扩散模型协作框架，突破了单模型通道限制，为复杂视觉任务提供了灵活高效的解决方案。其低秩协调机制为多模型协同学习开辟了新方向，对神经渲染、逆图形学等领域具有重要推动意义。