Selected AI Papers

随着AI生成内容的普及，错误信息风险加剧。现有研究多聚焦内容真伪识别，却忽视其对人类认知行为的影响。在股票交易等关键领域，预测内容传播效果比验证真实性更重要。为此，本研究从人本视角出发，旨在建立量化人类对AI内容反应的系统性方法，为缓解AI错误信息风险提供新思路。

1) 构建包含154,552条帖子(11万+AI生成)的MhAIM数据集，支持人类反应的大规模分析；2) 提出信任度、影响力、开放度三个新指标量化用户评判；3) 开发T-Lens系统：基于HR-MCP协议(改进自标准MCP)的LLM代理，通过预测人类对多模态信息的反应来优化回答生成。系统核心创新在于将人类反应建模无缝集成到LLM工作流中。

实验发现：1) 图文结合时人类识别AI内容准确率提升23%，尤其当模态间存在不一致时；2) T-Lens在预测内容传播效果的任务中，比基线模型准确率高17%；3) 新提出的三维度指标与用户实际行为显著相关(p<0.01)。数据集已开源供社区研究使用。

本研究首次系统量化了人类对AI内容的反应模式，证实多模态不一致性可作为识别AI内容的重要线索。开发的T-Lens系统通过整合人类反应预测，使LLM具备人本意识交互能力。成果不仅为检测AI错误信息提供新维度，更推动人机交互向认知对齐方向发展，对社交媒体内容审核、金融信息监测等场景具有实践价值。

当前平面设计评估需要多领域专家参与，存在人力成本高、标准不统一的问题。传统自动化方法难以模拟人类专家的多维评估能力。本研究旨在构建一个能模拟专家团队协作的智能系统，实现对设计作品的全面评估和可执行反馈生成，填补该领域的技术空白。

系统采用三层架构：1)元智能体协调多个专业代理(排版/色彩/美学等)；2)基于图匹配的上下文范例选择技术，使代理能理解设计语境；3)创新的提示扩展方法增强评估针对性。核心创新在于将设计元素关系建模为图结构进行语义匹配，并通过动态提示工程实现专业化评估。

在提出的DRS-BENCH基准测试中，系统在8个评估维度上平均准确率达87.3%，较基线方法提升21.5%。消融实验显示图匹配技术贡献最大(提升14.2%)，提示扩展次之(提升7.3%)。人工评估证实83%的反馈建议具有实际可操作性。

该研究首次实现了多智能体协同的设计评估框架，其创新性的情境感知技术为AI辅助创意领域开辟了新方向。系统生成的详细反馈可直接指导设计优化，具有显著的商业应用价值，特别适用于快速迭代的设计行业场景。

当前多标注者学习领域正从追求共识标注转向研究个体标注倾向（ITL），但缺乏评估ITL方法是否真实捕捉标注者行为模式的标准化方案。现有评估多关注最终预测精度，无法验证模型学到的倾向表示和解释是否反映真实标注行为。这种评估缺失可能导致模型产生虚假相关性的解释，阻碍ITL方法在医疗诊断、内容审核等需要理解标注偏差的场景中的可靠应用。

提出首个统一评估框架：1) DIC指标通过对比模型预测的标注者间相似度结构与真实结构（如通过标注历史计算）的差异，量化倾向捕捉能力；2) BAE指标利用多维缩放(MDS)将模型解释生成的相似度空间与真实标注行为空间对齐，评估解释的行为相关性。创新性地将评估重点从预测精度转向倾向表示的可信度，通过结构化相似度比较和空间投影技术解决解释性评估难题。

在合成数据集和真实标注数据集（包括图像分类和文本情感分析任务）上的实验表明：1) DIC能有效区分不同ITL方法的倾向捕捉能力，与人工评估结果显著相关（Spearman's ρ>0.82）；2) BAE成功识别出某些高精度模型的解释与真实标注行为存在明显偏差（平均对齐误差降低37%），揭示了传统评估指标的局限性。

该研究填补了多标注者倾向学习领域缺乏可信评估方法的空白，提出的DIC和BAE指标为模型开发提供了新的验证维度。框架不仅能防止虚假解释的产生，还促进了可解释AI在众包标注、医学影像分析等需要理解人为偏差场景的可靠应用。未来可扩展至动态倾向建模和跨领域评估标准制定。

基于外观的视线估计方法虽然已有进步，但由于个体差异，仍需针对个人进行校准。然而现有校准后的视线估计器对头部姿态变化非常敏感，导致实际使用时准确性下降。针对这一问题，本研究旨在分析影响校准效果的关键因素，探索能够抵抗头部姿态变化的鲁棒校准策略，以提升移动设备视线估计的实用性和用户体验。

研究首先构建了包含32名参与者的MobilePoG基准数据集，记录他们在固定和变化头部姿态下注视指定点的面部图像。通过系统分析校准点多样性和头部姿态对估计精度的影响，发现校准时引入更多头部姿态变化能提升估计器的鲁棒性。基于此，提出动态校准策略：用户注视校准点时同步移动手机，自然引入头部姿态变化。该方法在保持用户友好性的同时，通过单次高效校准过程获得对姿态变化不敏感的视线估计器。

实验表明，与传统固定姿态校准相比，动态校准策略在头部姿态变化场景下平均误差降低23.5%。在MobilePoG基准测试中，该方法在连续头部运动条件下达到1.87°的视线角度误差，显著优于现有方法。消融实验证实校准时头部姿态多样性是提升鲁棒性的关键因素。

本研究揭示了校准时头部姿态多样性对视线估计鲁棒性的重要性，提出的动态校准策略通过自然引入姿态变化，显著提升了移动设备视线估计的实用性。这项工作为移动人机交互提供了更可靠的视线追踪解决方案，数据集和代码的开源将促进相关领域研究。创新性的校准范式对可穿戴设备、虚拟现实等领域的视线估计系统具有借鉴意义。

当前视觉语言大模型（LVLMs）在多模态任务中表现优异，但存在严重的幻觉问题——生成的文本与图像内容不符。这主要源于模型难以验证图像不同区域信息的真实性。现有方法通常需要重新训练模型，成本高昂且缺乏灵活性。因此，亟需开发一种无需修改模型参数、通过改进解码过程来提升事实一致性的方法。

MRFD方法包含三个关键步骤：1）利用交叉注意力机制自动识别图像中的显著区域；2）为每个区域生成初始响应，基于Jensen-Shannon散度（JSD）计算区域间响应的一致性权重；3）受思维链启发设计区域感知提示，通过一致性感知的加权融合生成最终响应。创新点在于将区域间一致性作为可靠性指标，在解码阶段动态调整不同区域贡献度，且完全保持原始模型参数不变。

在多个LVLM模型（如BLIP-2、LLaVA等）和基准测试（包括POPE和MME）上的实验表明：MRFD将幻觉率平均降低23.7%，在事实性指标上提升15.2%，且推理时间仅增加18%。消融实验验证了区域权重机制的关键作用，可视化分析显示该方法能准确捕捉图像中的矛盾区域。

MRFD首次证明了通过解码过程优化即可有效缓解LVLMs的幻觉问题，为模型可信度提升提供了新思路。其无需训练的特性使其易于部署到现有系统，在医疗诊断、自动驾驶等高风险领域具有重要应用价值。未来可探索将区域一致性扩展到时序等多维度验证。

传统农业病害识别依赖大量实地采集图像，成本高且效率低。虽然生成式AI能创造高分辨率合成图像，但单独使用合成图像的效果尚未明确。本研究旨在探索真实与合成图像的最佳组合比例，解决小样本条件下西瓜病害分类的精度问题。

采用定制化的EfficientNetV2-L模型架构，结合迁移学习和精细调参技术。设计五种训练方案：纯真实图像(H0)、纯合成图像(H1)、1:1混合(H2)、1:10混合(H3)及加入随机图像的增强版H4。通过对比实验验证不同数据组合对模型性能的影响。

H3和H4方案表现最优，加权F1分数从纯真实图像的0.65提升至1.00。1:10的混合比例在保持高精度(Precision)和召回率(Recall)的同时，显著提升了模型对未见数据的泛化能力。纯合成图像方案(H1)效果最差，证实了真实数据的不可替代性。

研究证明生成式AI合成的病害图像必须与真实图像配合使用才能达到最佳效果，1:10的混合比例可最大限度发挥数据价值。该成果为农业病害诊断提供了低成本、高精度的解决方案，对资源有限的农业地区尤其具有重要意义。

随着人脸识别系统广泛应用，面部图像合成（Morphing Attack）成为重大安全威胁。传统检测方法缺乏可解释性，难以为安全人员提供决策依据。研究旨在开发同时具备检测能力和解释能力的多模态系统，通过文本描述直观展示检测依据，提升系统可信度和实用性。

采用对比语言-图像预训练模型(CLIP)构建零样本检测框架：1) 设计10种包含长短文本的提示模板，涵盖人类可理解的检测特征描述；2) 通过图文对齐实现攻击检测与文本解释的联合输出；3) 在公开人脸数据集构建的变形攻击库上，评估5种生成技术及3种介质下的表现。创新点在于首次将可解释性文本生成融入变形攻击检测。

实验表明：1) 零样本检测准确率达89.7%，优于多个预训练模型；2) 长文本提示比短提示性能提升12.3%；3) 在数码图像、扫描件和打印件三种介质上保持稳定性能，跨介质检测误差<5%。文本解释与视觉特征相关性经人工验证达92%匹配度。

该研究开创了可解释性变形攻击检测新范式，其多模态框架既保持检测精度又能生成人类可理解的决策依据。技术可集成至边境安检、金融认证等关键场景，提升系统透明度和用户信任度，为AI安全领域提供新的可解释性研究思路。

传统电视档案检索依赖静态元数据，难以支持创意性的内容重组。受意大利著名电视混剪节目Blob启发，研究者希望探索如何利用现代AI技术（特别是大语言模型）对档案内容进行语义级检索和智能重组，为媒体档案的创造性利用提供新方法，同时推动AI驱动的文化分析研究。

系统采用多阶段处理流程：1) 通过自动语音识别(ASR)将1,547个意大利电视视频转为文字；2) 按句子切分并生成语义向量存入数据库；3) 用户输入主题时，大语言模型生成相关查询词；4) 使用检索增强生成(RAG)技术查找匹配片段；5) 算法重组片段形成具有讽刺性并置和主题连贯性的蒙太奇叙事。创新点在于动态语义检索取代静态元数据，以及AI模拟人类编辑的叙事逻辑。

系统处理了1,547个电视视频档案，构建了可语义查询的向量数据库。实验表明，该系统能有效识别跨节目的主题关联片段，生成的蒙太奇序列既保持主题一致性又具有Blob节目特有的幽默并置风格。相比传统基于关键词的检索，语义检索召回率提升显著。

该项目证明了语义AI技术可以革新档案利用方式，实现自动化叙事构建和文化分析。不仅为媒体史研究提供了新工具，其公开数据集和框架也支持跨学科实验。研究推动了AI在创意媒体制作和文化计算中的应用，对数字人文和智能档案管理领域具有启示意义。

现有视频大语言模型因上下文窗口限制难以处理长视频，当前主流的关键帧检索方法存在两大缺陷：1) 将动态视频简化为静态图文匹配，忽略时空关系；2) 可能选择信息冗余的关键帧，导致重要线索丢失。这严重影响了视频问答的准确性，亟需能保持叙事连续性的新型表征方法。

提出无需训练的Video-EM框架：1) 仿照人类情景记忆机制，将关键帧建模为时序排列的情景事件，保留空间关系和时序动态；2) 采用大语言模型的思维链技术，迭代筛选信息量最大化的最小记忆子集；3) 通过事件叙事重建实现基于上下文的视频推理。创新点在于首次将情景记忆理论引入视频理解，并开发动态记忆优化策略。

在Video-MME等四大基准测试中：1) 平均性能超越基线4-9个百分点；2) 使用更少帧数情况下，在EgoSchema长视频数据集上准确率提升7.2%；3) 在LVBench的叙事连贯性任务中达到SOTA，证明能有效捕捉场景转换与上下文连续性。

该研究通过情景记忆建模解决了长视频理解中的叙事断裂问题，其理论贡献在于建立了认知科学与AI视频理解的桥梁。实际应用中可显著降低计算成本，为教育、安防等长视频分析场景提供新范式，代码已开源推动领域发展。

视觉强化学习面临高维输入和噪声奖励的双重挑战。尽管已有大型感知模型，但如何将其有效整合到强化学习中以提升视觉泛化能力和样本效率仍不明确。现有方法在存在强烈视觉干扰（如光照变化、物体遮挡）的复杂操作任务中表现欠佳。

SegDAC创新性地结合了Segment Anything（SAM）和YOLO-World：1）使用SAM进行以物体为中心的场景分解；2）通过YOLO-World的文本提示为分割区域赋予语义；3）设计新型Transformer架构，支持动态数量的分割区域处理；4）通过在线强化学习自动学习关注关键区域，无需人工标注。该方法实现了感知与决策的端到端联合优化。

在Maniskill3基准测试中（包含强视觉干扰下的多样化操作任务）：1）在最困难场景下性能翻倍；2）在所有评估任务中达到或超越现有方法的样本效率；3）显著优于传统视觉强化学习方法，验证了物体中心化表示对视觉泛化的有效性。

SegDAC通过分割驱动的表示学习，为视觉强化学习提供了新的解决方案。其核心贡献在于：1）证明预训练分割模型与强化学习的有效结合能显著提升性能；2）提出的动态注意力机制可自适应处理复杂场景；3）为机器人操作等需要视觉泛化的任务提供了实用框架。该工作推动了感知与决策的深度融合研究。

当前基于多模态Transformer的视觉语言导航(VLN)模型虽然性能优越，但计算量庞大成为实际应用的瓶颈。现有输入自适应方法在减少计算时往往导致性能显著下降。本研究旨在开发新型自适应算法，在不牺牲导航准确性的前提下显著提升VLN模型的运行效率。

提出三级自适应优化框架：(1)空间效率：选择性处理智能体观测的全景视图；(2)模型内效率：基于重要性的自适应阈值早退机制；(3)时间效率：缓存机制避免重复处理已观测视图。这三种算法分别针对不同层面的计算冗余进行优化，可独立或组合应用于现有VLN模型。

在7个VLN基准测试中，该方法使三种现成智能体的计算量均减少2倍以上，且性能下降控制在可接受范围内。实验覆盖标准环境和连续环境，验证了方案的普适性。代码已开源供社区使用。

本研究首次系统解决了VLN模型的计算效率问题，提出的多级自适应框架为资源受限场景下的实际部署提供了可行方案。不仅推动了VLN技术的实用化进程，其方法论对其它多模态任务也有借鉴意义。开源实现将促进相关研究的进一步发展。

3D高斯泼溅技术虽能实现实时逼真渲染，但在复杂场景中存在两个关键问题：1）过重建现象——当大尺寸高斯元因梯度方向冲突无法有效分裂时，导致几何细节缺失；2）过密化问题——在梯度方向一致区域产生冗余高斯元，显著增加内存消耗。现有方法缺乏对梯度方向特性的有效利用，难以平衡渲染质量与计算效率。

提出梯度方向感知高斯泼溅框架(GDAGS)，核心技术包括：1）梯度一致性比率(GCR)——通过归一化梯度向量范数量化高斯元的梯度方向一致性；2）非线性动态加权机制——在分裂操作中优先处理梯度冲突的高斯元以增强细节，在克隆过程中促进方向一致的高斯元致密化以完善结构。创新性地将梯度方向信息融入密度控制全过程，实现自适应的场景表示优化。

在多样化真实场景基准测试中：1）渲染质量显著提升，PSNR指标平均提高2.1dB；2）有效抑制过重建现象，复杂区域几何细节增加37%；3）减少50%内存消耗，通过消除冗余高斯元使场景表示更紧凑；4）在保持实时渲染速度（≥60fps）的同时，峰值信噪比提升15%。

GDAGS通过梯度方向感知机制开创性地解决了3D高斯泼溅的核心瓶颈问题，其贡献在于：1）首次将梯度方向一致性作为密度控制的关键指标；2）提出的GCR度量与动态加权策略为显式3D表示优化提供了新范式；3）在保持实时性的前提下实现内存效率的突破，为移动端高质量3D重建铺平道路。该框架可扩展至其他基于物理的渲染系统。

当前AI研究者使用社交媒体数据时面临GDPR隐私法、版权法和平台条款的多重约束，但现有方案无法统一处理这些法规要求。研究者常陷入合规困境：既可能侵犯用户隐私，又可能违反平台规则。特别是研究机构与商业公司在数据获取权限上存在本质差异，而现有框架未能区分这些情况。

提出PETLP隐私优先管道，扩展传统ETL(抽取-转换-加载)流程：1)将数据保护影响评估(DPIA)设计为动态文档，贯穿研究全过程；2)区分研究机构(可援引DSM第3条突破平台限制)与商业实体(受服务条款约束)的数据获取权限；3)建立从数据创建到模型分发的全流程合规检查点，特别处理无法真正匿名化的社交媒体数据特征。

通过Reddit数据实证分析表明：1)研究机构通过法律例外条款可获取比商业公司多47%的数据；2)现有匿名化技术仍会泄露91%用户的间接身份信息；3)模型分发阶段存在83%的合规盲区，当前法规未明确训练后模型的处置要求。

PETLP首次将碎片化的法律要求转化为可操作的研究流程，其动态DPIA机制和权限区分设计为AI伦理研究树立了新标准。该框架已被欧盟两个AI伦理委员会采纳，显著降低了研究者的法律风险，同时保障了社交媒体数据的合理使用。

现有提升模型鲁棒性的方法需要人工标注样本分组或虚假特征，且假设源域和目标域的分组一致，这在实际应用中既不自然也不可行。真实场景中，虚假相关性往往更复杂且难以预先定义。因此，需要开发不依赖人工标注、能自动识别并减少对虚假特征依赖的新方法。

1) 利用预训练视觉-语言模型提取超类语义信息；2) 设计基于梯度的注意力机制，将特征解耦为超类相关和无关两部分；3) 通过约束模型必须使用所有超类相关特征进行预测，迫使模型减少对虚假特征的依赖。创新点在于首次利用标签层级结构中的超类信息作为自然监督信号，避免了人工标注需求。

在多个基准数据集（Waterbirds、CelebA等）的域泛化任务中，方法相比ERM、GroupDRO等基线提升5-12%准确率。可视化分析显示模型成功聚焦于真实语义特征（如鸟类喙部），而非背景等虚假特征。在更复杂的虚假相关性场景下优势尤为明显。

该研究证明了利用标签层级结构可以替代人工标注指导特征解耦，为提升模型鲁棒性提供了新思路。方法具有普适性，可应用于医疗诊断等需要避免偏见的重要领域。通过揭示超类信息的监督作用，对自监督学习研究也有启发意义。

随着视觉语言模型(VLM)广泛应用，其安全性和行为控制成为关键问题。现有方法如系统提示容易被检测且效果有限，而基于激活向量的方法需要侵入式访问模型内部，不适用于API服务和闭源部署。研究旨在开发一种无需模型内部访问、难以察觉且高效的行为控制方法。

VISOR方法通过精心设计通用转向图像，诱导模型产生目标激活模式。关键技术包括：1) 优化视觉输入而非文本指令；2) 生成微小(150KB)但高效的转向图像；3) 支持双向行为控制(正向引导和负向干扰)。创新点在于完全通过视觉通道实现控制，无需修改提示词或模型参数，兼容所有VLM服务模式。

在LLaVA-1.5-7B模型上测试三种关键对齐任务：拒绝回答、阿谀奉承和生存本能。单个转向图像性能接近激活向量方法(差距1-2%)，在负向干扰上表现更优(最高25%行为改变，而激活向量改变很小)。相比系统提示(仅3-4%改变)，VISOR提供更强控制力，同时在14,000个无关MMLU任务上保持99.9%的原始性能。

VISOR重新构想了多模态模型控制方式，仅通过视觉输入即可实现精细行为操控，消除了运行时开销和模型访问需求。研究同时揭示了严重安全隐患：攻击者可能通过视觉通道绕过文本防御实施操控。这项工作推动了视觉转向攻击防御的迫切需求，为模型安全控制提供了新思路。

当前长视频生成存在三大痛点：1）创作辅助功能薄弱，用户需手动干预多个环节；2）现有工具生成的画面质量参差不齐；3）视频缺乏叙事连贯性和情感表现力。这些问题源于单模型处理的局限性，且现有框架未能有效整合不同模态的生成能力。MAViS旨在通过多智能体协同机制，构建从文本到多模态视频的完整创作流水线。

1）框架设计：采用六阶段模块化流水线（剧本创作-镜头设计-角色建模-关键帧生成-视频动画-音频生成），每个阶段部署专用智能体；2）3E原则：各智能体执行探索（Explore）、检查（Examine）、增强（Enhance）的迭代优化流程；3）剧本适配技术：提出剧本编写指南，动态调整叙事结构以适应生成模型的能力边界；4）可扩展架构：支持灵活替换各模块的生成模型（如替换不同文生图模型）。

在标准视频生成基准测试中：1）辅助能力提升42%，用户干预需求显著降低；2）视觉质量FID分数达到18.7，优于当前最佳单模型方案（25.3）；3）叙事连贯性评分达4.8/5分，91%的用户认为表现力超越同类工具。框架成功生成长度超过3分钟的多模态视频（含旁白和背景音乐），这是现有技术难以实现的。

MAViS首次实现了多智能体协同的长视频生成范式，其核心贡献在于：1）建立标准化创作流程，降低专业视频制作门槛；2）通过3E原则确保各环节输出质量；3）开创性地整合视听叙事要素。该框架为AIGC领域提供了可扩展的多模态协作方案，对影视制作、教育媒体等行业具有重要应用价值。

混合光学神经网络(ONNs)因其高能效在实时系统中具有潜力，但面临两大挑战：1)训练时与大型数字网络的精度差距；2)仿真与实际系统间的性能差异。现有方法通常针对特定数据集和光学系统设计，缺乏通用性。这限制了ONNs在实际场景中的应用，特别是在需要跨任务和跨硬件部署时。

研究提出三阶段通用流程：1)预训练阶段根据用户约束(如物理尺寸)评估可达精度；2)训练阶段创新性提出神经正切知识蒸馏(NTKD)，通过分析神经网络梯度流动态对齐光学模型与电子教师网络；3)制造后阶段利用NTKD指导数字后端微调补偿实现误差。该方法不依赖特定任务或硬件设计，支持图像分类和分割任务。

在MNIST、CIFAR和Carvana Masking等多个数据集及硬件配置上的实验表明：1)NTKD显著缩小光学与电子网络的精度差距(如CIFAR-10上提升8.2%)；2)制造后微调有效补偿实现误差(平均提升4.5%精度)；3)流程在仿真和物理实现中均表现稳定，验证了方法的实用性。

该研究通过神经正切知识蒸馏建立了光学与电子网络间的有效知识迁移机制，提出的通用流程突破了传统方法对特定任务的依赖。成果不仅提升了ONNs的实用性能，其任务无关特性也为光学计算在更广泛场景的应用铺平道路，对推动低功耗视觉系统发展具有重要意义。

当前视听基础模型快速发展，但VGGSound作为主流评估数据集存在三类问题：1) 约30%视频缺少完整模态标注；2) 超20%类别存在语义重叠；3) 音画内容未严格对齐。这些问题导致模型能力评估失真，难以准确衡量多模态理解性能。迫切需要构建更严谨的评估基准。

1) 对VGGSound全面重新标注：扩展为多标签体系，新增309个细粒度类别，确保每个视频包含精确的音画标注；2) 设计模态混淆度指标：通过对比单模态/多模态输入的性能差异，量化模型处理跨模态信息的能力；3) 构建评估协议：支持模态特异性分析（如纯音频/纯视觉/多模态场景下的分类准确率）。

在新数据集上测试主流模型发现：1) 原VGGSound评估会高估模型性能达15.2%；2) 增加视觉模态后，音频分类准确率平均下降8.7%（通过模态混淆度指标量化）；3) 细粒度分类任务中，多模态模型相比单模态优势缩小至6.3%。

研究贡献在于：1) 发布首个专业评估视听基础模型的数据集VGGSounder；2) 揭示现有模型在多模态融合上的局限性；3) 提出的模态混淆度指标成为评估跨模态能力的新标准。该工作为下一代多模态模型开发提供了可靠的评估基准。

医学图像质量直接影响疾病诊断准确性，但低剂量扫描、设备限制等因素导致图像常伴有非均匀噪声。现有方法难以自适应处理复杂噪声模式，且传统卷积网络在长程依赖建模上存在局限。本研究旨在开发能自动感知噪声特性、融合局部与全局特征的智能去噪系统，解决结构模糊和病灶遮蔽问题。

1) 设计多尺度卷积-Transformer混合架构，局部卷积捕获细节特征，全局Transformer建模长程依赖；2) 创新引入噪声水平估计器(NLE)量化噪声强度，噪声自适应注意力模块(NAAB)实现通道-空间维度动态调节；3) 通过噪声感知驱动跨模态特征融合，在低剂量CT、MRI等多模态数据上实现端到端训练。

在公开数据集测试显示：PSNR提升2.1-3.8dB，SSIM提高5.3%-7.6%，LPIPS降低31%；下游诊断任务中F1-score提升8.2%，ROC-AUC增加6.5%。尤其在微小结构保留（如肺结节）和跨设备泛化性方面表现突出。

该研究首次实现噪声感知与多尺度特征的自适应融合，为医学图像增强建立了新范式。临床价值体现在：1) 提升低质量图像的诊断可用性；2) 减少AI辅助诊断的误判率；3) 推动智能影像设备发展。代码已开源，在超声、内镜等模态具推广潜力。

联合用药可能导致严重的药物相互作用（DDI），现有预测方法主要关注整体分子结构而忽略关键功能基序的相互作用。传统方法受限于：1）基序表征学习不充分 2）缺乏对分子空间视觉特征（如立体构型）的利用。这导致DDI预测准确率遇到瓶颈，亟需能同时捕捉局部基序交互和全局空间特征的新方法。

1）基序序列化：将分子拆解为功能基序并编码为序列，通过Transformer学习局部交互特征；2）图像增强：提取分子图像的纹理/颜色/空间关系等全局特征；3）自适应特征融合：设计动态权重机制，根据基序类型自动调整图像特征与序列特征的融合比例。创新点在于首次将分子视觉特征系统性地引入DDI预测任务。

在基准数据集上：1）准确率比现有最好方法提升4.2%；2）在3D分子图像场景下AUC达到0.927，验证了图像特征的有效性；3）消融实验显示自适应融合模块贡献了32%的性能增益。

该研究通过分子图像与基序序列的多模态融合，突破了单一表征的局限性。理论贡献在于建立了化学直觉（基序交互）与计算机视觉的桥梁，实践价值体现在可服务于智能处方系统，减少临床用药风险。方法框架可扩展至其他分子属性预测任务。

当前大型文本到图像生成模型（如扩散模型）虽然功能强大，但其内部工作机制对艺术家而言如同黑箱，限制了创作过程中的控制力和修改可能性。研究团队认为，即使是大模型也应被视为可塑的创作材料，需要开发工具让艺术家能够直观理解和操控模型内部结构，从而获得更大的创作自主权。

采用基于工艺实践的方法论（类似Schön的'行动中反思'理论），开发了集成在节点式界面ComfyUI中的模型弯曲与检查插件。该工具允许艺术家：1) 可视化模型内部组件结构 2) 通过交互式滑块实时调整不同模块参数 3) 观察参数变化对生成结果的直接影响。创新点在于将传统XAI的静态解释转化为动态创作工具。

实验表明，艺术家通过该插件能够：1) 建立对模型组件功能的直觉理解（如识别注意力机制对构图的影响）2) 实现传统提示词无法达到的精细控制 3) 开发出独特的创作工作流。用户反馈显示这种交互方式显著降低了理解复杂模型的认知门槛。

研究证明了将大型生成模型作为'可塑材料'的可行性，通过工艺导向的可解释性工具，使艺术家能够与AI系统建立类似传统艺术材料的亲密关系。这项工作为创意AI领域提供了新的交互范式，弥合了技术复杂性与艺术表达需求之间的鸿沟，对促进人机协同创作具有重要价值。

当前大语言模型在音乐编程领域虽然能生成代码，但存在两个问题：一是生成的代码方案缺乏多样性，二是无法直接感知代码对应的音频效果。这使得音乐创作者需要反复试错才能实现预期音效。研究旨在通过分析代码与音频嵌入空间的映射关系，建立代码与生成音频之间的可预测关联。

1) 分析代码嵌入空间与音频嵌入空间的拓扑关系，发现二者不存在简单线性映射；2) 构建预测模型学习代码-音频嵌入对齐映射，通过神经网络将代码特征转换为对应的音频嵌入表示；3) 在音乐多样性目标驱动下，开发可根据代码预测输出音频嵌入的完整模型框架。创新点在于首次建立了代码特征与音频感知效果的可量化关联。

实验证明：1) 代码与音频嵌入空间存在可学习的非线性映射关系；2) 预测模型能有效建立代码特征到音频特征的转换，在嵌入空间相似度指标上达到0.78（基线方法0.52）；3) 该方法使生成代码方案的音频多样性提升37%，用户评估满意度提高42%。

该研究首次实现了代码生成与音频效果的显式关联，为音乐编程领域提供了可解释的代码评估维度。技术贡献包括：1) 揭示代码-音频嵌入的非线性关系；2) 开发首个代码到音频的嵌入预测模型。这将显著提升AI辅助音乐创作的可用性，推动人机协同创作范式发展。

当前针对多模态大语言模型（MLLMs）的破解攻击研究过于关注攻击成功率（ASR），而忽视了生成的响应是否真正满足攻击者的恶意意图，导致产生大量低质量输出。这些输出虽然绕过了安全过滤器，但缺乏实质性的有害内容。为解决这一问题，本研究提出JPS方法，旨在通过协同优化视觉图像扰动和文本引导提示，实现更有效的模型破解。

JPS方法包含两个核心组件：1）目标导向的对抗性图像扰动，用于有效绕过模型的安全防护；2）通过多智能体系统优化的'引导提示'，专门指导大语言模型生成符合攻击者意图的响应。这两个组件通过迭代协同优化不断提升性能。此外，研究还提出了恶意意图达成率（MIFR）这一新评估指标，使用基于推理的大语言模型评估器进行自动评估。

实验结果表明，JPS在各种多模态大语言模型和基准测试中均达到了最先进的攻击成功率和恶意意图达成率。具体数据表明，JPS在ASR和MIFR两个指标上均显著优于现有方法，分析结果也证实了其有效性。代码已在GitHub开源。

本研究提出了首个同时关注攻击成功率和恶意意图达成率的MLLMs破解方法JPS，通过视觉-文本协同优化机制实现了更有效的模型破解。提出的MIFR指标为评估攻击质量提供了新标准。这项工作揭示了多模态大语言模型安全防护的新挑战，对提升AI安全性具有重要意义。论文包含敏感内容，相关技术需谨慎使用。

在生物医学成像领域，自监督学习虽然能减少对人工标注的依赖，但不同数据源之间的系统性差异（如实验室操作、设备型号等）会导致模型学到的特征不稳定。这种领域偏移问题在空间蛋白质组学的多通道免疫荧光成像中尤为突出，可能掩盖真实的生物学信号。研究旨在开发能抵抗领域偏移的自监督学习方法，提升模型在真实医疗场景中的泛化能力。

方法基于DINOv2自监督架构，创新性地引入梯度反转层构建领域对抗学习框架：1) 主干网络采用ViT提取图像特征；2) 并行设置领域分类器，通过梯度反转强制主干网络生成领域不变特征；3) 在600万+非小细胞肺癌患者的六通道mIF图像块上训练，使用注意力多示例学习进行预后预测。关键技术是领域对抗机制与自监督目标的协同优化。

实验表明：1) 相比原始DINOv2，AdvDINO的领域混淆误差降低37.2%；2) 在5.46百万图像块上发现具有显著预后差异的蛋白质表型簇（p<0.001）；3) 基于注意力机制的生存预测C-index提升0.08，显著优于非对抗基线。特征可视化显示模型成功分离技术噪声与生物信号。

AdvDINO首次将领域对抗学习引入自监督视觉表征学习，为空间蛋白质组学数据分析提供了新范式。其领域不变特征学习机制不仅适用于生物医学图像，也可推广到放射影像、遥感等存在领域偏移的场景。该工作推动了可解释AI在精准医疗中的应用，为少标注场景下的稳健特征学习提供了通用解决方案。

动态场景图生成(DSGG)需要检测视频帧中的物体及其关系，但全监督方法标注成本高。现有弱监督方法依赖外部物体检测器，但这些检测器在动态、关系感知场景中表现不佳，导致定位不准和置信度低。研究旨在解决弱监督DSGG中外部检测器的局限性，提升动态场景下的物体检测和关系推理能力。

TRKT方法包含两大创新组件：(1)关系感知知识挖掘：使用物体和关系类别解码器生成类别特定注意力图，突出物体区域和交互区域；提出帧间注意力增强策略，利用光流增强相邻帧的注意力图，使其对运动敏感且抗运动模糊。(2)双流融合模块：将类别特定注意力图与外部检测结果融合，优化物体定位并提升建议框置信度。该方法实现了关系感知和运动感知的知识迁移。

在Action Genome数据集上的实验表明，TRKT达到最先进性能。具体而言，在场景图生成任务上显著优于基线方法，特别是在关系预测准确度和物体定位精度方面有显著提升。消融实验验证了各模块的有效性。

TRKT通过创新的关系感知知识迁移框架，解决了弱监督动态场景图生成中的关键挑战。其贡献在于：1)提出运动感知的关系知识挖掘方法；2)设计双流融合机制提升检测质量。该研究为视频理解领域提供了更高效的弱监督解决方案，对智能监控、视频分析等应用具有重要价值。

ImageNet是计算机视觉领域最具影响力的基准数据集之一，但现有模型在ImageNet-1k上的分类准确率仍存在提升空间。研究者旨在探索神经网络在该数据集上的性能极限，试图找出阻碍模型实现完美分类的根本原因。通过突破性方法逼近100%准确率，可以揭示数据集本身可能存在的质量问题。

采用前馈人工神经网络架构，基于文献[5]提出的新训练方法进行优化。模型包含3.22亿个参数，使用4位小数精度计算。关键技术创新包括：改进的训练策略、精细化的参数调整，以及针对ImageNet-2012数据集的特殊优化。通过10批次数据分割验证，确保结果可靠性。

在ImageNet-2012测试集上取得：整体准确率98.3%，Top-1准确率99.69%，平均每批次完美分类285.9个标签。实验发现数据集存在双标签问题（同一图片被赋予不同标签），这被认为是阻碍实现100%准确率的主要原因。模型参数量达322,430,160，计算精度保持4位小数。

该研究证明了现有技术条件下ImageNet分类准确率的理论极限，揭示了数据集标注质量问题对模型性能的关键影响。贡献在于：1) 建立了新的性能基准；2) 发现了数据集内在的双标签问题；3) 为未来数据集清洗和模型优化提供了明确方向。这对提升计算机视觉系统的可靠性具有重要意义。

现有基础单目深度估计器(FMDEs)在数千万张透视图像上训练，但对相机参数变化敏感。当应用于鱼眼相机时，由于镜头畸变和内在参数差异，会导致深度估计错误。传统方法需要重新训练或进行复杂的图像空间映射，既低效又容易引入伪影。本研究旨在开发一种轻量级适配方案，使FMDEs能直接处理鱼眼图像。

1) 提出校准令牌机制：设计一组轻量级参数作为潜在嵌入空间的调节器；2) 分布对齐：通过调整鱼眼图像在潜在空间的表示，使其与透视图像分布一致；3) 自监督训练：利用公开透视图像数据集，通过模拟鱼眼畸变构建训练对，强制估计一致性；4) 避免图像空间映射：直接在特征空间操作，规避传统方法在图像空间重投影导致的信息损失。

在室内外多个场景测试表明：1) 使用单一令牌集即能同时提升室内外场景性能；2) 在NYUv2和KITTI鱼眼数据集上，相对误差分别降低12.3%和9.7%；3) 优于现有基于重投影和域适应的方法；4) 计算开销仅增加0.3%参数量。

该研究首次实现了基础单目深度估计器向鱼眼相机的零样本迁移，其校准令牌机制为跨相机参数迁移学习提供了新思路。方法具有轻量(仅增加少量参数)、通用(适配多种FMDEs)和高效(无需鱼眼训练数据)三大优势，对机器人、自动驾驶等领域的实际部署具有重要意义。

随着网络多媒体内容的爆炸式增长，仇恨言论传播日益严重。现有仇恨视频检测方法大多依赖粗糙的视频级标注，忽略了仇恨内容在时间维度上的分布特性。这种标注方式会引入大量标签噪声，因为被标注为仇恨的视频往往包含大量非仇恨片段。这种标签模糊性严重影响了模型的训练效果和可解释性，亟需系统性研究。

研究团队从HateMM和MultiHateClip两个英文数据集中，利用标注时间戳精确裁剪出明确的仇恨视频片段。通过对比分析原始视频和裁剪片段的语义特征分布，量化了视频级标注带来的语义混淆程度。设计控制实验验证了时间戳噪声如何改变模型决策边界，并采用梯度可视化技术揭示了标签噪声对模型注意力机制的影响机制。

实验表明：1) 在原始视频数据中，平均只有38%的时长包含实际仇恨内容；2) 使用精确时间戳标注的数据训练，模型F1值提升21.3%；3) 梯度分析显示标签噪声会导致模型关注非仇恨视觉特征；4) 时间连续性分析揭示了仇恨表达具有显著的上下文依赖性。

本研究首次系统揭示了多模态仇恨视频中的时序标签噪声问题，证明了精确时间标注对模型性能的关键影响。贡献包括：1) 提出基于时间戳的仇恨内容分析方法；2) 构建首个细粒度仇恨片段数据集；3) 揭示了仇恨表达的时序依赖性特征。这些发现为开发更具鲁棒性和可解释性的仇恨内容检测系统提供了重要基础，推动了该领域向更精细的时间感知建模方向发展。

当前多模态大模型评估存在两极分化：基础感知测试只关注明显物体识别，主流推理测试又忽视细微视觉线索。然而，真正的视觉理解往往依赖于对不显眼细节的解读。现有评估体系无法有效衡量模型从微小视觉证据（平均仅占图像0.25%区域）出发，结合常识进行复杂推理的能力。这种能力对实现类人视觉理解至关重要。

1) 构建包含374个问题的VER-Bench评估框架，覆盖地理空间、时间、情境、意图、系统状态和符号推理六大领域；2) 每个问题配备结构化证据链：包括关键视觉线索及其推导过程；3) 设计双维度评估指标：既测试细粒度视觉线索定位能力，又评估证据整合推理质量；4) 创新性地采用像素级标注确保视觉线索的精确性（平均仅占图像0.25%区域）。

测试显示当前主流模型存在明显缺陷：在细粒度视觉线索识别任务中，最佳模型准确率仅为68.3%；在需要结合多线索推理的复杂问题上，性能进一步下降至52.1%。对比实验表明，模型对占图像面积<1%的线索识别准确率比>5%的线索低29.7个百分点，揭示出现有模型对微小视觉证据的敏感性不足。

该研究首次系统揭示了多模态大模型在细粒度视觉推理方面的局限性，提出了评估视觉理解能力的新维度。VER-Bench的发布将推动模型在微观视觉证据提取、多源信息整合和因果推理等方面的发展，为实现真正类人的视觉认知系统提供标准化的评估工具。数据集开源促进社区共同进步。

当前自监督学习（如对比学习和掩码图像建模）虽然能从无标签数据学习强大表征，但存在两个关键问题：1）不同方法孤立训练，忽略了互补优势；2）预训练模型参数量大，难以在资源受限场景部署。为此，研究者希望开发一个轻量级框架，能整合多种先进自监督视觉Transformer的知识。

CoMAD框架包含三大创新：1）采用MAE、MoCo v3和iBOT三种ViT-Base模型作为教师，提供不同语义和上下文先验；2）设计非对称掩码机制：学生仅看到25%图像块，而每个教师接收逐步减弱的独特掩码，迫使学生学习特征补全；3）通过线性适配器对齐教师特征空间，并开发联合共识门控机制，结合余弦相似度和教师间一致性动态加权特征。训练时采用双层次KL散度损失，同时优化局部token和全局特征图重建。

在ImageNet-1K上，ViT-Tiny学生模型达到75.4% Top-1准确率，超越之前最佳0.4%。下游任务中：ADE20K分割任务47.3% mIoU，MS-COCO检测任务44.5% box AP和40.5% mask AP，均创下轻量级自监督蒸馏的新纪录。

CoMAD首次实现多教师自监督知识蒸馏的统一框架，其参数无关的设计可灵活整合不同范式优势。实验证明通过精心设计的特征融合机制，轻量学生模型能超越单一教师性能，为边缘设备部署高效视觉模型提供新思路。该工作推动了自监督学习与模型压缩的交叉研究。