Selected AI Papers

当前文本生成音乐(TTM)领域缺乏标准化的人类偏好评估方法，现有听力研究成本高且协议不统一，导致模型性能难以直接比较。同时，人类偏好数据对改进模型和自动评估指标至关重要，但缺乏开放、可持续更新的数据来源。Music Arena旨在通过构建实时评估平台解决这些问题，推动TTM领域的健康发展。

1) 构建开放式平台，用户可自由输入文本提示词并对比两个TTM系统的输出；2) 设计基于大语言模型的路由系统，处理不同TTM系统的异构类型签名；3) 收集详细偏好数据（包括收听数据和自然语言反馈）；4) 实施滚动数据发布政策，在保证用户隐私前提下提供可再生数据源；5) 建立标准化评估协议和实时排行榜系统。

平台已上线运行(https://music-arena.org)，实现了：1) 标准化的人类偏好收集流程；2) 支持多种TTM系统的异构输出对比；3) 获得包含细粒度反馈的偏好数据集；4) 通过隐私保护机制确保数据可持续更新。相比传统听力研究，显著降低了评估成本并提高了结果可比性。

Music Arena通过创新的实时评估模式解决了TTM领域的核心挑战：1) 建立了首个开放的人类偏好评估标准；2) 展示了如何针对特定AI领域(音乐)特点定制评估系统；3) 提供的可再生数据将促进模型对齐和自动指标改进。该平台不仅推动TTM发展，也为其他AI领域的评估系统设计提供了范本。

低秩自适应(LoRA)及其变体通过最小化可训练参数和重参数化，在参数高效迁移学习(PETL)中表现出色。然而，这些方法的投影矩阵在训练过程中不受限制，导致高表示冗余，降低了特征适应的有效性。现有方法通过手动调整秩或隐式应用通道掩码来缓解这一问题，但缺乏灵活性，在不同数据集和架构上泛化能力差。因此，需要一种能够显式建模并自适应正则化子空间冗余的方法。

作者提出ReSoRA方法，显式建模映射子空间之间的冗余，并自适应地正则化低秩自适应的子空间冗余。具体而言，该方法从理论上将低秩子矩阵分解为多个等价子空间，并系统地应用去冗余约束到不同投影的特征分布上。ReSoRA可以无缝集成到现有方法中，以即插即用的方式作为训练监督，且不增加推理成本。

大量实验验证了ReSoRA在各种骨干网络和数据集上的有效性，包括视觉语言检索和标准视觉分类基准。该方法持续促进了现有最先进的PETL方法的性能，且无需额外推理成本。代码已公开在https://github.com/Lucenova/ReSoRA。

ReSoRA通过显式建模和自适应正则化低秩自适应中的子空间冗余，显著提升了参数高效迁移学习的性能。该方法具有通用性，可无缝集成到现有方法中，且不增加推理成本，为参数高效迁移学习领域提供了新的技术路径。

当前视频配乐生成方法主要依赖视觉特征或简单文本输入，存在两个关键问题：一是生成过程不可控，用户无法干预音乐风格等要素；二是音画同步精度不足。这导致生成的音乐常与用户预期不符，难以满足影视创作等专业场景需求。本研究旨在通过引入多时序控制条件，建立更灵活可控的视频配乐生成系统。

采用两阶段训练框架：第一阶段通过细粒度特征选择模块和渐进式时序对齐注意力机制，实现视频-音乐特征的对齐学习；第二阶段创新性地设计动态条件融合模块和控制引导解码器，支持用户输入的节奏、情绪等多维度时序条件与视频特征的协同融合。关键技术包括：1）可处理不完整视频序列的滑动窗口注意力机制；2）基于门控网络的动态条件权重分配策略；3）控制信号引导的层次化解码结构。

在公开数据集V2M-Bench上的实验表明：1）主观评测中，本方法在音乐质量(提升23.7%)和音画同步度(提升18.2%)上显著优于基线；2）客观指标上，节奏对齐误差降低31.5%，情感一致性提高27.8%；3）消融实验验证各模块贡献，其中动态融合模块对控制精度提升最关键。

本研究首次实现多维度时序条件可控的视频配乐生成，通过创新的两阶段框架和条件融合机制，在保持音乐质量的同时显著提升生成可控性。该技术可应用于影视后期、广告制作等需要精确音乐控制的场景，为AIGC在专业创作领域的应用提供新范式。代码和预训练模型已开源以促进社区发展。

随着大语言模型(LLM)的兴起，游戏交互正从固定指令转向自然对话。但目前LLM对玩家表现和游戏体验的影响研究不足。本研究以《我的世界》为平台，探索LLM作为游戏协作者的角色，旨在评估其对任务完成度、易用性和玩家体验的影响，为AI驱动的多模态游戏环境设计提供依据。

研究设计了一个LLM辅助的对话式游戏界面，允许玩家通过自然语言与游戏交互。采用混合研究方法，招募30名参与者，在简单和复杂两种游戏任务中对比LLM对话界面与传统指令界面的效果。通过定量数据分析（任务完成时间、成功率等）和定性访谈（用户体验反馈）进行综合评估。创新点在于首次系统量化LLM对话交互对游戏体验的多维度影响。

实验数据显示：1) LLM界面使玩家任务完成时间平均缩短23%，复杂任务成功率提升37%；2) 78%的参与者表示更喜欢对话交互方式；3) 任务复杂度对两种界面的表现差异有显著调节作用，复杂任务中LLM优势更突出。质性分析发现对话交互能降低认知负荷，增强创造力和沉浸感。

研究证实LLM辅助的对话界面能有效提升游戏体验，特别是在处理复杂任务时优势显著。贡献在于：1) 首次系统验证LLM对话交互在游戏中的正向影响；2) 提出AI游戏界面设计需平衡直观性与可预测性、透明度及用户控制权。该成果为下一代智能游戏交互设计提供了重要参考，推动了人机交互与游戏研究的交叉发展。

零样本域适应旨在不使用目标域图像数据的情况下使模型适应新领域。现有基于CLIP文本描述的方法存在两个主要问题：难以捕捉复杂的真实世界变化特征，且对齐过程耗时较长。由于图像数据能提供更丰富细致的风格线索，研究者探索利用合成图像替代文本描述来解决这些问题，从而开发更高效、更准确的零样本适应方法。

SIDA方法包含三个关键技术：1) 合成图像生成：先创建细节丰富的源域类图像，再通过图像翻译赋予目标域风格特征；2) 域混合模块：混合多种风格以扩展域内表示空间；3) 块风格迁移模块：为图像不同局部区域分配不同风格。通过将合成图像的风格特征作为目标域代理，这两个模块协同工作实现了对真实世界复杂变化的高效建模。

实验表明，SIDA在多种零样本适应场景下均达到最先进性能，特别是在具有挑战性的领域（如天气变化、艺术风格转换等）表现突出。与文本驱动方法相比，SIDA将整体适应时间缩短了约40%，同时在标准基准测试中平均准确率提升3-5个百分点。

该研究证明了合成图像在零样本域适应中的有效性，提出的域混合和块风格迁移机制创新性地解决了真实场景复杂变化的建模难题。SIDA不仅性能优越，其高效性也为实际应用提供了可能，为计算机视觉领域的域适应研究开辟了新方向。该方法特别适用于难以获取目标域图像但需要快速适应的场景，如自动驾驶、医学影像分析等。

随着图形用户界面从2D向3D空间演进，现有自动生成技术主要针对网页/移动端等2D界面，3D软件生成仍存在两大挑战：一是现有方法将3D环境作为整体生成难以修改细节，二是缺乏处理真实世界中复杂空间约束（如物体相对位置、尺寸关系等）的能力。这限制了3D软件的开发效率和质量。

1) 设计ScenethesisLang领域专用语言，作为连接自然语言需求和可执行3D软件的中间表示，支持细粒度元素修改和复杂空间约束表达；2) 将3D软件合成过程分解为多个阶段，在中间表示层进行独立验证、定向修改和系统化约束满足；3) 构建需求敏感的合成框架Scenethesis，保持用户需求与生成结果的形式化可追溯性。创新点在于约束感知的中间表示设计和分阶段合成机制。

实验表明：1) 准确捕捉82.3%用户需求，满足91.7%硬性约束，同时处理超过100个约束条件；2) 在BLIP-2视觉评估指标上较现有最优方法提升42.8%；3) 支持对生成3D场景中单个元素的精确修改，而传统方法需要整体重新生成。

该研究首次实现了基于形式化中间表示的3D软件可追踪生成，通过约束表达语言和分阶段合成机制，显著提升了3D软件生成的精确性和可控性。成果对VR/AR应用开发、游戏场景构建等需要复杂3D界面设计的领域具有重要实践价值，为软件工程与计算机视觉的交叉研究提供了新范式。

当前高质量的语音驱动面部动画依赖大型预训练语音编码器，导致模型体积庞大(通常数百MB)且需要专用设备离线运行。游戏开发等场景需要能在手机等移动设备实时运行的轻量级模型。但直接训练小模型面临高质量音频-动画配对数据不足的挑战，需要创新方法在有限资源下保持动画质量。

采用混合知识蒸馏框架：1)使用大型教师模型对未标注音频生成伪标签；2)设计极简学生模型架构，仅包含卷积层和全连接层，去除注意力机制等复杂模块；3)通过多阶段蒸馏将教师模型的知识迁移到微型学生模型(最小3.4MB)。创新性地结合伪标签技术和模型压缩，在缺乏标注数据情况下实现模型轻量化。

实验表明：1)模型体积压缩至3.4MB(仅为原模型1/100)；2)所需音频上下文缩短至81毫秒；3)在LipSync3D等基准测试中保持与大型模型相当的动画质量；4)在移动设备实现60FPS实时推理，满足游戏开发需求。

该研究突破了轻量级面部动画模型的质量瓶颈，首次在3MB级别模型上实现专业级动画效果。提出的混合蒸馏方法为移动端数字人应用提供了可行方案，对游戏、AR/VR、实时通讯等领域具有重要实践价值，推动了边缘计算环境下高质量数字内容生成的发展。

当前最先进的多模态模型虽然在图像和文本生成方面表现优异，但其架构复杂度仍落后于当代大语言模型。研究者发现，大语言模型中成功应用的高斯误差门控线性单元、均方根归一化和旋转位置嵌入等技术尚未被引入到CoCa（对比式字幕生成）模型中。这导致多模态模型的性能潜力未被充分挖掘。因此，本研究旨在将这些经过验证的LLM机制整合到多模态架构中，以提升模型性能。

GRR-CoCa对原始CoCa模型进行了三项关键改进：1）在文本解码器和视觉Transformer编码器中引入高斯误差门控线性单元（GeGLU），增强非线性表达能力；2）采用均方根归一化（RMSNorm）替代常规层归一化，提升训练稳定性；3）整合旋转位置嵌入（RoPE）以更好地捕捉序列位置信息。这些改进均源自LLM领域的成功经验，但在多模态模型中首次系统应用。研究采用标准预训练和微调流程，在对比性和生成性任务上评估模型性能。

实验表明，GRR-CoCa在预训练阶段显著优于基线模型：对比损失降低27.25%，困惑度降低3.71%，CoCa损失降低7.15%。在三个不同的微调数据集上，平均对比损失降低13.66%，困惑度降低5.18%，CoCa损失降低5.55%。与仅改进文本解码器的基线模型相比，完整架构改进带来了全面的性能提升。

GRR-CoCa通过系统整合LLM机制，证明了多模态模型架构仍有显著改进空间。该研究不仅实现了当前最先进的性能，更重要的是展示了跨模型架构迁移的成功范式，为未来多模态模型的发展提供了新方向。这些改进具有通用性，可推广到其他视觉-语言任务，推动多模态人工智能向更高效、更通用的方向发展。

随着深度学习在皮肤癌筛查中的应用日益广泛，系统可能存在的偏见问题引发关注。现有公平性评估面临的主要挑战是难以获取足够多样化的真实医疗数据（涵盖不同种族、年龄、性别等）。传统方法依赖有限且可能不平衡的真实数据集，这限制了公平性评估的全面性。本研究旨在探索利用生成式AI创建多样化合成数据的新途径，以更全面评估皮肤病变分类器的公平性。

研究采用最先进的LightningDiT生成模型合成高度逼真的皮肤病变图像。技术路线包括：1) 控制生成图像中包含不同人口统计特征（种族、年龄、性别）；2) 用这些合成图像系统测试公开可用的黑色素瘤分类器；3) 分析分类器在不同人群子集上的性能差异。创新点在于首次将生成式AI应用于医疗影像公平性评估，并提出合成数据与目标模型训练数据一致性的重要性。

实验表明，使用高质量合成数据评估公平性是可行方向。当评估模型与生成模型的训练数据分布一致时，公平性评估结果可靠（不同人群组的分类准确率差异<5%）。但发现当两者数据分布不一致时，评估结果会出现显著偏差（差异达15-20%）。特别在少数族裔群体上，这种数据不匹配导致的评估误差更为明显。

本研究证实生成式AI可为医疗AI公平性评估提供可控、多样化的测试数据，开辟了新研究路径。主要贡献是提出了基于合成数据的公平性评估框架，并揭示了数据分布一致性对评估结果的关键影响。这对开发更公平的医疗AI系统具有重要意义，同时也指出了未来需要解决的数据对齐挑战。研究成果可推广至其他医学影像分析领域。

当前文本生成图像模型在复杂提示词（如包含多个主体及其属性的描述）处理上仍存在明显不足，常出现属性错配或细节缺失。受人类绘画先构图后细化的启发，研究旨在开发无需重新训练的方法，通过分阶段生成策略提升模型对复杂场景的细节表现力。

1. 提出渐进式细节注入(PDI)策略：将复杂提示词分解为简单子提示序列，分阶段引导生成过程；2. 利用自注意力机制控制全局构图，通过交叉注意力实现属性绑定；3. 创新性引入测试时的质心对齐损失函数，减少属性绑定噪声。整个过程无需额外训练，直接增强现有扩散模型。

在T2I-CompBench和新构建的风格组合基准测试中：1. 多物体场景下属性绑定准确率提升32%；2. 复杂风格条件下细节保留度优于现有方法41%；3. 在保持原始生成质量的同时，显著改善构图合理性和细节丰富度。

Detail++首次实现了无需训练的扩散模型细节增强，其分阶段生成思想为复杂文本到图像生成提供了新范式。该方法不仅提升了多主体场景的属性绑定精度，其通用框架设计也为后续研究开辟了新方向，具有直接的工业应用价值。

传统体育视频分析模型存在两大痛点：一是依赖计算密集型服务器部署，难以实现实时设备端处理；二是缺乏对运动力学细节（如准备-执行-收势连续动作）的细粒度理解。现有方法常因忽略秒级内的关键动作过渡阶段，导致分析结果缺乏专业深度，无法满足教练员和运动员的技术分析需求。

模型采用三阶段架构：1) 基于DWT-VGG16-LDA的关键帧提取器，从视频中智能筛选16个最具代表性的画面；2) 通过掩码去噪目标预训练的V-DWT-JEPA2编码器，捕捉时空运动特征；3) 专为体育动作描述微调的大语言模型解码器。创新点包括：时序运动差分采样降低计算量，自监督学习增强细粒度动作理解，以及端到端的轻量化设计（仅3.3B参数）。

在NSVA篮球数据集测试中，SV3.3B在文本生成质量（BLEU-4提升18.7%）和体育专业指标（动作复杂度+29.2%）上全面超越GPT-4o等闭源模型。其生成的技战术描述信息密度提高37%，测量精度误差降低42%，同时推理能耗仅为同类模型的1/8，可在移动设备实现实时处理（24FPS）。

该研究首次实现专业级体育动作分析的设备端部署，其创新的轻量化架构和运动力学感知机制为实时视频理解树立新标准。模型开源于HuggingFace平台，既可作为运动员技术训练辅助工具，也为体育赛事实时解说、智能裁判系统等应用提供核心技术支撑。

当前图像生成领域主要依赖扩散模型或混合架构，存在技术依赖和版权限制。自回归模型虽具有灵活性和组合性优势，但性能长期落后。本研究旨在开发完全从零训练的独立自回归模型，突破现有技术限制，同时保持自回归方法的固有优势，为多模态生成提供统一的基础模型。

采用纯解码器架构设计，完全从零开始训练。创新点包括：1) 统一的分词方案实现多任务处理（生成/编辑/可控合成/密集预测）；2) 推理时缩放技术提升生成质量；3) 推测性雅可比采样加速解码。模型不依赖任何预训练组件，在架构设计和商业授权上具有完全自主权。

在GenEval、DPG等标准文生图基准测试中，生成质量与DALL-E 3、SANA等顶尖扩散模型相当，部分指标更优。Graph200K多任务基准测试显示原生模型表现优异。解码速度通过优化策略显著提升，质量与效率达到更好平衡。

Lumina-mGPT 2.0证明了自回归范式在图像生成领域的持续生命力，其独立训练特性解决了技术依赖问题，统一框架支持多样化应用。该模型为多模态生成提供了灵活高效的基础平台，开源策略将促进相关研究发展。

多模态表示学习旨在整合图像、文本等不同模态数据，但传统方法依赖预设的锚点模态进行两两对比学习，限制了全模态对齐能力。现有方法虽尝试多模态同步对齐，但仍受固定锚点约束和奇异值乘积优化不稳定的困扰。这些限制影响了跨模态理解的鲁棒性和泛化能力，亟需更普适的理论框架。

基于'完全对齐对应秩1Gram矩阵'的理论洞见，提出PMRL框架：1) 将表示矩阵的主奇异值优化作为学习目标，使各模态表征沿共享主导方向对齐；2) 设计基于softmax的损失函数，将奇异值作为logits优先放大主奇异值；3) 对主导特征向量实施实例级对比正则化，既保持实例间区分性又防止表征坍塌。该方法摆脱了锚点依赖，通过矩阵秩控制实现更稳定的优化过程。

在图像-文本检索、视频理解等6个基准任务上验证，PMRL在Recall@1指标上平均提升4.2%。消融实验显示：主奇异值优化使对齐稳定性提升37%，对比正则化有效防止了12.6%的性能坍塌。与最新AnchorNet相比，训练速度加快1.8倍且内存占用减少23%。

该研究建立了多模态对齐与矩阵秩的理论联系，提出的无锚点框架为多模态表示学习提供了新范式。其稳定高效的特性特别适合实际部署，开源代码将促进跨模态理解领域的发展。方法普适性强，可扩展至医疗影像等多模态场景。

当前大语言模型虽然学习了大量菜谱文本，但缺乏对食材实际状态变化的直接观察。现有菜谱常省略中间状态描述（如'炒至金黄'），导致模型难以准确跟踪烹饪过程。这在智能烹饪助手、菜谱生成等应用场景中造成理解偏差。为解决该问题，需要构建具有精确状态标注的数据集，并建立系统的评估方法。

1) 数据构建：从结构化日式菜谱中提取1,200道菜品，人工标注食材在每步烹饪后的物理状态（如切块/软化/焦化）；2) 任务设计：创建状态识别（识别当前状态）、状态追踪（判断历史状态）和成分存在性（确认食材是否参与）三项任务；3) 评估框架：在Llama3.1和Qwen2.5等模型上测试，采用对比学习注入状态知识。创新点在于首次系统定义食材状态标注体系及对应评估基准。

实验显示：1) 注入状态知识的模型在状态识别任务上达到87.3%准确率，比基线提升21.5%；2) 在复杂的状态追踪任务中，70B参数模型表现接近商用模型（差距<5%）；3) 模型对'热加工导致质地变化'类状态（如软化）的识别优于'颜色变化'类（如焦化），后者误差率高约15%。

该研究首次证明食材状态知识能显著提升模型对烹饪过程的理解，构建的数据集填补了程序性文本细粒度理解评估的空白。成果可应用于：1) 改进烹饪类AI的推理能力；2) 为其他领域（如化学实验）的状态追踪任务提供方法论参考。局限在于目前仅覆盖日式料理，未来需扩展跨文化菜谱。

当前手语手形数据集普遍存在样本量小、类别不平衡的问题，导致分类模型训练效果不佳。德国RWTH手语数据集尤其典型，某些手形样本极少，严重影响分类器性能。传统数据增强方法难以生成足够多样的样本，需要探索生成模型在保持手形特征的同时扩充数据，并研究如何有效结合生成数据与真实数据提升分类效果。

采用EfficientNet作为基础分类器，比较两种生成对抗网络：1) ReACGAN通过辅助分类器利用标签信息生成特定手形图像；2) SPADE通过空间自适应归一化基于姿势信息生成。创新性地提出混合训练策略：将生成图像与真实图像以不同比例组合，在RWTH数据集上微调生成器。还利用大规模HaGRID数据集预训练姿势生成模型，实现跨数据集迁移。

在RWTH测试集上达到当前最佳分类准确率（提升5%），F1-score提高显著。ReACGAN在保持标签一致性方面表现更好，而SPADE生成的手形空间结构更准确。混合使用生成数据使少数类识别率提升明显，且无需重新训练生成器即可迁移到其他手语数据集。

本研究证明生成模型能有效缓解手形分类中的数据不平衡问题，提出的混合训练策略和跨数据集迁移方法具有普适性。不仅提升了特定数据集的分类性能，还为小样本手语识别提供了可推广的解决方案，对促进手语技术发展具有重要价值。

现有基于显著性的训练方法仅利用模型对真实类别的类激活图(CAM)与人类标注的显著性图进行对比学习，但忽视了模型对错误类别生成的激活图。在二分类任务中，真实类别和错误类别的激活图应该在人类标注的重要特征上呈现明显差异。这种差异信息未被现有方法利用，限制了模型泛化能力的提升。研究旨在通过同时利用正负类激活图的差异信息，改进模型的决策逻辑。

提出三种创新方法：(1) DivCAM Loss：强制真实类和错误类的激活图在人类标注的重要特征区域产生差异；(2) Contrast-CAM：通过对比学习使两类激活图在关键特征上形成对抗；(3) Cross-CAM：交叉约束两类激活图的注意力分布。同时开发了新型事后分析工具，可可视化模型决策依赖的特征。方法在合成人脸检测、生物特征攻击检测和胸部X光异常分类等任务中验证。

在合成人脸检测任务中，新方法将传统方法的准确率从89.2%提升至92.7%；在胸部X光异常检测中，AUC指标从0.881提升至0.912。开集识别实验表明，新方法在未知类别样本上的错误率降低23%。所有任务均显示新方法显著优于仅使用真实类激活图的基线方法。

研究证实同时利用正负类激活图差异能有效提升模型泛化能力，提出的训练范式为二分类任务提供了新的优化方向。方法在医疗影像分析等关键领域展现出应用潜力，开源代码促进了可重复研究。这项工作推动了基于人类认知的模型可解释性训练发展。

当前大语言模型在通用领域已展现出强大的推理和交互能力，但在专业医疗影像分析领域仍处于起步阶段。传统医疗AI系统多为静态预测模型，缺乏解释性和临床适应性。AURA旨在突破这一局限，通过构建首个视觉语言可解释性智能体，实现医学影像的动态交互分析、上下文解释和假设验证，推动医疗AI向更透明、更符合临床需求的决策支持系统演进。

基于Qwen-32B大语言模型架构，构建包含三大核心模块的智能体系统：(1)分割套件：通过相位定位、病理分割和解剖结构分割实现临床关键区域定位；(2)反事实图像生成模块：支持通过图像级变化进行诊断推理；(3)评估工具集：包含像素级差异图分析、分类器等先进组件，用于评估诊断相关性和视觉可解释性。系统采用模块化设计，支持动态工具调用和多模态交互。

实验表明AURA能有效完成医学影像的语义分割、病理定位等任务，其生成的视觉解释与临床判断具有高度一致性。通过反事实图像生成实现的假设验证功能，显著提升了系统的可解释性。在多个标准医学影像数据集上的评估显示，该系统在保持诊断准确性的同时，提供了传统系统无法实现的交互式推理能力。

AURA首次将智能体范式引入医疗影像分析领域，通过多模态交互和模块化工具集成，实现了从静态预测到动态决策支持的跨越。该系统为构建透明、可信的医疗AI提供了新范式，其技术路线可扩展至其他专业医学领域，对推动AI辅助诊断的临床落地具有重要价值。

空间转录组技术虽然能提供组织内基因表达的高清图谱，但高分辨率数据成本昂贵且稀缺。现有方法通常需要大量高质量数据训练，限制了该技术在生物医学研究和临床中的广泛应用。本研究旨在开发仅需单次稀疏采样数据即可实现高精度填充的新方法，显著降低对昂贵高分辨率数据的依赖。

方法包含三大创新：1) 稀疏到稀疏自监督学习策略，利用ST数据固有空间模式；2) 与自然图像的跨域协同学习增强特征表示；3) 级联数据一致性填充网络(CDCIN)，通过迭代优化保持采样基因数据保真度。首先通过自监督学习提取稀疏数据的空间特征，然后联合自然图像训练提升模型泛化能力，最后用级联网络逐步细化预测结果。

在乳腺癌、肝脏和淋巴组织等多种组织上的实验表明，该方法在填充准确度上显著优于现有最佳方法。定量评估显示，与次优方法相比，基因表达预测的相关系数平均提升15%，均方误差降低20%。特别在极稀疏输入(覆盖率<5%)情况下仍保持稳健性能。

该研究突破了传统空间转录组分析对高成本数据的依赖，首次实现单次稀疏采样条件下的高精度数据重建。提出的跨域协同学习框架为生物医学图像分析提供了新思路，级联网络设计保证了数据一致性。这项技术有望推动空间转录组在精准医疗和基础研究中的普及应用。

随着工业SCADA系统的普及，如何有效分析具有显著异质性（M5问题）的工业信号成为迫切需求。现有方法仅针对特定子问题设计专用模型，无法利用模态间的协同效应和规模效应。研究者发现这些信号存在内在相似性，可以通过统一的基础模型进行建模，从而提出了FISHER项目。

FISHER创新性地将采样率增量视为子带信息的拼接，采用STFT子带作为基本建模单元。模型架构采用师生自监督学习框架进行预训练，通过子带信息融合技术处理任意采样率的信号。为支持评估，团队开发了RMIS基准测试，涵盖多种健康管理任务。模型还特别优化了规模扩展曲线，显著提升训练效率。

在RMIS基准测试中，FISHER相比顶级自监督模型展现出全面优势，平均性能提升达5.03%。模型在多种工业健康管理任务中均表现优异，同时展现出更高效的规模扩展特性。研究还揭示了在下游任务中的规模效应规律，为后续研究指明方向。

FISHER首次实现了多模态工业信号的统一表征学习，突破了传统专用模型的局限性。其创新的子带建模方法和高效的规模扩展特性为工业智能诊断提供了新范式。开源模型将促进工业AI社区发展，相关规模效应发现为后续基础模型研究提供了重要参考。

文本到图像扩散模型在生成高质量图像方面取得巨大成功，但存在记忆并复制训练数据的问题，引发隐私和版权担忧。当前防御方法基于记忆行为可局部化的假设，通过修剪特定权重来阻止复制。本研究旨在验证这些方法的有效性，并探索更可靠的解决方案。

研究首先设计实验验证现有修剪防御的脆弱性，展示轻微修改输入文本嵌入即可重新触发数据复制。通过系统分析复制触发点在文本嵌入空间的分布和模型内部路径，证明记忆行为的全局性。提出新型对抗性微调方法：迭代搜索复制触发点并更新模型参数，使模型对这些触发点具有鲁棒性。

实验表明，修剪防御后的模型仍能通过微小文本修改（平均编辑距离1.6）重新触发复制，成功率高达78%。对抗性微调方法将触发成功率降低至12%，同时保持模型生成质量（FID分数仅下降0.3）。对比分析显示记忆触发点广泛分布于文本嵌入空间，非局部化。

研究颠覆了扩散模型记忆行为局部化的假设，证明现有防御方法存在根本缺陷。提出的对抗性微调方法为构建真正安全的生成模型提供了新思路。成果对保护数据隐私、防止版权侵权具有重要意义，为开发可信赖的生成式AI奠定基础。

当前大语言模型在文本和图像推理方面取得进展，但视频推理仍面临挑战。现有视频评测基准主要评估浅层理解，允许模型利用全局上下文，无法严格评估真正的因果和逐步推理能力。为解决这一问题，需要开发专门针对逐步因果推理的严格评测工具。

1) 将视频分割为因果关联的单元 2) 设计严格的逐步问答协议，要求顺序回答并防止捷径解决方案 3) 基于错误类型分类构建干扰项 4) 创建包含100个视频、6个类别和1,852个多选题的基准 5) 开发七项诊断指标进行综合评估

测试了主流商业和开源模型及人类基线，结果显示：1) 当前最佳模型准确率比人类低23.5% 2) 在时序因果问题上的表现差距尤为显著 3) 干扰项能有效区分不同错误类型 4) 七项指标可精准定位模型弱点

CausalStep填补了视频因果推理评测的空白，其严格的设计能推动更鲁棒、可解释的视频推理模型发展。实验揭示了当前模型与人类推理能力的实质性差距，为未来研究提供了明确方向。该基准的诊断功能有助于针对性改进模型架构和训练方法。

现有指代表达理解技术主要针对单实体定位，难以处理多实体间的复杂关系（如空间、动作等）。同时缺乏包含细粒度关系标注的数据集，导致模型在真实场景中可靠性不足。本研究旨在解决多实体交互场景下的语义理解与精确定位问题。

1) 构建包含关系标注的多实体数据集ReMeX；2) 提出文本自适应多实体感知器(TMP)，通过动态解析文本线索推断实体数量与边界；3) 设计实体关系推理器(EIR)建模交互关系；4) 利用大语言模型生成辅助数据集EntityText增强细粒度语义理解。框架同时处理视觉定位与关系推理两个子任务。

在四个基准测试中：1) 多实体定位准确率比现有方法平均提升12.3%；2) 关系预测F1值达到78.6%（领先基线9.2%）；3) 在构建的ReMeX数据集上实现85.4%的联合实体-关系准确率。消融实验验证了TMP和EIR模块的关键作用。

该研究首次系统解决了多实体指代理解问题，其创新点包括：1) 首个关系感知REC框架；2) 动态实体感知技术；3) 高质量数据集。为视觉-语言交互、机器人导航等需要复杂场景理解的领域提供了新方法，代码与数据集已开源。

癌症生存预测对个性化治疗至关重要，但现有方法存在两个主要局限：一是未能充分利用跟踪中断的'删失'患者数据，二是在部分检查数据缺失时性能下降。临床实践中，患者常因各种原因失访（产生删失数据），且由于检查成本或患者状况限制，多模态数据（如影像、基因等）常不完整。如何有效利用删失数据和提升模态缺失下的鲁棒性成为关键挑战。

1) 构建双部图建模患者与多模态数据的关系，通过完整-不完整数据对齐策略提取模态无关特征，解决模态缺失问题；2) 设计可插拔的事件条件删失建模模块(ECMC)：使用动态动量累积置信度筛选可靠删失数据，为其分配更准确的生存时间后转为非删失数据参与训练；3) 整体框架包含图表示学习、模态缺失处理和删失数据利用三个创新模块。

在5个公开癌症数据集上：1) CenSurv以平均C-index 3.1%的优势超越现有最佳方法；2) 在各种模态缺失场景下表现出优异鲁棒性；3) ECMC模块使8个基线模型的平均C-index提升1.3%；4) 消融实验验证了各模块的有效性。

该研究通过创新性地结合图学习和动态删失处理，解决了癌症预测中的两个关键难题。双部图设计实现了模态缺失下的稳定预测，ECMC模块首次系统性地利用了删失数据的价值。不仅提升了预测精度，其模块化设计还可增强现有方法。这项工作为临床决策支持系统提供了更可靠的生存分析工具，代码开源促进了领域发展。

随着视频内容的爆炸式增长，个性化视频高亮成为刚需。但现有数据集缺乏真实用户行为数据，要么使用孤立视频，要么依赖简单文本查询，无法反映复杂的用户偏好差异。这导致现有方法难以生成真正符合个人口味的视频摘要。

1) 数据集构建：使用大语言模型模拟生成2,040组真实用户观看历史，覆盖170个语义类别的20,400个视频，每组合成对应的显著度评分；2) 提出HiPHer方法：通过分析个性化观看历史，预测基于用户偏好的视频片段显著度分数；3) 创新点：首次将LLM生成的观看历史作为个性化信号，建立用户偏好与视频内容间的细粒度关联。

实验表明：1) HiPHer在NDCG@10指标上比通用方法提升23.7%，比基于查询的方法提升15.2%；2) 在覆盖170个类别的测试集上保持稳定性能；3) 用户研究表明83%的参与者认为生成的高亮片段更符合个人兴趣。

该研究通过LLM模拟真实用户行为，解决了个性化视频高亮领域的数据稀缺问题。HIPPO-Video是目前规模最大、多样性最丰富的个性化视频数据集，HiPHer方法为实际应用提供了有效解决方案，推动了用户中心化视频处理技术的发展。

当前计算机视觉中的物体分割主要依赖语义标签和类别定义，这与人类婴儿通过物理运动关系感知物体的方式不同。心理学研究表明，人类早期通过观察物体是否在物理作用下一起运动（Spelke对象）来认知世界。这种基于物理运动的分割方式可能更适合机器人操作等任务。本文旨在建立计算模型来实现这种更接近人类认知方式的分割方法。

研究首先构建了SpelkeBench数据集，包含各种自然图像中的Spelke分割标注。然后开发了SpelkeNet视觉世界模型，通过预测未来运动分布来提取两个关键特征：运动可能性图（标识可能被推动的区域）和预期位移图（捕捉场景其他部分的运动）。采用'统计反事实探测'方法，对高运动可能性区域施加多种'虚拟推动'，通过分析相关运动统计量来定义Spelke分割段。

实验表明，SpelkeNet在SpelkeBench上显著优于SegmentAnything(SAM)等监督基线方法。在3DEditBench物理物体操控基准测试中，将Spelke概念应用于多种现成的物体操控模型都能带来性能提升，验证了其在下游任务中的实用性。

该研究首次将发展心理学中的Spelke对象概念引入计算机视觉，提出了基于物理运动关系的物体分割新范式。SpelkeBench数据集和SpelkeNet模型为这一方向建立了基准。实验证明这种分割方式比传统语义分割更适合物理交互任务，为机器人操作等应用提供了新思路。这项工作架起了认知科学与计算机视觉之间的桥梁。

视觉Transformer虽然性能强大，但其内部工作机制仍不透明。研究发现存在两类特殊令牌：具有超高激活范数的'注意力汇'和推理过程中产生的'伪影令牌'。这些令牌通过注意力机制相互抑制，对网络信息流调控起关键作用。当前模型计算这些交互需要大量资源，亟需高效解决方案。

1. 理论分析揭示注意力汇与伪影令牌形成的结构化模式；2. 提出Fast Nyström Attention(FNA)，利用令牌间的低秩特性将自注意力计算复杂度从平方级降至线性；3. 设计掩码策略过滤噪声信号；4. 所有改进无需重新训练即可应用于现有预训练模型

在图像检索(最高提升1.2% mAP)、分类(保持98%原模型精度)、分割(mIoU波动<0.5%)和VQA(准确率差异<0.8%)等任务验证，计算开销降低30-50%，内存占用减少40%以上，在ADE20K数据集实现58.2 mIoU的分割性能

该研究首次系统揭示了视觉Transformer中注意力汇的调控机制，提出的FNA方法为Transformer的高效部署提供了新思路。其训练即用的特性使得现有模型能直接获益，在计算资源受限的移动端和边缘设备具有重要应用价值，为后续注意力机制的理论研究开辟了新方向

在安防监控、身份核验等实时人脸筛查场景中，运动模糊、光照不足、遮挡和极端姿态等因素会导致人脸图像质量低下，严重影响识别准确率。现有质量评估方法要么计算复杂难以实时运行，要么无法有效处理分辨率变化和姿态偏移这两大实际监控场景中的核心挑战。

提出融合归一化面部关键点特征与随机森林回归的分类框架：1) 通过面部关键点坐标归一化处理解决分辨率差异问题；2) 设计包含68个面部特征点的空间分布特征；3) 采用随机森林回归器预测质量分数，相比深度学习方法计算量降低90%；4) 特别优化对姿态偏移的鲁棒性处理。

在迪拜警方真实监控数据集（含600+人）上：1) 质量评估准确率达96.67%；2) 与ArcFace验证系统集成后，误拒率降低99.7%；3) 余弦相似度得分提升23.5%；4) 单帧处理耗时仅3.2ms，显著优于现有深度学习方法。

该框架首次在保持轻量级计算的同时有效解决了监控场景中的人脸质量评估难题，其创新点在于将传统特征与机器学习相结合。实际部署表明，该系统可使现有人脸验证系统的可靠性提升近两个数量级，对公共安全领域具有重要应用价值。

当前时间序列异常检测仅能判断是否异常，缺乏细分类和解释能力。在工业设备监控、医疗监测等领域，仅知道异常远远不够，还需要理解异常类型和原因。传统方法无法满足这一需求，而大语言模型的出现为构建可解释的异常推理系统提供了新可能。

1) 提出Time-RA新任务，将异常检测转化为生成式推理任务；2) 构建RATs40K数据集，包含10个领域4万样本，每个样本含时间序列、文本和视觉数据，标注14种单变量和6种多变量异常类型；3) 开发基于GPT-4反馈的标注框架提升质量；4) 系统评估现有LLM和多模态LLM在任务上的表现，分析监督微调的关键作用。

构建的数据集覆盖10个真实场景，包含精细标注的40,000样本。实验显示：1) 现有模型在零样本设置下平均准确率仅58.7%；2) 经过监督微调的模型性能提升21.3%；3) 多模态信息融合使解释合理性提升34.5%。

该研究首次将时间序列异常检测升级为可解释推理任务，发布的RATs40K数据集填补了领域空白。实验证明大语言模型在该任务上的潜力，同时揭示了监督学习的重要性，为构建下一代可解释异常检测系统奠定了基础。

随着多模态大语言模型（如能同时理解图像和文本的AI）能力提升，其面临的安全风险日益突出。攻击者可能通过精心设计的图文组合诱导模型生成有害内容。现有安全方案通常需要重新训练模型，成本高昂且影响原有性能。本研究旨在开发一种无需修改原模型的推理阶段安全干预技术。

AutoSteer包含三个创新模块：(1) 安全感知评分(SAS)系统，通过分析模型内部各层激活状态自动定位最敏感的安全特征；(2) 自适应安全探测器，基于中间表征预测有毒输出概率；(3) 轻量级拒绝头模块，在检测到风险时动态调整生成过程。整个系统采用模块化设计，支持即插即用部署。

在LLaVA-OV和Chameleon模型上的测试显示：对文本、图像及跨模态攻击的成功率(ASR)分别降低42%、37%和35%，同时在MMLU等基准测试中保持原有性能（准确率波动<1.5%）。特别在视觉对抗攻击场景下，防御效果超越现有方法23%。

该研究首次实现了多模态大模型的安全防护与核心能力的解耦，提出的动态干预机制为AI安全部署提供了可解释、低成本的解决方案。其模块化设计易于扩展到其他模态，对促进负责任AI发展具有重要实践意义。

口语理解在会议记录、客服等语音交互场景中至关重要，但现有方法通常为命名实体识别、情感分析等不同任务分别构建模型，导致系统复杂、任务间无法协同，且难以充分利用跨任务的异构数据。这种碎片化方案限制了系统性能和应用灵活性。

1) 提出跨任务统一表示方法，将ASR、口语NER和情感分析任务编码为通用格式；2) 设计生成式统一架构，通过共享编码器和任务特定解码器实现多任务联合训练；3) 创新性引入大语言模型接口，利用其生成能力增强语义理解。关键技术包括异构数据对齐、动态任务路由和联合优化策略。

在公开SLU数据集上，UniSLU的F1值比单任务系统平均提升7.2%，错误率降低15.8%。特别在跨领域测试中，统一框架展现出更强的泛化能力，情感分析准确率达到89.3%，较基线方法提升11.5%。

该研究首次实现语音理解多任务的端到端统一建模，通过异构数据共享和生成式架构突破传统系统的局限性。实际意义在于简化语音交互系统部署，为智能客服、会议转录等场景提供更高效的解决方案。代码开源将推动口语理解领域的协同创新。