精选AI论文

当前视觉语言模型能生成详细图像描述，但评估这些长文本面临挑战。传统指标如CIDEr和SPICE专为短文本设计，无法有效捕捉属性关联错误。人工评估成本高且主观性强，需要一种能精确定位错误、可解释且与人类判断一致的自动化评估方法。

PoSh方法核心是双阶段评估：首先将参考描述转换为场景图作为结构化评分标准，然后引导大语言模型根据场景图逐项检查生成描述的准确性。创新点包括：1）利用场景图明确评估维度；2）通过大语言模型实现细粒度错误定位；3）设计DOCENT艺术数据集验证方法，包含专家标注和人工评分。

在DOCENT数据集上，PoSh与人类评分的斯皮尔曼相关性达+0.05，优于最佳开源模型。在CapArena网络图像数据集上保持稳健性。作为奖励函数微调模型时，效果超越标准监督微调。实验表明基础模型对复杂场景图像的描述仍存在覆盖不足问题。

PoSh提供了可复现、可解释的图像描述评估方案，解决了长文本评估难题。DOCENT数据集为艺术领域评估设立新基准。该工作推动了辅助文本生成等应用发展，为视觉语言模型进步提供了重要衡量工具。

现有医学影像分析模型存在两大局限：一是将3D图像压缩为向量丢失空间细节，二是无法有效处理实际临床中不规则时间间隔的检查序列。这导致重要的时空模式未被充分利用，制约了乳腺癌等疾病的长期风险预测精度。

核心创新包括：1）连续时间选择性扫描机制，将真实检查时间差直接融入状态转移过程；2）多尺度3D邻域融合模块，通过分层聚合捕捉影像的局部和全局时空特征。模型采用状态空间架构，在保持线性计算复杂度的同时实现对长序列的高效处理。

在乳腺癌风险预测任务中，验证集c-index提升2-5个百分点，1-5年预测AUC全面优于循环神经网络、Transformer和传统状态空间模型。模型在保持高精度同时，能高效处理长达数十次检查的乳腺影像序列。

该研究首次将连续时间建模与3D时空特征学习相结合，为纵向医学影像分析建立了新范式。其线性复杂度特性使得临床部署长序列病例成为可能，对癌症早期筛查和个性化预防具有重要价值。

现有视觉语言模型在自动驾驶高阶问答（感知、预测、规划）中面临上下文信息不足和任务适配性差的问题。自动驾驶需要综合多模态数据（如相机流、历史帧、场景元数据）并区分问题类型，但传统方法缺乏针对性的提示设计和元数据融合机制，导致在复杂驾驶场景中答案不可靠。

系统分为两阶段：第一阶段使用大型多模态模型（Qwen2.5-VL-32B），输入六路相机画面、短时序历史帧和思维链提示（含少量示例），并通过自一致性集成（采样多个推理链）提升可靠性；第二阶段增强提示：融入nuScenes场景元数据（物体标注、自车状态等）和任务特定指令（为感知、预测、规划设计独立提示模板），实现上下文与任务需求的双重优化。

在驾驶QA基准测试中：第一阶段使用5历史帧和10示例提示达到65.1%准确率（零示例基线为62.61%），自一致性集成提升至66.85%；第二阶段达67.37%总体准确率。在严重视觉干扰下系统仍保持96%准确率，显著优于基线模型。

研究证明结合元数据上下文与任务定制提示能有效释放预训练视觉语言模型在自动驾驶问答中的潜力。该方法为高阶驾驶推理提供了可扩展的框架，通过提示工程而非模型重构提升性能，对低成本部署鲁棒自动驾驶系统具有重要实践意义。

短视频流媒体已成为数字媒体主流形式，其快速滑动交互和多样内容对预加载策略提出挑战。现有方法存在两大缺陷：一是下载任务大小无法适应动态网络条件，二是观看时长预测模型难以大规模可靠部署。这导致用户体验质量与带宽效率难以兼顾，亟需一种能动态优化预加载决策的实用解决方案。

DeLoad框架核心包含三个创新：1）动态任务调整机制，根据实时网络状态自适应选择下载内容范围；2）多维观看时长估计方法，通过用户行为、视频特征等实用指标实现可扩展预测；3）深度强化学习智能体，持续学习最优下载决策策略。该方法将传统启发式规则与数据驱动优化相结合，在保证部署可行性的同时提升决策精度。

离线测试平台使用海量真实网络数据验证表明：DeLoad在用户体验质量指标上提升34.4%-87.4%。实际部署于大型商业短视频平台后，用户总观看时长增加0.09%，同时卡顿事件减少，带宽消耗降低3.76%，实现了体验与资源消耗的双重优化。

本研究证明了动态预加载框架在真实商业场景中的有效性，其创新在于将理论优化与工程部署需求相结合。DeLoad不仅提升了短视频平台的核心性能指标，更为资源受限环境下的自适应流媒体技术提供了可复用的方法论，对推动移动视频传输技术发展具有重要实践意义。

混合现实技术在操作指导中面临核心挑战：需快速自动验证用户是否遵循虚拟指引。传统方法因3D建模不完善或光线估计误差，难以处理虚拟与物理对象间的差异，导致验证不准。现有方案缺乏对虚实对象特性适配，且移动设备算力有限，无法兼顾实时性与精度。

EVER创新采用分割模型与渲染流水线，分别处理含虚拟引导对象的操作前帧和含物理实体的操作后帧。通过交并比(IoU)阈值策略量化虚实对象重叠度，替代传统帧相似性比较。为降低能耗，将计算密集型任务卸载至边缘服务器，移动端仅保留轻量级操作，实现高效协同。

在公开数据集与自定义实测数据集中，EVER验证准确率超90%，响应时间低于100毫秒（显著快于人类平均反应时间273毫秒）。与无自动验证系统相比，仅增加微量计算资源与能耗，边缘卸载策略有效保障实时性。

EVER通过边缘计算与自适应分割验证机制，解决了MR操作中虚实对象差异导致的验证难题。其低延迟、高精度特性为工业巡检、远程协作等场景提供可靠技术支撑，推动了移动MR系统在资源受限环境下的实用化进程。

自动驾驶系统在遇到罕见、训练数据中未包含的异常场景时表现脆弱，传统方法依赖昂贵商业模型且检测不可靠。现有视觉语言模型虽具备推理潜力，但随意提问的方式效果不稳定，且无法解决实际部署中的数据稀缺和成本问题。

SAVANT采用结构化双阶段流程：首先提取场景的层次化描述（街道、基础设施、移动物体、环境四层语义），随后进行多模态评估。该方法将视觉语言模型从临时提问转变为系统化分析，创新性地通过开源小模型微调实现高性能，突破了对大模型的依赖。

在真实驾驶场景测试中，SAVANT达到89.6%召回率和88.0%准确率，显著优于非结构化基线。微调后的70亿参数开源模型（Qwen2.5VL）实现90.8%召回率和93.8%准确率，超越所有对比模型，同时自动标注9640张真实图像解决数据稀缺问题。

SAVANT证明了结构化推理框架可使小参数开源模型达到商用级性能，为自动驾驶异常检测提供了低成本、高可靠的解决方案，推动语义监控技术的实际落地与数据自动化标注发展。

在线教育中，实时评估学生参与度对提升教学效果至关重要。现有方法多依赖单一模态（如仅面部表情），忽略了学习环境上下文信息，导致检测准确率受限。针对DAiSEE等公开数据集中参与度标签分布不均衡的问题，需要开发能综合利用多源时空线索的鲁棒检测框架。

采用双流架构：一路通过EfficientNetV2提取面部裁剪区域的空间特征，另一路处理完整视频帧获取场景上下文。创新性地并行使用LSTM和Transformer编码器进行时序建模，分别捕捉长短期依赖和全局关联。针对样本不均衡问题，设计了针对性的数据增强策略，提升对低代表性参与度类别的识别能力。

在DAiSEE数据集上的实验表明，ViBED-Net-LSTM变体达到73.43%的准确率，优于现有最优方法。消融实验证实双流架构比单模态提升约5.2%，时序建模中LSTM略优于Transformer。数据增强策略使少数类别的F1分数平均提高7.8%。

研究证明了融合面部与场景时空线索对参与度检测的有效性，其模块化设计支持教育评估、用户体验分析等多场景应用。通过开源代码推动可复现研究，为视频情感计算提供了兼顾精度与实用性的解决方案，对智能教育发展具有重要促进意义。

现有学习型音频水印依赖有限模拟失真训练，易过拟合且泛化差。实际音频编辑手段多样（如重采样、混响、裁剪），传统方法难以应对未知攻击。需开发不依赖手工失真模拟、能抵抗真实编辑的通用水印框架。

在时频域通过对抗优化生成水印，根据音频强度自适应控制嵌入强度以保持听感。检测端设计时序无关的位级读出头（BRH），将分散的时间证据聚合为每位水印比特的置信度，有效应对时序错位与裁剪。核心创新是摒弃攻击模拟栈，直接通过对抗训练获得编辑鲁棒性。

在多种音频编辑（压缩、混响、裁剪等）下保持接近无损的音质（PESQ>4.0/STOI>0.98）与低误码率（BER<0.01），显著优于主流学习型水印方案。对抗编辑的鲁棒性提升尤为突出，时序切割场景下解码准确率超基准方法30%以上。

AWARE证明了对抗优化可替代传统失真模拟，为音频水印提供更通用的鲁棒性框架。其时序聚合检测机制解决了长期存在的同步难题，对媒体版权保护与内容溯源具有重要实践价值，推动了鲁棒水印向实际部署迈进。

中医药具有两千多年历史，但其整体观思维、隐性逻辑和多模态诊断特点使大语言模型难以直接应用。现有中医药领域模型存在三大局限：缺乏多模态整合（如舌诊图像）、推理过程不透明、临床实用性不足。为突破这些瓶颈，需要开发能融合传统智慧与现代技术的中医药智能助手。

基于ChatGPT架构通过指令调优（非参数重训练）构建多模态中医助手。核心创新包括：整合千余部古今典籍的结构化知识库；设计覆盖问诊-辨证-施治的场景化指令框架；引入思维链机制模拟中医辨证推理；接入舌象分类API实现多模态诊断；通过执业医师反馈循环优化模型输出，确保符合中医伦理规范。

在单选试题基准测试中，准确率显著超越通用模型和现有中医模型，尤其在辨证诊断（提升15%）、药材识别（提升22%）和体质分类（提升18%）任务表现突出。舌象分类准确率达91.3%，已部署至GPT商店被全球近千名用户实际使用。

证实通过指令调优与多模态融合可构建符合中医思维范式的AI系统，为生成式AI与传统医学结合提供实践框架。其轻量化部署路径具有可扩展性，推动中医药智能化从理论走向临床应用。

现有多模态持续学习方法主要针对粗粒度任务，在细粒度场景下面临模态纠缠问题。音视频分割需要精确对齐声音和视觉信息，但在持续学习过程中会出现两个关键问题：多模态语义漂移（发声物体被误标为背景）和共现混淆（经常同时出现的类别容易相互混淆）。这些限制了AI系统在真实环境中持续学习的能力。

提出碰撞式多模态回放（CMR）框架：1）针对多模态语义漂移，设计多模态样本选择（MSS）策略，筛选模态一致性高的样本用于回放训练；2）针对共现混淆，设计碰撞式样本回放（CSR）机制，在训练过程中增加易混淆类别的回放样本频率。通过构建三个音视频增量场景验证方法有效性，确保模型在持续学习过程中保持多模态对齐能力。

在构建的三个音视频增量场景上的实验表明，该方法显著优于单模态持续学习方法。具体性能指标显示能有效缓解语义漂移问题，减少共现混淆错误，在多模态持续学习任务中实现了最先进的性能表现。

本研究首次系统性地解决了持续音视频分割中的模态纠缠问题，提出的CMR框架为多模态细粒度持续学习提供了有效解决方案。这项工作推动了多模态AI系统在动态环境中的适应能力，对机器人感知、智能监控等实际应用具有重要意义。

现有视频时序定位方法直接处理原始查询时易受信息缺失和噪声干扰，多模态大语言模型虽能理解跨模态内容，但存在幻觉问题。研究旨在利用大模型的上下文理解能力，通过结构化增强查询提升定位精度，同时解决噪声敏感问题。

采用两阶段框架：第一阶段用多模态大语言模型将原始文本查询增强为包含细节的完整描述；第二阶段通过轻量级解码器，基于增强查询的上下文表征预测精准时间边界。创新点包括多示例学习目标动态选择最优查询版本，有效抑制幻觉噪声。

在多个视频时序定位基准测试中达到最优性能，显著超越所有基于大语言模型的现有方法，与专用模型相比持平或更优，并在零样本评估场景中保持明显优势。

ED-VTG证明了通过查询增强和噪声抑制策略，多模态大语言模型能高效解决细粒度视频定位任务，为跨模态理解提供了可扩展的新范式，兼具通用性与 specialization 能力。

多模态学习通过整合不同模态（如音频和视觉）信息提升模型性能，但长期存在模态不平衡问题——强势模态在联合优化过程中压制弱势模态。现有研究多关注表征学习阶段的不平衡，而本文通过实验发现，即使经过充分预训练和平衡优化，模型在决策层仍存在系统性偏差（如过度依赖音频），这表明问题根源超越优化动态，需深入探究决策层的固有差异。

研究首先在音频-视觉数据集（CREMAD和Kinetic-Sounds）上系统评估模态不平衡现象，通过控制实验排除优化偏差的影响。进一步分析揭示，决策层偏差源于两个内在因素：特征空间的分布差异和决策权重的分配不均。作者指出，传统融合方法直接聚合未校准的模态输出，导致权重天然偏向某些模态。创新性地提出未来多模态系统应在决策层集成自适应权重分配机制，根据各模态的实际能力动态调整贡献度。

在CREMAD和Kinetic-Sounds数据集上的实验表明，即使采用平衡优化策略，模型仍显著偏向音频模态（准确率偏差达15%以上）。特征分析显示，音频和视觉模态在决策层的权重分布存在固有差距，且特征空间对齐程度低。对比基线方法，未校准融合导致弱势模态（如视觉）的贡献被抑制，整体性能提升受限。

本研究首次明确揭示模态不平衡在决策层的系统性存在，挑战了仅通过优化策略解决该问题的传统认知。贡献在于将研究焦点从表征学习扩展至决策机制，指出未来多模态系统需设计自适应融合框架，根据模态能力动态分配权重。这一发现对提升多模态模型的鲁棒性和公平性具有重要指导意义。

现有视频生成模型在角色一致性、相机控制和光照适应性方面存在局限，难以满足虚拟制作对多视角内容创作的需求。传统方法无法同时保证角色在不同视角下的外观一致性，且缺乏精确的3D相机控制能力。本研究旨在开发一个能实现多视角角色保持、精确相机控制和光照适应的视频生成框架，推动视频生成技术在虚拟制作中的应用

构建基于4D高斯溅射(4DGS)的多视角表演捕捉数据管道，通过体积捕捉记录表演并重渲染不同相机轨迹。使用视频重光照模型增强光照多样性，在开源视频扩散模型基础上微调训练。创新性地采用联合训练和噪声融合两种多主体生成方法，支持场景和实景视频定制，同时实现对运动模式和空间布局的精确控制

实验表明该方法在视频质量、个性化精度方面显著提升，相机控制准确率和光照适应能力优于基线模型。在多视角一致性测试中，角色身份保持率达到92%，相机轨迹跟踪误差降低40%。支持复杂场景的多主体合成，生成视频的视觉连贯性和真实感明显改善

该框架成功实现了视频生成中多视角角色一致性与3D相机控制的统一，为虚拟制作提供了实用的技术解决方案。通过创新的数据管道和训练策略，推动了生成式AI在影视制作、虚拟现实等领域的应用，标志着视频生成技术向工业化生产迈出重要一步

现有大视频语言模型处理长视频时面临两大难题：视频数据量超过模型处理上限，以及难以保持长期时间关联。传统检索增强方法直接应用于视频会破坏时间逻辑并引入噪声，导致推理失真。需要一种能保持视频时序结构并过滤无关内容的新方法。

核心创新包括：1）将视频表示为结构化图，节点是视频片段，边保留语义关联，确保检索时维持时空上下文；2）引入中间推理层，通过结构化验证机制筛选关键片段，显式聚合跨片段信息。该方法将图神经网络与检索增强生成结合，形成“检索-推理-生成”闭环。

在三个长视频基准测试中，相比基线模型在MLVU任务上提升3.0%~5.4%，较现有最优视频检索增强方法领先8.6%。实验证明该方法能有效降低检索噪声，提升时序推理准确性。

Vgent通过图结构建模和推理验证机制，解决了长视频理解中的时序断裂和噪声干扰问题，为视频大模型处理长时序数据提供了新范式，对视频内容分析、智能监控等领域具有推广价值。

前列腺癌中的筛状形态是预示不良预后的重要组织学特征，其存在会改变治疗方案选择。然而，由于诊断标准主观性强，不同病理学家之间的判断存在显著差异，导致该特征在临床报告中经常被漏报或误报。这种不一致性影响了治疗决策的准确性，迫切需要开发客观、标准化的检测方法来提高诊断可靠性。

研究采用基于EfficientNetV2-S编码器的深度学习模型，结合多示例学习技术实现端到端的全切片图像分类。模型在来自430名患者的640张数字化前列腺穿刺活检切片上进行训练，数据集涵盖三个不同队列。验证过程包括内部验证（171名患者的261张切片）和外部验证（三个独立队列的104名患者的266张切片）。外部验证特别使用了完全独立的仪器和实验室以确保泛化能力。所有标注由三位具有高度一致性的泌尿病理专家提供，并进行了与九位专家的对比评估。

模型在内部验证中表现出色（AUC：0.97，95% CI：0.95-0.99；Cohen's kappa：0.81，95% CI：0.72-0.89），在外部验证中保持稳健性能（AUC：0.90，95% CI：0.86-0.93；Cohen's kappa：0.55，95% CI：0.45-0.64）。在与九位病理专家的对比中，模型取得了最高的一致性水平（平均Cohen's kappa：0.66，95% CI：0.57-0.74），显著优于专家们的表现（kappa值范围：0.35-0.62）。

该AI模型在前列腺癌筛状形态检测方面达到了病理专家水平，证明了深度学习技术在病理诊断中的巨大潜力。这一成果有望提高诊断可靠性、标准化报告流程，并为前列腺癌患者的治疗决策提供更准确的依据，最终推动精准医疗在肿瘤诊断领域的应用。

随着遥感技术在城市规划、环境监测等领域的广泛应用，海量数据对传统视觉模型提出了挑战：一方面需要大量专业标注数据，另一方面难以理解复杂环境上下文。视觉语言模型虽能融合图文信息，但在遥感领域的应用尚未充分探索。本研究旨在解决遥感图像分析中标注数据稀缺与场景理解能力不足的核心问题。

提出将YOLO目标检测模型与LLaVA、ChatGPT、Gemini等视觉语言模型进行协同融合。技术路线包括：利用YOLO进行初步目标定位，通过VLMs注入语义上下文理解，构建端到端分析框架。创新点在于建立视觉特征与语言描述的跨模态交互机制，在少样本条件下实现知识迁移，并针对图像退化等遥感特殊场景进行优化。

在标注/未标注遥感数据及退化图像场景中，飞机检测与计数的平均绝对误差(MAE)降低48.46%。CLIPScore指标提升6.17%，证明场景理解能力显著增强。特别是在低质量图像和少样本条件下，融合模型相比单一模型展现出更稳定的性能优势。

研究证实视觉与语言模型的融合能有效提升遥感图像分析效率，突破传统模型对标注数据的依赖。其创新范式为少样本遥感分析提供了新思路，对应急响应、资源监测等实际应用具有重要价值，推动了多模态人工智能在遥感领域的落地进程。

现有多模态模型大多采用自回归架构，导致理解与生成能力失衡。虽然已有混合解耦方案尝试统一处理，但冗余设计限制了跨模态检索等场景的应用。下一代全能基础模型需突破架构限制，实现任意模态间的无缝交互。

采用离散流匹配范式，通过度量诱导概率路径和动力学最优速度实现统一建模。利用简洁的统一表征替代任务解耦设计，原生支持任意模态转换。基于大规模交错文本、图像、视频和音频数据训练，显著提升响应效率。

在多模态生成与理解基准测试中表现优异，在多轮多模态交互和跨模态检索任务上超越现有统一模型。开源代码和模型参数验证了架构优势。

NExT-OMNI通过离散流匹配实现了多模态理解的本质突破，为下一代通用人工智能系统提供了核心组件。其统一架构为跨模态应用开辟了新路径，开源策略将加速领域发展。

当前多模态模型大多采用自回归架构，导致理解与生成能力失衡。虽然已有混合解耦方案尝试统一处理，但冗余设计限制了跨模态检索等场景的应用。研究旨在构建能任意转换模态、支持多轮交互的新一代基础模型，推动通用人工智能发展。

采用离散流匹配技术，通过度量诱导概率路径和动力学最优速度实现统一建模。将不同模态数据映射到统一离散表示空间，避免任务解耦设计。基于大规模交织的文本、图像、视频和音频数据训练，原生支持任意模态间的双向理解与生成。

在多模态生成与理解基准测试中达到竞争力性能。在跨模态检索和多轮多模态交互任务上显著优于现有统一模型，响应效率提升，验证了架构优势。

NExT-OMNI通过离散流范式实现了多模态能力的统一平衡，为下一代基础模型提供了新架构范式。其开源发布将促进多模态AI在更广泛场景的应用，推动人机交互技术发展。

全息视频通信能提供沉浸式体验，但数据量极大，传统传输方式效率低下。语义通信通过传递信息含义而非原始数据，有望突破带宽瓶颈。本研究旨在构建语义通信与全息视频融合的框架，解决高数据量与有限带宽间的核心矛盾。

设计了语义赋能的全息视频通信架构，包含三大关键技术：1) 语义采样——提取视频中的关键语义特征（如运动物体轮廓）；2) 联合语义-信道编码——将语义信息与抗干扰编码结合，提升鲁棒性；3) 语义感知传输——根据网络状态动态调整语义数据优先级。通过端到端协同优化，实现高效压缩与可靠传输。

通过两个典型应用场景验证，所提方法在保持视觉质量的前提下，显著降低了传输延迟与带宽占用。相比传统视频编码，语义通信方案在相同带宽下可传输更多语义信息，提升了系统整体效率。

本研究开创性地将语义通信引入全息视频领域，为沉浸式通信提供了新范式。所提架构解决了海量数据传输难题，推动了语义通信在视觉传输中的实用化，为未来6G及元宇宙应用奠定了技术基础。

现有音乐分析技术主要关注声音本身，忽略了音乐与人体运动的天然联系。这导致计算机难以捕捉驱动舞蹈的节奏和结构线索，限制了在音乐-舞蹈生成等任务的表现。研究旨在通过融合音乐与运动数据，构建能理解音乐动态特征的表征模型。

提出具身对比损失（ECL），通过引入速度感知和节拍抖动负样本增强节奏判别能力；设计结构节奏对齐损失（SRAL）确保音乐重音与运动事件同步。架构上采用节拍等变相位旋转捕捉循环节奏模式，结合接触引导注意力机制强化音乐重音对应的运动特征编码。

在音乐-舞蹈生成任务中超越所有现有音频编码器，同时在节拍追踪、音乐标签分类、情感识别等5项下游任务中实现最优性能，验证了表征的强泛化能力。

该研究首次系统建立了音乐表征与人体运动的关联范式，通过多模态对齐机制解决了音乐节奏的具身表达难题，为舞蹈生成、智能编舞等应用提供了核心技术支撑，推动了具身音乐认知研究的发展。

图文对齐是多媒体理解的核心问题，但文本和图像存在天然信息熵差异——文本信息密度低而图像信息密集，导致传统方法在双向检索中出现严重不平衡。现有方法难以模拟人类利用背景知识弥补熵差的能力，特别是在处理多义词语义时易产生匹配错误。需要一种能融合开放语义知识并优化联合嵌入空间的新范式。

1. 设计不依赖领域知识的提示模板，利用大语言模型增强文本模态的多义性描述，通过类比提升文本相对视觉模态的信息熵；2. 构建超图适配器建立图文多边连接，在固定嵌入空间中校正同义语义的正负匹配误差，通过降维映射回原维度降低开放语义熵引入的噪声。创新点在于将LLM的开放语义知识与超图结构结合，实现熵增强的跨模态对齐。

在Flickr30K和MS-COCO基准测试中，文本到图像检索提升16.8%，图像到文本检索提升40.1%，显著超越现有方法并创下语义对齐任务新纪录。消融实验验证了熵增强机制和超图结构对性能提升的关键作用。

研究证明了利用大语言模型开放语义填补模态熵差的有效性，超图适配器为跨模态对齐提供了新范式。该工作不仅提升了检索系统性能，更为解决模态不平衡问题提供了可扩展的理论框架，对多模态人工智能发展具有重要推动意义。

现有自监督新视角合成方法存在严重缺陷：从不同视频中学到的相机位姿表示无法跨场景通用。同一组位姿在不同3D场景中会产生完全不同的相机轨迹，这表明模型并未真正理解几何关系。研究旨在开发能实现真正位姿可迁移的新视角合成方法，突破现有方法对场景特定位姿表示的依赖。

提出XFactor模型，结合成对位姿估计与创新的输入输出增强方案。关键创新在于：1）采用几何无关架构，无需3D归纳偏置或多视图几何概念；2）通过数据增强联合解耦相机位姿与场景内容；3）使用无约束潜在位姿变量，不依赖SE(3)等显式位姿参数化。该方法首次在纯自监督 setting 下实现位姿表示的可迁移性。

提出量化可迁移性的新指标，在大规模实验中显示：XFactor显著优于先前无位姿先验的新视角合成Transformer模型。探测实验证明潜在位姿与实际物理位姿高度相关，在多个数据集上实现了跨场景的稳定位姿迁移效果。

研究证明了无需显式几何建模即可实现真正可迁移的新视角合成，颠覆了传统多视图几何的认知。XFactor为自监督3D理解开辟了新途径，对计算机视觉和机器人领域的场景理解具有重要推动意义。

现有运动生成模型仅关注文本语义或场景交互的单一维度，因为构建同时包含丰富文本-动作关联和精确场景交互的大规模数据集极为困难。为突破此局限，本研究旨在开发一种无需联合标注数据的框架，使文本驱动的动作生成具备对三维场景的适应能力，实现更符合物理规律的自然运动合成。

采用两阶段自适应策略：第一阶段通过可学习的关键帧调制层实现运动插值，在潜空间保持运动流形结构；第二阶段新增场景条件层，通过跨注意力机制自适应查询局部几何上下文。核心创新是利用无需文本标注的运动插值作为代理任务，桥接互斥的场景-动作和文本-动作数据集，从而将场景感知注入预训练文本-运动模型。

实验表明SceneAdapt成功为文本-运动模型注入场景感知能力，生成动作在避障、地形适应等场景交互指标上显著优于基线。定量分析验证了跨注意力机制对局部场景几何的有效捕捉，消融实验证明两阶段设计对性能提升的关键作用。

该研究证明了通过代理任务桥接异构数据的有效性，为多模态运动生成提供了新范式。所提框架在不依赖大规模联合标注数据的前提下，实现了语义一致且物理合理的场景交互运动生成，对虚拟现实、机器人仿真等领域具有重要应用价值。

当前文本到视频生成模型在视觉质量上进步显著，但难以生成逻辑连贯的顺序叙事，例如多事件间的合理推进。现有基准主要关注画面质量，缺乏对长序列叙事连贯性的评估。这导致模型在真实应用中的叙事能力无法被准确衡量，阻碍了相关技术的发展。

SeqBench包含精心设计的320个提示词数据集，覆盖多种叙事复杂度，并收集了8个前沿文本到视频模型生成的2560个人工标注视频。核心创新是设计了基于动态时序图的自动评估指标，该指标能高效捕捉长距离依赖和时间顺序关系，同时保持计算效率，无需依赖大规模标注。

基于动态时序图的指标与人工标注高度相关，验证了其有效性。系统评估揭示了当前模型的三大缺陷：在多动作序列中无法保持对象状态一致；多对象场景下产生物理上不合理的结果；难以维持顺序动作间的真实时序关系。这些发现通过量化数据得到了证实。

SeqBench首次为文本到视频生成提供了系统化的叙事连贯性评估框架，填补了领域空白。其自动评估指标为模型优化提供了可靠工具，揭示了现有技术在顺序推理能力上的关键不足，为未来模型改进指明了具体方向，对推动叙事生成技术发展具有重要意义。

现有医疗视觉语言模型主要针对结构化的成人影像，在胎儿超声领域面临三大挑战：需要理解探头不同角度拍摄的多视图图像、疾病种类繁杂、图像差异巨大。这导致通用模型在胎儿超声应用中准确率低下，而专业领域又缺乏大规模训练数据，亟需开发贴合产科临床实践的专业化AI系统。

核心创新是显式认知解耦方法：首先构建专家标注的双分图，将超声视图与疾病关联知识结构化注入模型，解耦视图-疾病间的复杂关系；然后通过强化学习引导模型按临床诊断步骤进行推理选择。配合构建的首个大规模胎儿超声报告数据集FetalSigma-1M（包含12家医疗中心的2万份报告），有效缓解了疾病变异性和视图异质性导致的学习瓶颈。

在所有孕周测试中，FetalMind均超越开源和闭源基线模型，平均性能提升14%，对危重病症的诊断准确率大幅提高61.2%。系统在保持高效稳定的同时展现出优秀的扩展性，验证了方法在真实临床场景的有效性。

该研究通过临床知识引导的认知建模，成功解决了胎儿超声的多视图推理挑战，推动了医疗AI向专业化、人性化发展。其构建的数据集和方法框架为产科AI应用奠定了重要基础，对提升基层医疗机构超声诊断水平具有实际意义。

自动驾驶等机器人系统需通过高保真仿真进行安全测试，但现有神经渲染方法存在三大局限：渲染速度慢、仅支持针孔相机模型、多传感器数据不一致。传统方案常以牺牲某一传感器质量为代价，无法满足需广角镜头和激光雷达的实时应用需求。

基于支持复杂相机模型的3DGUT框架，创新性地引入激光雷达支持：1）通过自动分块策略适配任意旋转式激光雷达模型，结合光线剔除优化；2）设计分解式3D高斯表示与锚定策略，将场景几何与外观解耦，使相机与激光雷达共享底层表示，减少跨传感器误差；3）采用无迹变换处理不确定性传播，实现物理真实的传感器模拟。

在主流自动驾驶数据集测试中：1）相机与深度误差比现有方法降低最高40%；2）渲染速度比射线追踪方法快10-20倍，比基于光栅化的方法快1.5-10倍；3）在相机内参标定、LiDAR点云质量等多项指标达到或超越最先进方法。

SimULi首次实现跨模态传感器的实时高保真仿真，其分解式表示框架为多传感器融合系统提供了可靠测试平台，对自动驾驶、机器人等安全关键领域的仿真验证具有重要推进作用。

影视制作领域如虚拟制片等新兴工作流，需同时满足精确画质控制与节能需求。现有视频转码方法存在画质控制不精准或计算开销大的缺陷，无法兼顾质量关键场景下的严格标准与能效要求。

设计轻量神经网络LiteVPNet，通过低复杂度特征（包括码流特性、视频复杂度指标及CLIP语义嵌入）直接预测NVENC AV1编码器的量化参数。创新点在于融合多维度特征实现精准参数映射，并采用轻量化结构降低计算开销。

在广泛质量目标下，平均VMAF画质误差小于1.2分。87%测试视频的误差控制在2分以内，显著优于现有最佳方法的61%。各质量区间均表现稳定，验证其泛化能力。

LiteVPNet为高质量视频传输提供了精准高效的编码控制方案，推动影视工业向节能化发展，对实时流媒体与高价值内容传输具有重要应用价值。

实时视频通信的质量体验受带宽估计精度直接影响，但现有方法面临三大挑战：网络架构快速演进导致传统模型失效，复杂协议栈增加建模难度，以及缺乏可靠关联用户体验的质量指标。微软Teams等商业系统亟需能适应动态网络环境且直接优化用户感知的带宽估计方案

首先基于用户主观评价构建客观质量奖励模型，从真实Teams通话采集100万条网络轨迹数据并标注质量评分。创新提出分布化离线强化学习算法，通过价值分布估计和不确定性建模解决离线训练中的外推误差问题，训练神经网络带宽估计器直接优化质量奖励，避免在线试错风险

实际A/B测试显示，新方法相较基线将主观不良通话率降低11.41%。在D4RL基准任务上的对比实验验证了算法泛化能力，在halfcheetah-medium-v0等任务中取得SOTA性能，证实方法超越带宽估计场景的普适性

研究证明了人机协同与离线强化学习在通信系统优化中的有效性，首次实现将主观体验直接转化为带宽控制策略。为实时系统QoE优化提供了可部署的数据驱动范式，推动通信领域从网络指标导向转向用户体验导向的技术变革

当前基于大语言模型的3D场景生成面临高质量训练数据匮乏的挑战，尤其缺乏覆盖多样房间类型且具备精细标注的室内布局数据。现有数据集难以支持复杂的多模态学习，限制了模型在环境感知和具身智能任务中的应用。本研究旨在构建大规模、多模态的室内场景数据集，解决数据稀缺性和标注质量不足的核心瓶颈。

构建包含27,816个室内布局和18种房间类型的大规模数据集IL3D，配套29,215个高精度3D物体资源库。核心创新在于提供实例级自然语言标注，支持点云、3D边界框、多视角图像等六种灵活数据导出格式。通过监督微调技术优化LLM在布局生成任务中的表现，并建立涵盖生成质量和泛化能力的多维度评估基准。

实验表明，使用IL3D进行监督微调的LLM在场景生成任务中显著优于其他数据集训练的模型，泛化能力提升明显。基准测试验证了生成布局的合理性和多样性，在视觉保真度和空间合理性指标上均达到最优水平。多模态数据导出功能成功支持了不同视觉任务的适配需求。

IL3D填补了LLM驱动3D场景生成领域的数据空白，其多模态标注体系和灵活数据接口为视觉-语言任务提供了重要基础支撑。该数据集将推动室内场景生成、具身智能环境感知等研究方向的发展，为构建更智能的虚拟环境生成系统奠定数据基础。

当前计算机视觉领域面临高质量标注数据严重匮乏的瓶颈。人工标注成本高昂且在某些领域不可行，而像图像分类这类数据驱动任务亟需突破数据限制的方案。研究旨在通过领域自适应技术，将已训练模型迁移到不同数据分布的新领域（如油画→真实图像），从而降低对目标域标注数据的依赖。

论文系统梳理了领域自适应的核心方法：1）基于特征对齐，通过最大均值差异或对抗训练缩小源域与目标域特征分布差异；2）结合生成对抗网络，利用生成器合成目标域风格数据、判别器区分域来源，实现域不变特征学习；3）集成自训练策略，对高置信度伪标签数据迭代优化。重点分析了GAN在特征级与像素级自适应中的创新应用。

综述表明，结合GAN的领域自适应方法在多个基准数据集（如Office-31、VisDA）上显著提升跨域性能。与基线相比，在无监督设置下分类准确率平均提升8-15%，部分方法在合成到真实场景的迁移任务中接近有监督学习效果。通过对比MMD、DANN、CycleGAN等典型方法，验证了对抗训练在特征对齐中的优越性。

研究证实领域自适应与GAN的结合能有效缓解数据稀缺问题，推动模型在域偏移场景下的实用化。其方法论为小样本学习、跨模态迁移等方向提供理论基础，对医疗影像、自动驾驶等标注成本高的领域具有重要应用价值。