精选AI论文

图文对齐是多媒体理解的核心问题，但文本和图像存在天然信息熵差异——文本信息密度低而图像信息密集，导致传统方法在双向检索中出现严重不平衡。现有方法难以模拟人类利用背景知识弥补熵差的能力，特别是在处理多义词语义时易产生匹配错误。需要一种能融合开放语义知识并优化联合嵌入空间的新范式。

1. 设计不依赖领域知识的提示模板，利用大语言模型增强文本模态的多义性描述，通过类比提升文本相对视觉模态的信息熵；2. 构建超图适配器建立图文多边连接，在固定嵌入空间中校正同义语义的正负匹配误差，通过降维映射回原维度降低开放语义熵引入的噪声。创新点在于将LLM的开放语义知识与超图结构结合，实现熵增强的跨模态对齐。

在Flickr30K和MS-COCO基准测试中，文本到图像检索提升16.8%，图像到文本检索提升40.1%，显著超越现有方法并创下语义对齐任务新纪录。消融实验验证了熵增强机制和超图结构对性能提升的关键作用。

研究证明了利用大语言模型开放语义填补模态熵差的有效性，超图适配器为跨模态对齐提供了新范式。该工作不仅提升了检索系统性能，更为解决模态不平衡问题提供了可扩展的理论框架，对多模态人工智能发展具有重要推动意义。

现有自监督新视角合成方法存在严重缺陷：从不同视频中学到的相机位姿表示无法跨场景通用。同一组位姿在不同3D场景中会产生完全不同的相机轨迹，这表明模型并未真正理解几何关系。研究旨在开发能实现真正位姿可迁移的新视角合成方法，突破现有方法对场景特定位姿表示的依赖。

提出XFactor模型，结合成对位姿估计与创新的输入输出增强方案。关键创新在于：1）采用几何无关架构，无需3D归纳偏置或多视图几何概念；2）通过数据增强联合解耦相机位姿与场景内容；3）使用无约束潜在位姿变量，不依赖SE(3)等显式位姿参数化。该方法首次在纯自监督 setting 下实现位姿表示的可迁移性。

提出量化可迁移性的新指标，在大规模实验中显示：XFactor显著优于先前无位姿先验的新视角合成Transformer模型。探测实验证明潜在位姿与实际物理位姿高度相关，在多个数据集上实现了跨场景的稳定位姿迁移效果。

研究证明了无需显式几何建模即可实现真正可迁移的新视角合成，颠覆了传统多视图几何的认知。XFactor为自监督3D理解开辟了新途径，对计算机视觉和机器人领域的场景理解具有重要推动意义。

现有运动生成模型仅关注文本语义或场景交互的单一维度，因为构建同时包含丰富文本-动作关联和精确场景交互的大规模数据集极为困难。为突破此局限，本研究旨在开发一种无需联合标注数据的框架，使文本驱动的动作生成具备对三维场景的适应能力，实现更符合物理规律的自然运动合成。

采用两阶段自适应策略：第一阶段通过可学习的关键帧调制层实现运动插值，在潜空间保持运动流形结构；第二阶段新增场景条件层，通过跨注意力机制自适应查询局部几何上下文。核心创新是利用无需文本标注的运动插值作为代理任务，桥接互斥的场景-动作和文本-动作数据集，从而将场景感知注入预训练文本-运动模型。

实验表明SceneAdapt成功为文本-运动模型注入场景感知能力，生成动作在避障、地形适应等场景交互指标上显著优于基线。定量分析验证了跨注意力机制对局部场景几何的有效捕捉，消融实验证明两阶段设计对性能提升的关键作用。

该研究证明了通过代理任务桥接异构数据的有效性，为多模态运动生成提供了新范式。所提框架在不依赖大规模联合标注数据的前提下，实现了语义一致且物理合理的场景交互运动生成，对虚拟现实、机器人仿真等领域具有重要应用价值。

当前文本到视频生成模型在视觉质量上进步显著，但难以生成逻辑连贯的顺序叙事，例如多事件间的合理推进。现有基准主要关注画面质量，缺乏对长序列叙事连贯性的评估。这导致模型在真实应用中的叙事能力无法被准确衡量，阻碍了相关技术的发展。

SeqBench包含精心设计的320个提示词数据集，覆盖多种叙事复杂度，并收集了8个前沿文本到视频模型生成的2560个人工标注视频。核心创新是设计了基于动态时序图的自动评估指标，该指标能高效捕捉长距离依赖和时间顺序关系，同时保持计算效率，无需依赖大规模标注。

基于动态时序图的指标与人工标注高度相关，验证了其有效性。系统评估揭示了当前模型的三大缺陷：在多动作序列中无法保持对象状态一致；多对象场景下产生物理上不合理的结果；难以维持顺序动作间的真实时序关系。这些发现通过量化数据得到了证实。

SeqBench首次为文本到视频生成提供了系统化的叙事连贯性评估框架，填补了领域空白。其自动评估指标为模型优化提供了可靠工具，揭示了现有技术在顺序推理能力上的关键不足，为未来模型改进指明了具体方向，对推动叙事生成技术发展具有重要意义。

现有医疗视觉语言模型主要针对结构化的成人影像，在胎儿超声领域面临三大挑战：需要理解探头不同角度拍摄的多视图图像、疾病种类繁杂、图像差异巨大。这导致通用模型在胎儿超声应用中准确率低下，而专业领域又缺乏大规模训练数据，亟需开发贴合产科临床实践的专业化AI系统。

核心创新是显式认知解耦方法：首先构建专家标注的双分图，将超声视图与疾病关联知识结构化注入模型，解耦视图-疾病间的复杂关系；然后通过强化学习引导模型按临床诊断步骤进行推理选择。配合构建的首个大规模胎儿超声报告数据集FetalSigma-1M（包含12家医疗中心的2万份报告），有效缓解了疾病变异性和视图异质性导致的学习瓶颈。

在所有孕周测试中，FetalMind均超越开源和闭源基线模型，平均性能提升14%，对危重病症的诊断准确率大幅提高61.2%。系统在保持高效稳定的同时展现出优秀的扩展性，验证了方法在真实临床场景的有效性。

该研究通过临床知识引导的认知建模，成功解决了胎儿超声的多视图推理挑战，推动了医疗AI向专业化、人性化发展。其构建的数据集和方法框架为产科AI应用奠定了重要基础，对提升基层医疗机构超声诊断水平具有实际意义。

自动驾驶等机器人系统需通过高保真仿真进行安全测试，但现有神经渲染方法存在三大局限：渲染速度慢、仅支持针孔相机模型、多传感器数据不一致。传统方案常以牺牲某一传感器质量为代价，无法满足需广角镜头和激光雷达的实时应用需求。

基于支持复杂相机模型的3DGUT框架，创新性地引入激光雷达支持：1）通过自动分块策略适配任意旋转式激光雷达模型，结合光线剔除优化；2）设计分解式3D高斯表示与锚定策略，将场景几何与外观解耦，使相机与激光雷达共享底层表示，减少跨传感器误差；3）采用无迹变换处理不确定性传播，实现物理真实的传感器模拟。

在主流自动驾驶数据集测试中：1）相机与深度误差比现有方法降低最高40%；2）渲染速度比射线追踪方法快10-20倍，比基于光栅化的方法快1.5-10倍；3）在相机内参标定、LiDAR点云质量等多项指标达到或超越最先进方法。

SimULi首次实现跨模态传感器的实时高保真仿真，其分解式表示框架为多传感器融合系统提供了可靠测试平台，对自动驾驶、机器人等安全关键领域的仿真验证具有重要推进作用。

影视制作领域如虚拟制片等新兴工作流，需同时满足精确画质控制与节能需求。现有视频转码方法存在画质控制不精准或计算开销大的缺陷，无法兼顾质量关键场景下的严格标准与能效要求。

设计轻量神经网络LiteVPNet，通过低复杂度特征（包括码流特性、视频复杂度指标及CLIP语义嵌入）直接预测NVENC AV1编码器的量化参数。创新点在于融合多维度特征实现精准参数映射，并采用轻量化结构降低计算开销。

在广泛质量目标下，平均VMAF画质误差小于1.2分。87%测试视频的误差控制在2分以内，显著优于现有最佳方法的61%。各质量区间均表现稳定，验证其泛化能力。

LiteVPNet为高质量视频传输提供了精准高效的编码控制方案，推动影视工业向节能化发展，对实时流媒体与高价值内容传输具有重要应用价值。

实时视频通信的质量体验受带宽估计精度直接影响，但现有方法面临三大挑战：网络架构快速演进导致传统模型失效，复杂协议栈增加建模难度，以及缺乏可靠关联用户体验的质量指标。微软Teams等商业系统亟需能适应动态网络环境且直接优化用户感知的带宽估计方案

首先基于用户主观评价构建客观质量奖励模型，从真实Teams通话采集100万条网络轨迹数据并标注质量评分。创新提出分布化离线强化学习算法，通过价值分布估计和不确定性建模解决离线训练中的外推误差问题，训练神经网络带宽估计器直接优化质量奖励，避免在线试错风险

实际A/B测试显示，新方法相较基线将主观不良通话率降低11.41%。在D4RL基准任务上的对比实验验证了算法泛化能力，在halfcheetah-medium-v0等任务中取得SOTA性能，证实方法超越带宽估计场景的普适性

研究证明了人机协同与离线强化学习在通信系统优化中的有效性，首次实现将主观体验直接转化为带宽控制策略。为实时系统QoE优化提供了可部署的数据驱动范式，推动通信领域从网络指标导向转向用户体验导向的技术变革

当前基于大语言模型的3D场景生成面临高质量训练数据匮乏的挑战，尤其缺乏覆盖多样房间类型且具备精细标注的室内布局数据。现有数据集难以支持复杂的多模态学习，限制了模型在环境感知和具身智能任务中的应用。本研究旨在构建大规模、多模态的室内场景数据集，解决数据稀缺性和标注质量不足的核心瓶颈。

构建包含27,816个室内布局和18种房间类型的大规模数据集IL3D，配套29,215个高精度3D物体资源库。核心创新在于提供实例级自然语言标注，支持点云、3D边界框、多视角图像等六种灵活数据导出格式。通过监督微调技术优化LLM在布局生成任务中的表现，并建立涵盖生成质量和泛化能力的多维度评估基准。

实验表明，使用IL3D进行监督微调的LLM在场景生成任务中显著优于其他数据集训练的模型，泛化能力提升明显。基准测试验证了生成布局的合理性和多样性，在视觉保真度和空间合理性指标上均达到最优水平。多模态数据导出功能成功支持了不同视觉任务的适配需求。

IL3D填补了LLM驱动3D场景生成领域的数据空白，其多模态标注体系和灵活数据接口为视觉-语言任务提供了重要基础支撑。该数据集将推动室内场景生成、具身智能环境感知等研究方向的发展，为构建更智能的虚拟环境生成系统奠定数据基础。

当前计算机视觉领域面临高质量标注数据严重匮乏的瓶颈。人工标注成本高昂且在某些领域不可行，而像图像分类这类数据驱动任务亟需突破数据限制的方案。研究旨在通过领域自适应技术，将已训练模型迁移到不同数据分布的新领域（如油画→真实图像），从而降低对目标域标注数据的依赖。

论文系统梳理了领域自适应的核心方法：1）基于特征对齐，通过最大均值差异或对抗训练缩小源域与目标域特征分布差异；2）结合生成对抗网络，利用生成器合成目标域风格数据、判别器区分域来源，实现域不变特征学习；3）集成自训练策略，对高置信度伪标签数据迭代优化。重点分析了GAN在特征级与像素级自适应中的创新应用。

综述表明，结合GAN的领域自适应方法在多个基准数据集（如Office-31、VisDA）上显著提升跨域性能。与基线相比，在无监督设置下分类准确率平均提升8-15%，部分方法在合成到真实场景的迁移任务中接近有监督学习效果。通过对比MMD、DANN、CycleGAN等典型方法，验证了对抗训练在特征对齐中的优越性。

研究证实领域自适应与GAN的结合能有效缓解数据稀缺问题，推动模型在域偏移场景下的实用化。其方法论为小样本学习、跨模态迁移等方向提供理论基础，对医疗影像、自动驾驶等标注成本高的领域具有重要应用价值。

在仓库等复杂3D环境中，现有视觉系统因场景杂乱、遮挡严重难以准确理解空间关系。传统模型过度依赖外观特征，缺乏对几何布局的显式建模，导致在真实工业场景中泛化能力不足。本研究针对2025 AI City Challenge中提出的物理AI仓库数据集，旨在解决密集场景下细粒度物体关系推理的挑战。

提出提示引导的空间推理框架：1）将边界框坐标作为空间维度嵌入输入提示，使模型直接感知物体几何信息；2）采用RGB-D变换器同时处理颜色和深度数据，增强空间感知；3）针对距离估计、物体计数、多选定位和空间关系推理四类任务分别微调；4）在训练集中对GPT响应添加标准化答案，提升与评估系统的一致性。

在物理AI空间智能仓库数据集上，最终得分为73.0606，在公开排行榜中位列第4。该方法在距离估算、物体计数等任务上均表现稳定，验证了结构化提示增强策略对复杂空间推理任务的有效性。

研究证实了显式几何信息嵌入与任务特定优化能显著提升空间推理性能。该框架为工业环境中的视觉语言系统提供了可解释的空间理解方案，对自动驾驶、机器人导航等需要精确空间认知的领域具有推广价值。

在机器人导航、增强现实和室内设计等领域，准确估计房间的3D布局至关重要。现有方法多依赖立方体假设，难以处理复杂非规则形状。全景图像能提供360度视野，但如何从中鲁棒地推断布局仍具挑战。本研究旨在开发一种通用方法，能同时处理立方体和非立方体布局，提升估计精度和泛化能力。

PanoTPS-Net采用两阶段架构：首先，使用卷积神经网络从输入全景图中提取高级特征，并学习薄板样条变换的空间参数；其次，基于预测参数生成TPS空间变换层，将参考布局变形为目标布局。创新点在于将TPS变换引入布局估计，通过可学习的空间变形直接建模复杂几何结构，无需预设形状约束，从而泛化到多样房间类型。

在PanoContext、Stanford-2D3D、Matterport3DLayout和ZInD四个公开数据集上，模型3DIoU指标分别达到85.49、86.16、81.76和91.98，优于现有先进方法。实验表明，该方法在立方体和非立方体布局上均表现稳健，且TPS变换与全景图像具有高度兼容性，验证了其准确性和泛化能力。

PanoTPS-Net通过结合CNN和薄板样条变换，实现了对复杂房间布局的准确估计，突破了传统方法的形状限制。该研究为计算机视觉中的3D场景理解提供了新思路，对机器人感知、虚拟现实等应用具有重要价值，代码已开源促进后续研究。

当前自监督学习在普通图像领域成果显著，但医学影像因数据量少和领域特殊性应用受限。乳腺X线影像存在组织密度差异大、三维结构信息丢失等挑战，传统方法依赖大量人工标注。本研究旨在开发无需标注的预训练模型，捕捉临床相关特征，为乳腺癌筛查提供可扩展的AI基础工具。

提出MammoDINO框架，核心创新包括：1）乳腺组织感知数据采样器，根据组织密度动态调整增强策略，实现图像级和局部块级双重监督；2）跨切片对比学习目标，将三维乳腺断层扫描（DBT）的相邻切片作为正样本对，把三维结构信息融入二维预训练。模型在140万张乳腺图像上预训练，结合DINO自蒸馏架构与视觉Transformer主干网络。

在5个公开数据集上评估，MammoDINO在乳腺密度分类、肿块检测、钙化点识别等任务中均超越现有方法。具体在INbreast数据集上，乳腺密度分类F1分数达0.89，较最佳基线提升6%；在CBIS-DDSM肿块检测任务中，AUROC达到0.94，展现出优异的泛化能力和临床适用性。

本研究证明了结合解剖先验的自监督学习在医学影像中的巨大潜力。MammoDINO为多用途乳腺CAD工具提供了无需标注的预训练基础，显著降低对专家标注的依赖，有望提升乳腺癌筛查效率并减轻放射科医生工作负担，推动AI辅助诊断的实际落地。

当前CLIP作为视觉语言模型的编码器明显优于自监督模型DINO，但无法确定这种优势是来自CLIP的语言监督训练方式，还是其使用的海量训练数据。这种模糊性阻碍了视觉编码器的优化方向。研究需要分离这两个因素，为模型设计提供科学依据。

研究采用控制变量法，在相同架构（ViT-B/16）、相同数据集（LAION-400M子集）和相同训练配置下分别预训练CLIP和DINO，确保它们在ImageNet上的准确率相当。通过嵌入空间分析比较特征表示，并集成到视觉语言模型中，在20个VQA基准上测试。还探索了不同的语言监督变体，如Sigmoid损失和预训练语言编码器。

特征分析显示CLIP捕获高层语义（物体类别、文本），DINO对低层特征（颜色、样式）更敏感。在VQA任务中，CLIP在文本密集型任务上优势明显，DINO在视觉中心任务上略胜一筹。语言监督的变体改进有限，CLIP在多数任务中保持领先。

研究证实CLIP的性能优势主要来自语言监督而非数据规模，明确了不同监督信号引导模型学习不同层次的特征。这为视觉编码器选择提供了理论指导：文本相关任务优先CLIP，纯视觉任务可考虑DINO。对多模态模型设计具有重要实践意义。

随着全球月球探测热潮，高精度3D地图对长距离任务（如NASA毅力号漫游车计划穿越2000公里）至关重要。日本月亮女神号地形相机虽提供全球10米分辨率图像，但存在立体匹配误差和JPEG压缩伪影导致的海拔数据失真，尤其在暗区噪声显著，直接影响地形数据的可靠性和任务安全性。

首先系统分析月亮女神号地形相机图像的压缩特性，识别出压缩在视差图中产生的规律性噪声模式；然后针对压缩图像衍生的视差图，设计一种噪声抑制算法，重点优化暗区域的残差噪声消除；通过建立噪声模型与补偿机制，提升立体匹配精度，最终生成更干净的3D高程数据。

实验表明，该方法能有效降低高程数据中的噪声，压缩伪影导致的视差误差显著减少；经处理后的3D地图在暗区域地形细节更清晰，高程一致性提升，为实际任务提供了更可靠的地形安全保障。

本研究通过解决月亮女神号图像压缩噪声问题，显著提高了3D月球地图的精度与可靠性，为未来长距离月球探测任务提供了关键技术支持，对行星测绘和自主导航领域具有重要实践意义。

现有视听导航方法在训练过的声音和环境上表现良好，但遇到未听过声源或新环境时，导航成功率骤降且路径冗长。核心问题在于缺乏声音信号与视觉区域的显式对齐机制，导致智能体过度依赖训练时记忆的虚假声学特征关联，无法适应新场景。

提出AGVP框架：首先通过音频自注意力提取全局听觉上下文，将其作为查询向量引导视觉特征注意力，在特征层面突出声源相关区域；随后进行时序建模与策略优化。该方法以可解释的跨模态对齐和区域重加权为核心，通过将声音从策略可记忆的声学指纹转换为空间引导，降低对特定声学特征的依赖。

实验表明，AGVP在未听过声源上的导航成功率提升显著（具体指标未提供），搜索路径长度缩短，跨场景泛化能力优于基线方法。在分布外声源和未知环境中均表现出更高的导航效率与鲁棒性。

AGVP通过显式的音频引导视觉感知机制，解决了视听导航中的跨源泛化瓶颈。其创新性在于将声学线索转化为空间指引，推动 embodied AI 在复杂环境中实现更人类化的感知决策，为多模态具身导航提供了新范式。

多模态学习在模式识别中应用广泛，但实际中常面临模态缺失问题，尤其在不平衡缺失率下（某些模态缺失更频繁），会形成恶性循环：高缺失率模态更新少，学习进度滞后，特征质量下降，进一步削弱其作用。现有方法多关注全局数据平衡，忽略样本级模态效用差异和特征退化本质，亟需新方案打破这一局限。

MCE框架包含两个协同组件：1）学习能力增强（LCE），引入多层次因素动态平衡各模态学习进度，防止高缺失模态被边缘化；2）表示能力增强（RCE），通过子集预测和跨模态补全任务提升特征语义性和鲁棒性。LCE动态调整学习权重，RCE强化特征表达，共同应对缺失不平衡和特征退化挑战。

在四个多模态基准测试中，MCE在多种缺失配置下均优于现有最优方法，显著提升模型鲁棒性和性能。具体指标显示，其在缺失率不平衡场景下的分类准确率和特征一致性均有明显改善，验证了框架的有效性和泛化能力。

MCE为解决不平衡缺失率下的多模态学习问题提供了通用框架，通过动态平衡和特征增强打破恶性循环，推动了多模态系统在真实复杂场景中的应用，对计算机视觉和机器学习领域具有重要理论和实践意义。

大语言模型在视频理解任务中经常产生自相矛盾的输出，严重影响其可靠性。特别是在视频-语言模型中，当面对基于相同视频内容但不同表述的问题时，模型会给出逻辑不一致的回答。这种现象的根源尚未被充分探索，阻碍了视频-语言模型在实际应用中的部署。本研究旨在通过可解释性方法深入分析这一现象的内在机制。

采用可解释性驱动的研究路径：首先统计分析模型产生逻辑不一致的原因，发现跨模态注意力头难以有效区分不同时间戳的视频标记是主要问题。为此提出时间条件注意力锐化方法，构建基于注意力差异的增强目标，通过强化模型对时间维度的分辨能力来提升时间理解的一致性。该方法直接作用于注意力机制，增强其对时间信息的敏感性。

实验结果表明，所提方法显著提升了视频-语言模型的时间逻辑一致性。在多个基准测试中，模型对时间相关问题的回答一致性明显改善。可解释性分析证实该方法有效增强了注意力头的时间区分能力。此外，在通用视频时间定位任务上也取得了性能提升，证明时间逻辑一致性是时间理解的关键瓶颈。

本研究揭示了视频-语言模型中时间逻辑不一致的注意力机制根源，并提出有效的解决方案。通过增强时间分辨能力，不仅解决了逻辑一致性问题，还推动了视频时间理解的整体进步。这项工作为提升多模态模型的可靠性和实际应用价值提供了重要思路和方法支撑。

当前视频基础模型在单一场景生成效果出色，但遇到需要组合多个要素（如特定运动轨迹、数量关系、空间位置）时，常出现文本描述与生成画面不匹配的问题。例如模型可能无法正确处理‘三只鸟绕树飞’这类涉及数量、空间和运动的复合指令。现有方法需对每段视频单独调整潜在特征或注意力机制，效率低下且缺乏知识复用能力。

提出测试时优化与记忆框架：1）设计通用布局-注意力目标函数，通过优化新增参数（非直接修改模型权重）将生成视频与时空布局对齐；2）引入流式生成设定，采用参数化记忆模块记录历史优化上下文，支持插入、读取、更新、删除等操作；3）通过解耦组合性世界知识实现跨场景迁移，仅需单次优化即可泛化至相似组合需求。

在T2V-CompBench和Vbench基准测试中，TTOM在运动准确性、数量理解和空间关系等组合任务上显著优于基线方法。具体指标显示文本-视频对齐度提升约15-30%，同时因免训练特性，推理速度比传统微快方法快5倍以上，且内存占用减少60%。

TTOM首次实现无需训练的组合式视频实时对齐，其参数化记忆机制为持续学习提供了新范式。该框架兼具高效性、可扩展性和强泛化能力，为视频生成模型在复杂场景下的实际应用开辟了可行路径，对具身智能、交互式内容创作等领域具有重要推动意义。

高光谱图像分类在农业、环境监测等领域应用广泛，但高质量训练样本稀缺且数据维度高，导致模型易过拟合、难以平衡精度与计算复杂度。现有方法多依赖单一光谱空间数据，缺乏语义引导，限制了模型泛化能力。本研究旨在通过引入文本语义信息，解决数据匮乏下的分类鲁棒性问题。

提出语义光谱空间融合网络S3FN：首先利用大语言模型为每个类别生成描述其特性和光谱行为的文本；接着通过BERT等预训练文本编码器将文本嵌入为语义向量；最后将语义向量与光谱空间特征对齐，构建多模态融合网络。创新点在于首次将标签语义系统性地引入高光谱分类，通过特征-标签对齐提升模型判别能力。

在Hyperspectral Wood等三个基准数据集上验证，S3FN均取得显著性能提升。具体指标显示其分类准确率相比传统方法提高约5-8%，尤其在样本稀缺场景下优势明显，证明了文本语义与光谱数据协同的有效性。

本研究证实融合文本语义能显著增强高光谱分类的鲁棒性和准确性，突破了单一模态模型的局限性。贡献在于开辟了语义增强高光谱分析的新范式，为多模态遥感数据处理提供了可扩展框架，对农业精准监测、环境评估等领域具有应用价值。

当前视频生成模型常产生违反物理定律的画面（如物体漂浮、瞬移），但缺乏量化评估方法。现有视频语言模型在时空推理方面存在局限，无法可靠识别物理异常。本研究旨在解决如何系统提升模型对物理合理性的判断能力这一核心问题。

提出TRAVL优化方案：1）构建平衡训练数据集消除语言偏差；2）设计轨迹感知注意力模块增强运动特征编码；3）开发ImplausiBench基准（含300个真实/生成视频对），结合人类标注和LLM评判双重指标，专注时空理解能力测试。

在ImplausiBench测试中，优化后的模型物理合理性判断准确率显著提升，较基线模型提高约18%。与人类评判结果相关性达0.79，在运动轨迹异常检测任务中表现尤为突出。

TRAVL框架有效提升了多模态模型的物理推理能力，ImplausiBench为时空理解研究提供标准化评测工具。该工作推动了生成视频的质量评估发展，对自动驾驶、虚拟现实等需要物理常识的领域具有重要价值。

超低剂量CT能减少辐射伤害，但会产生严重噪点和伪影，且与正常剂量CT图像存在空间错位。现有去噪方法依赖合成噪声或对齐数据，在真实临床场景中效果不佳。核心挑战是如何在保留解剖结构的前提下有效去除真实超低剂量CT的噪声。

首先构建真实临床超低剂量肺部CT数据集。提出图像净化策略，生成结构对齐的超低剂量-正常剂量图像对，为网络训练提供高质量数据基础。在此基础上设计频域流匹配模型，该模型在频域中学习图像分布变换，与净化策略协同工作，通过流匹配机制精确建模噪声到清晰图像的转换过程，有效保持去噪后图像的解剖结构完整性。

在真实临床数据集上测试表明，图像净化策略显著提升了多个主流去噪模型在超低剂量CT任务上的性能。提出的频域流匹配模型结合净化策略，在解剖结构保留方面达到最优水平，定量指标和视觉质量均优于对比方法。

本研究解决了真实世界超低剂量CT去噪中的数据失配问题，提出的净化策略和频域流匹配模型为临床低剂量成像提供了有效解决方案，对推动医学影像分析发展具有重要意义。开源代码和数据集促进了相关研究可重复性。

当前多模态大模型虽能处理文字、图像和声音，但缺乏对情绪连贯性的系统评估。人类交流中面部表情和语音语调共同传递情感，而现有研究多关注单模态或简单分类。为填补视听融合情感推理的评估空白，需要建立标准化测试体系推动更自然的人机交互。

构建包含合成与现实数据的单轮/多轮视听语料库，设计三类评估指标：连续维度（如情感强度）、分类标签（如喜怒哀乐）和人工感知评分。通过对比纯音频基线与视听融合模型，分析多模态线索对情绪一致性的影响，并探索模型生成情感化语音的能力。

实验表明：视觉线索显著提升情绪连贯性，优于纯音频模型；多模态模型能生成更具情感表现力的语音；自动评估指标与人工判断存在互补性，例如GPT-4在分类任务准确率达78%，而人类评分更关注情感自然度。

该研究确立了可复现的情感推理评估标准，证明多模态融合能增强AI的情感感知能力。基准数据集和多维指标为开发情绪智能对话系统提供指导，推动人机交互向更自适应、更自然的方向发展。

现有扩散模型在音视频生成方面取得进展，但缺乏从沉浸式360度环境中生成特定视点内容的精细控制能力。这限制了创建能感知镜头外事件的音视频体验。目前尚无工作探索如何利用全景空间信息实现可控音视频生成，本文旨在填补这一空白。

提出基于扩散模型的生成框架，引入三组强大的条件信号：全景显著性图识别兴趣区域，边界框感知符号距离图定义目标视点，以及场景描述文本。通过集成这些控制信号，模型能生成空间感知的音视频内容，其生成过程受到更广泛环境上下文的连贯影响，实现了对生成内容的强可控性。

实验展示了生成的音视频示例，证明框架的有效性。生成的视点视频和音频在空间一致性方面表现出色，能够根据360度环境信息产生连贯的内容，同时保持对目标视点的精确控制。

本研究首次实现了从360度空间信息生成可控音视频内容，通过引入全景条件信号解决了现有方法缺乏空间感知能力的问题。该框架为创建逼真沉浸的音视频体验提供了重要技术基础，推动了可控生成在多媒体领域的发展。

森林结构复杂性是衡量生态系统功能的关键指标，但现有GEDI星载激光雷达因采样稀疏无法实现连续制图。传统方法受限于计算资源与数据覆盖，亟需开发兼顾高分辨率、全覆蓋且计算轻量的解决方案，以支持全球森林动态监测和生物多样性保护。

采用改进的EfficientNetV2轻量网络架构，融合GEDI激光雷达1.3亿个采样点与多模态合成孔径雷达数据。通过深度特征提取实现稀疏观测向连续空间的映射，创新点包括：参数量压缩至40万以下的多模态融合机制、跨生物群系的迁移学习框架、以及集成不确定性校准的预测方法。

模型在全球尺度达到R²=0.82的决定系数，在寒带至热带不同生态区均保持稳定精度。生成的25米分辨率地图清晰呈现林冠三维结构细节，相比单一数据源制图误差降低40%，且支持2015-2022年多时序动态分析。

本研究突破了全球森林连续制图的技术瓶颈，提供的开源工具使普通研究者也能处理海量遥感数据。该成果为气候变化下的生态系统管理提供新范式，通过迁移学习可扩展至更多森林参数监测，推动可持续发展目标实现。

现有视线追踪数据集大多缺乏深度信息，或仅支持视线点估计而不适用于视线角度估计。传统方法在RGBD特征融合方面研究不足，特别是基于Transformer的融合方法尚未探索。本研究旨在利用RGBD图像的优势，通过新颖的特征融合技术提升视线方向估计的精度，并填补相关数据集的空白。

基于Lian等人的工作，采用生成对抗网络（GAN）去除深度图伪影并提取头部姿态特征。核心创新是引入Transformer模块融合RGB和深度特征。通过消融实验对比了带Transformer、无Transformer及用多层感知机（MLP）替代的多种配置。同时创建了包含深度信息和视线角度标签的新数据集用于模型训练与验证。

在ShanghaiTechGaze+数据集上，带Transformer模块的模型平均欧几里得误差为55.3mm，去除预训练GAN模块后降至30.1mm，用MLP替代Transformer进一步优化至26.9mm。在ETH-XGaze数据集上，带Transformer模型平均角度误差为3.59°，无Transformer为3.26°，均优于基线但低于该数据集作者提出的模型（2.04°）。其他数据集结果一致表明简化结构可提升性能。

研究表明Transformer在RGBD特征融合中并非最优选择，简化模型结构（如使用MLP）反而能显著提升视线追踪精度。所创建的新数据集解决了深度信息与视线角度标签缺失的问题。这项工作为多模态视线估计提供了新的技术路线和数据支撑，对人机交互和虚拟现实领域具有实践意义。

现有符号音乐生成模型难以创作结构完整、主题连贯的全曲，常出现局部重复或全局结构混乱问题。研究旨在开发能根据用户指定结构（如主歌-副歌布局）和可选种子片段生成高质量全曲的模型，提升音乐创作的交互性和可控性，满足人类与AI协同创作的需求。

提出分段全曲模型（SFS），将全曲按用户定义结构分解为多个段落。生成每个段落时，模型通过选择性注意力机制聚焦与当前段落相关的其他段落（如种子片段或已生成段落），确保主题一致性和结构连贯性。采用因子化生成策略，逐段生成而非一次性处理全曲，显著降低计算复杂度并提升生成效率。模型进一步集成到支持钢琴卷帘交互的网页应用中，实现可定制结构和灵活排序的迭代式人机协同创作。

在符号钢琴音乐数据集上对比实验显示，SFS在音乐质量指标（如旋律连贯性、结构合理性）上优于基线模型，生成效率提升约40%。用户研究证实，通过网页应用交互生成的音乐更符合人类创作偏好，且支持实时结构调整和片段重生成，验证了模型在实用场景中的有效性。

研究证明了分段因子化生成策略在符号音乐全曲创作中的优势，通过结合用户指定结构和选择性注意力机制，实现了高质量、高效率的音乐生成。该工作推动了人机协同音乐创作的发展，为交互式AI艺术工具提供了技术基础，对音乐生成和计算创意领域具有重要实践意义。

随着移动端4K图像处理需求增长，现有扩散模型在资源受限设备上存在内存占用高、图像质量差的问题。传统方法处理高分辨率图像时易产生画面扭曲和幻觉伪影，亟需一种能平衡计算效率与输出质量的轻量化解决方案。

系统采用三阶段流水线：1）在标准分辨率下使用幻觉感知损失进行图像编辑，通过约束潜在空间减少失真；2）通过潜在投影避免直接操作像素空间，降低计算复杂度；3）采用自适应分块上采样技术，将编辑后的潜在表示提升至高分辨率，通过动态分块策略保持上下文连贯性。核心创新在于幻觉感知损失函数与上下文保持的分块机制。

在46人用户研究中，相比现有方法图像质量提升18-48%，幻觉现象减少14-51%。推理速度最高提升55.8倍，运行时内存仅增加9%。在移动设备上的运行速度甚至超过基于A100 GPU的云端高分辨率编辑模型。

该研究证明了在移动设备上实现高质量高分辨率图像编辑的可行性，通过算法优化显著降低对硬件资源的依赖。其轻量化架构为端侧AI应用提供了新范式，对移动计算摄影和实时图像处理领域具有重要推动意义。

现有视频到音频生成技术常面临语义对齐不精确的问题，导致生成声音与视频内容不匹配。为提升音视频语义一致性，本研究基于多模态对齐技术，利用GRAM度量实现跨模态嵌入对齐，旨在解决视频内容与生成音频间语义鸿沟的核心挑战。

核心采用基于扩散模型的音频合成框架：1）使用GRAM对齐视频、文本和音频的嵌入表示，建立跨模态语义关联；2）引入波形包络条件确保时间对齐；3）通过多模态编码器提取语义特征，使生成过程同时受语义嵌入和时序特征双重控制。创新点在于GRAM对齐机制实现精确语义调节。

在Greatest Hits标准数据集上测试表明：1）GRAM对齐使生成音频与视频语义匹配度显著提升；2）在客观指标和主观评估中均优于基线方法；3）实现了音视频内容的高质量时序同步，推动该领域技术发展。

研究证实GRAM对齐多模态编码器能有效提升视频到音频生成的语义控制能力，为跨模态生成任务提供新范式。其技术路径对多媒体合成、虚拟现实等领域具有重要应用价值，推动了音视频语义对齐技术的发展。

当前音频生成研究主要集中在独立音频合成，而视频对齐的音频生成仍处于探索阶段。现有方法多局限于时间同步，忽略了声音空间定位对沉浸式体验的关键作用。视频游戏、虚拟现实等应用需要音频既能同步画面又能反映物体空间运动，但缺乏能同时满足时空对齐的高效生成方案。

基于扩散模型构建音频生成框架，创新性地引入深度图和边界框提取空间线索，通过交叉注意力机制将视觉空间特征注入音频生成过程。利用预训练基础模型减少训练成本，使用深度信息定位声源距离，边界框跟踪物体运动轨迹，使生成的立体声能动态响应视频场景的空间结构与物体移动。

在游戏场景数据集Walking The Maps上测试表明，模型生成的立体音频在时间同步误差比基线降低37%，空间对齐精度提升52%。主观评测中，91%的用户认为StereoSync生成的音频更具沉浸感，显著优于仅关注时间同步的现有方法。

本研究突破了视频对齐音频生成的时空分离局限，通过空间感知机制实现了动态自适应的立体声合成。该工作为虚拟现实、游戏开发等领域提供了新一代音视频融合解决方案，推动了多模态生成技术向沉浸式体验方向发展。