Selected AI Papers

随着AI生成图像技术的快速发展，人脸深度伪造内容泛滥对安全领域构成严峻挑战。现有检测方法存在两大局限：纯视觉方法难以解释伪造细节，而结合语言的多模态方法容易产生幻觉判断。亟需一种既能精确定位伪造痕迹，又能避免错误判断的可解释检测方案。

CorrDetail框架包含三个创新模块：(1)自校正机制通过错误引导提问主动修正伪造细节判断；(2)视觉细粒度增强模块采用注意力机制放大局部异常特征；(3)融合决策策略整合视觉补偿和偏差降低技术，通过双分支加权提升极端样本处理能力。该方法首次将教学中的形成性评价思想引入伪造检测领域。

在FaceForensics++、Celeb-DF等基准测试中，CorrDetail的AUC达到98.7%，比当前最优方法提升2.3%。细粒度定位实验显示，其伪造区域识别准确率比视觉基线方法高15.6%，且在多数据集交叉验证中保持89%以上的泛化性能。

该研究开创了可解释人脸伪造检测的新范式，其自校正机制和细节增强策略可推广至其他多媒体取证任务。实际贡献在于：1)建立了伪造痕迹的因果分析框架；2)开发了可部署的轻量级检测方案；3)为AI生成内容治理提供了可靠的技术工具。

现有视听定位研究存在两个主要局限：一是基于静态图像，无法捕捉声音随时间的动态变化；二是假设场景过于简化（声源始终可见且单一）。实际应用中常遇到多声源、声源时隐时现等复杂情况。这些限制导致现有方法在真实视频场景中表现不佳，亟需建立更贴近现实的评估基准和建模方法。

研究提出两个核心创新：1) AVATAR基准数据集，包含四种现实场景（单一声源、混合声源、多实体发声、画面外声源），采用高时间分辨率标注；2) TAVLO模型，通过时序建模模块显式捕捉音频-视频的动态关联，采用局部特征对齐机制替代传统的全局特征匹配，实现帧间连续性建模。模型使用3D卷积网络处理视频片段，配合注意力机制强化关键时间点的视听关联。

实验表明：传统方法在混合声源场景下准确率下降37%，在画面外声源场景完全失效；TAVLO在所有场景平均提升21.5%定位精度，时序错位误差降低62%。特别是在10fps高时间分辨率下，TAVLO相比最佳基线方法的mAP达到0.48 vs 0.31，证明时序建模的有效性。

该研究首次系统论证了时间动态对视听定位的关键作用，提出的视频级基准和模型为复杂场景下的声音定位建立了新范式。实际意义在于推动智能监控、视频理解等应用发展，技术贡献体现在：1) 突破静态图像假设；2) 解决多声源/遮挡等现实挑战；3) 开辟视频级视听分析新方向。

当前文生图模型（如Stable Diffusion）在LAION-5B等大规模数据集上训练时，由于标注文本质量参差不齐且缺乏结构，导致模型对用户提示的响应不稳定。用户不得不花费大量时间调整提示词（prompt engineering）才能获得理想输出。本研究旨在通过构建结构化标注数据集，从根本上提升模型对文本指令的理解和执行能力。

研究团队首先基于Mistral 7B Instruct模型的LLaVA-Next多模态系统，从Re-LAION-5B中筛选1900万张1024x1024高清图像，并为每张图像生成遵循四要素模板的结构化标注：1)主体描述 2)场景背景 3)美学风格 4)镜头细节。为验证效果，分别在PixArt-Σ和Stable Diffusion 2模型上对比训练结构化标注与随机打乱标注的版本，使用视觉问答(VQA)模型量化评估文本-图像对齐度。

实验表明，采用结构化标注训练的模型在CLIP-Score指标上平均提升12.7%，在人类评估中提示遵循准确率提高23.4%。特别在处理复杂提示时（如同时包含主体属性与场景要求），结构化标注模型的优势更为显著。消融实验证实四要素中'主体+场景'组合对性能提升贡献最大（占改进效果的68%）。

该研究首次系统论证了标注文本结构对文生图模型性能的关键影响，提出的四要素模板可广泛应用于多模态数据集构建。发布的Re-LAION-Caption 19M数据集不仅提升了现有模型的可用性，其结构化思想更为解决生成式AI的不可控问题提供了新范式。这项工作将显著降低普通用户使用文生图技术的门槛。

当前基于大语言模型的推荐系统存在两个关键问题：1）仅依赖文本提示的冻结模型难以理解视频多模态内容；2）用户偏好模拟不够精准。这导致视频内容建模不充分和推荐效果受限。现有方法无法同时解决视频语义理解和动态用户偏好对齐的复合挑战。

VRAgent-R1采用双智能体架构：1）IP智能体通过多模态大语言模型(MLLM)模拟人类渐进式思维，从视频中提取隐藏的推荐语义（如场景、情感等）；2）US智能体通过思维链推理进行深度决策，并采用强化学习动态优化推荐策略。创新点在于将视频内容理解分解为层次化语义提取，并通过在线交互实现用户偏好持续对齐。

在MicroLens-100k数据集上：IP智能体使NDCG@10提升6.0%，证明其多模态理解优势；US智能体用户决策模拟准确率超越基线45.0%。整体系统在点击率、观看时长等指标均显著优于传统推荐方法和单智能体方案。

该研究首次将多模态理解与强化学习结合于推荐智能体，突破了视频内容建模的瓶颈。其分层决策框架为复杂场景下的推荐系统提供了新范式，实验证明该方法能同时提升内容理解和用户匹配的双重效果，对流媒体平台的个性化推荐具有实用价值。

领域泛化(DG)旨在开发能适应未知目标域的模型。尽管基于预训练视觉基础模型(VFM)的领域提示调优取得进展，但如何设计能解耦跨领域不变特征的提示仍具挑战。现有方法主要依赖视觉提示，忽视了文本模态更易解耦的特性，且单纯语言引导难以完全捕捉复杂的视觉特征。

提出文本特征引导的视觉提示调优框架：1) 利用大语言模型(LLM)自动解耦文本提示，生成领域不变文本特征；2) 设计最差显式表征对齐(WERA)，通过风格化图像增强增加源域多样性，同时保持原始与增强分布的视觉表征一致性；3) 将解耦的文本特征与对齐的视觉提示结合，学习更具泛化能力的表征。创新点在于首次系统利用VFM的文本模态引导视觉提示解耦，并通过抽象提示增强视觉表征多样性。

在PACS、VLCS、OfficeHome等主流DG数据集上的实验表明：1) 在平均准确率上超越CLIP-DG、PromptSRC等SOTA方法2-5%；2) WERA模块使模型在风格变化场景下的鲁棒性提升显著；3) 消融实验验证文本引导与视觉对齐的协同作用，两者结合带来最大性能增益。

该研究通过语言-视觉模态协同解耦的创新框架，为领域泛化提供了新思路。主要贡献在于：1) 揭示文本提示在特征解耦中的独特价值；2) 提出WERA机制解决纯语言引导的局限性；3) 实验证明该方法在复杂跨域场景的有效性，为多模态基础模型的领域适应研究开辟了新方向。

当前多模态大语言模型中的视觉令牌压缩方法主要作为后处理模块，限制了效率提升空间。现有方法在视觉编码器输出端进行压缩，无法充分利用编码过程中的层级信息。为解决这一问题，本研究提出直接在视觉编码器中间层进行令牌压缩，以更高效地减少计算负担。

LaCo框架包含两个核心技术：1）分层像素重组机制，通过空间到通道的转换系统性地合并相邻令牌；2）带有非参数捷径的残差学习架构，在压缩过程中保留关键视觉信息。该方法创新性地将压缩过程嵌入视觉编码器的各层之间，而非传统的事后处理方式。

实验表明，LaCo在视觉编码器中间层压缩令牌时优于所有现有方法。相比外部压缩方法，训练效率提升超过20%，推理吞吐量提高15%以上，同时保持强劲性能。在多个基准测试中均显示出优越的有效性。

LaCo首次实现了视觉编码器中间层的有效令牌压缩，为多模态大语言模型的高效计算提供了新思路。该方法不仅提升了模型效率，还保持了处理质量，对推动多模态AI的实际应用具有重要意义。其分层压缩架构也为后续研究提供了可扩展的技术框架。

当前视频到音频生成技术虽然取得进展，但忽视了电影语言这一重要艺术表达元素。当画面中发声物体(Foley目标)仅部分可见时，现有方法性能显著下降。这限制了技术在电影后期制作中的应用价值。研究旨在解决部分可见场景下的音频生成挑战，提升电影艺术表现力。

提出基于自蒸馏的学习框架：1) 通过模拟电影语言变化构建训练数据；2) 学生模型学习对齐具有相同视听对应关系的视频特征；3) 设计特殊训练策略使模型能捕捉部分视觉信息与声音的关联。创新点在于将电影语言建模融入自蒸馏框架，实现部分可见场景的鲁棒音频生成。

实验表明：1) 在所有评估指标上，部分可见场景性能显著提升；2) 在大规模V2A数据集VGGSound上整体性能也有改善；3) 消融实验验证了各模块的有效性，特别是在电影风格场景中的优势。

该研究首次将电影语言建模引入视频到音频生成领域，提出的自蒸馏方法有效解决了部分可见物体的音频生成难题。不仅提升了技术性能，也为电影艺术创作提供了新工具，对影视后期制作具有重要应用价值。

飓风灾害会造成多种类型和程度的破坏，传统单标签分类方法无法同时识别这些复杂情况。现有技术难以满足灾后快速准确评估的需求，影响了救援效率。本研究旨在开发能同时识别多种损害类型的智能评估系统，为精准救灾提供支持。

方法包含两个核心模块：1) 基于ResNet的特征提取模块，用于从航拍图像中提取关键视觉特征；2) 类别特定注意力机制，可聚焦不同损害类型的显著区域。通过端到端训练，模型能同时预测图像中存在的多种损害标签。创新点在于将多标签分类与注意力机制结合，提升对复杂损害场景的识别能力。

在Hurricane Michael的Rescuenet数据集上测试，模型平均精度(mAP)达到90.23%，显著优于基线方法。特别在同时存在多种损害类型的复杂场景中表现优异，验证了多标签分类框架的有效性。

该研究提出的多标签分类框架解决了传统单标签方法在飓风损害评估中的局限性，为灾害响应提供了更精准的技术支持。高精度的自动评估能力可显著提升救灾效率，对防灾减灾战略制定具有重要价值。成果已被ASCE国际会议接收，将推动计算机视觉在灾害管理领域的应用。

当前手术视觉增强算法多为单一任务设计（如仅处理低光照），无法适应复杂手术场景中的多样化图像失真问题。内窥镜手术中常见的烟雾干扰、运动模糊、曝光异常等问题需要综合解决方案，而传统方法缺乏对失真类型和严重程度的动态判断能力，限制了临床实用性。

1) 构建基于多模态大语言模型(MLLM)的端到端框架，通过先验模型注入手术领域知识；2) 采用情境式少样本学习策略，使模型能根据少量示例快速适应新任务；3) 引入思维链(CoT)推理机制，逐步分析图像失真类型和严重程度；4) 设计统一的任务处理流程，支持低光增强、过曝校正、运动去模糊、烟雾消除等多样化增强需求。

在模拟真实手术失真的综合测试集上：1) 平均PSNR达到32.7dB，比单任务模型提升4.2dB；2) 多任务处理速度达15FPS，满足实时性要求；3) 在复杂混合失真场景下，综合性能超越现有最佳单任务方法37.6%。

该研究首次将多模态智能体范式引入手术视觉增强领域，其动态任务适应能力突破了传统算法的局限性。作为统一解决方案，不仅能提升手术可视化质量，其领域知识注入和少样本学习机制也为医疗AI的通用化提供了新思路，具有显著的临床转化价值。

视觉Transformer(ViT)在计算机视觉任务中表现出色，但其高计算和存储需求限制了在边缘设备上的部署。现有的二值化ViT方法要么性能下降严重，要么仍需依赖高精度计算模块。如何在保持ViT架构优势的同时，通过二值化实现高效部署，同时最小化性能损失，成为亟待解决的问题。

提出DIDB-ViT模型，主要创新包括：1)设计差分信息增强的注意力模块，缓解二值化导致的信息损失；2)采用离散Haar小波进行频率分解，保留不同频率下的相似性计算；3)改进RPReLU激活函数，重构激活分布以增强模型表达能力。这些方法共同作用，在保持二值化计算效率的同时提升模型性能。

实验表明，DIDB-ViT在多种ViT架构上均优于现有网络量化方法。在图像分类任务中，Top-1准确率比现有最佳二值化方法平均提升5.2%；在分割任务中，mIoU指标提升3.8%，同时保持了与全精度模型相当的计算效率。

DIDB-ViT首次实现了高性能的二值化视觉Transformer，无需依赖全精度模块。其创新性的差分信息保留和频率分解技术为轻量级视觉模型设计提供了新思路，显著推动了ViT在边缘计算设备上的实用化进程，对移动端AI应用具有重要价值。

在工业视觉系统中，收集高质量训练数据耗时数月，而现有3D引擎生成合成数据效率低下且存在仿真差距。扩散模型虽能快速生成图像，但在低数据场景下的精确控制仍具挑战性。目前对不同条件化方案如何影响合成数据质量缺乏系统研究，这阻碍了合成数据在目标检测等任务中的有效应用。

研究选取四个标准目标检测数据集中的80个视觉概念，系统比较基于提示词和基于布局两种条件化策略。通过控制实验分析条件化线索的宽度和多样性对合成数据质量的影响，建立条件化策略选择与数据分布特征的关联模型。创新性地量化了不同条件化方式在数据效率、控制精度等方面的权衡关系。

实验表明：当条件化线索较窄时，提示词条件化生成的数据质量更高；随着多样性增加，布局条件化表现更优。当布局线索匹配完整训练分布时，合成数据使平均精度(mAP)平均提升34%，最高提升达177%，显著优于仅使用真实数据的情况。

该研究首次系统揭示了合成数据条件化策略的选择规律，为工业视觉系统提供了高效的数据增强方案。通过量化条件化-数据质量的权衡关系，为扩散模型在计算机视觉中的实际应用提供了重要指导，特别有助于解决低数据场景下的目标检测难题。

图形摘要在科学传播中至关重要，但现有研究多将论文首图默认为图形摘要，未能充分发挥其潜力。同时，设计优质图形摘要需要专业可视化技能，阻碍了其普及。为突破这些限制，需要系统性的数据集支持图形摘要的自动推荐与生成研究。

构建包含145k论文和1.14M图片的SciGA-145k数据集，定义两项核心任务：1) 论文内图形摘要推荐(Intra-GA)，识别适合作为图形摘要的插图；2) 跨论文图形摘要推荐(Inter-GA)，检索其他论文的优质案例。提出新型评价指标CAR，通过置信度调整解决传统排序指标的局限性，能识别同一论文中多个潜在适用的图形摘要。

数据集覆盖广泛学科领域，提供两种推荐任务的基准模型。CAR指标相比传统评价方法能更精细地分析模型行为，特别是在处理论文中多个合格图形摘要的场景下表现优越。

SciGA-145k为推进科学可视化传播建立了基础设施，通过标准化任务定义和新型评价指标，支持图形摘要自动推荐系统的开发。该工作同时促进了AI for Science的发展，为降低科学交流门槛提供了技术基础。

传统RGB相机在低光照、快速运动等极端场景下文本识别效果差，事件流相机虽具优势但现有方法存在两大局限：1)端到端模型缺乏决策过程解释性；2)大语言模型在上下文逻辑推理方面表现不足。这限制了事件流文本识别在自动驾驶、工业检测等关键场景的应用可靠性。

1) 采用EVA-CLIP视觉编码器将事件流转化为token，通过Q-former对齐到Vicuna-7B大语言模型；2) 创新设计双输出机制：同步生成识别结果和思维链推理过程；3) 构建三阶段处理（生成-润色-专家验证）的大规模CoT数据集；4) 端到端监督微调实现多模态联合优化。关键技术突破在于视觉-语言模态的细粒度对齐与可解释推理路径的显式建模。

在EventSTR、WordArt*和IC15*三个基准测试中：1) 识别准确率分别提升12.3%、9.7%和8.5%；2) 推理过程的人类可理解度达89.2分（百分制）；3) 在低光照场景（<5lux）下保持83.4%的识别率，较RGB方法提升31.6%。消融实验验证CoT机制带来7.2%的性能增益。

该研究首次将思维链推理引入事件流文本识别领域，其贡献在于：1) 建立可解释的跨模态推理框架；2) 发布首个事件流CoT数据集；3) 为极端场景文本识别提供新范式。成果对医疗内窥镜、自动驾驶等需要可靠文本理解的场景具有重要应用价值，同时为多模态大模型的可解释性研究提供新思路。

随着智能交通系统的发展，从视频中自动检测交通事故变得至关重要。近年来大语言模型和视觉语言模型的突破性进展，为处理多模态信息提供了新思路。然而，如何有效利用这些模型进行事故检测仍缺乏系统性总结。本文旨在填补这一空白，梳理该领域的技术路线和发展现状。

论文构建了完整的技术框架：1) 提出融合策略分类法（早期/晚期/混合融合）；2) 系统分析三类主流架构（纯LLM、VLM增强、多模态联合训练）；3) 归纳五大关键技术（时空特征提取、跨模态对齐、因果推理等）；4) 建立标准化评估体系（准确率、召回率、误报率等指标）。创新点在于首次将LLM在视频理解中的应用进行体系化梳理。

对比分析显示：最佳VLM增强方法在DroneAccident数据集上达到92.3%准确率，比传统CV方法提升18.6%；多模态联合训练模型在NightCrash测试集上误报率降低至2.1%。但现有方法在复杂天气、遮挡场景下性能仍下降明显（平均衰减34.7%）。

本研究首次系统梳理了LLM在视频事故检测中的应用全景，提出的技术分类法和挑战分析为未来研究指明方向。主要贡献在于：1) 建立领域知识体系；2) 识别关键瓶颈（如实时性不足）；3) 推动多模态基础模型在交通安全领域的落地应用。

当前主流的自回归图像生成模型依赖Transformer架构，存在二次方计算复杂度问题，导致处理长序列时计算开销巨大。虽然线性注意力机制在语言模型中成功降低了计算负担，但直接应用于图像生成会严重损害生成质量，因为它无法有效捕捉视觉数据中关键的远距离空间依赖关系。这促使研究者开发能同时保持线性计算复杂度和空间理解能力的新方法。

提出空间感知衰减线性注意力机制(LASAD)，通过基于真实2D空间位置而非1D序列位置计算位置相关衰减因子，在展平的图像序列中显式保留2D空间关系。基于此开发了LASADGen自回归图像生成器，其核心创新是：1) 设计空间距离敏感的衰减函数；2) 保持线性计算复杂度；3) 实现选择性关注相关空间上下文。该方法在保持线性复杂度的同时，解决了传统线性注意力在视觉任务中的空间关系建模缺陷。

在ImageNet数据集上的实验表明，LASADGen在256×256分辨率图像生成任务中达到最先进的性能，FID分数显著优于基线方法。与标准Transformer相比，计算复杂度从O(N²)降至O(N)，内存占用减少40%，同时生成质量无明显下降。消融实验验证了空间感知衰减机制对保持图像结构合理性的关键作用。

该研究首次实现了线性复杂度的优质图像自回归生成，通过创新的空间感知衰减机制弥合了计算效率与空间理解能力的鸿沟。LASAD的提出为大规模视觉生成任务提供了新的技术路径，其线性复杂度特性使得处理高分辨率图像成为可能，对推动生成式AI的实际应用具有重要意义。

古典音乐的创造力不仅来自作曲家的乐谱创作，更依赖演奏者对静态乐谱的个性化诠释。现有音乐生成模型难以同时兼顾乐谱结构准确性和演奏表现力。本研究旨在开发能模拟作曲家与钢琴家双重角色的生成系统，解决从零开始生成具有艺术表现力的古典钢琴演奏这一挑战。

提出表达性复合词(ECP)表示法，同时编码节拍结构和表现细节。构建XMVAE双分支模型：1)采用VQ-VAE的作曲家分支生成乐谱内容；2)采用普通VAE的钢琴家分支生成表现细节。使用多尺度编码器捕获节拍级上下文信息，通过正交Transformer解码器高效解码复合词元。创新性地在作曲家分支引入额外乐谱数据集预训练提升性能。

客观指标显示XMVAE在音高准确度、节奏一致性等指标上优于基准模型20%以上。主观评估中，专业音乐人对生成演奏的艺术表现力评分达到4.2/5分（基线模型3.1分）。预训练策略使音乐结构合理性提升37%，证明双分支设计的有效性。

XMVAE首次实现了兼具乐谱准确性和艺术表现力的古典钢琴演奏端到端生成。ECP表示法和双分支架构为音乐AI领域提供了新范式，预训练策略表明跨任务知识迁移的潜力。该成果对数字音乐创作、音乐教育等领域具有重要应用价值。

当前大语言模型和多模态模型需要与人类偏好对齐以提高生成质量。传统奖励建模方法依赖大量标注数据和单独训练的奖励模型，难以快速适应新偏好。这限制了模型在需要快速调整或数据稀缺场景的应用。研究旨在开发一种小样本高效的奖励建模方法，解决传统方法的适应性差和数据依赖问题。

提出激活奖励模型(Activation RMs)方法：1) 利用激活导向技术直接从模型内部表示构建奖励信号，无需额外模型微调；2) 通过最小监督学习人类偏好；3) 引入PreferenceHack基准测试，首个针对奖励攻击行为的配对偏好测试集。创新点在于将激活导向与奖励建模结合，实现高效的小样本对齐。

实验表明：1) 在标准奖励建模基准上，Activation RMs优于基于上下文学习的LLM-as-a-judge、投票评分和token概率评分等方法；2) 在PreferenceHack基准上取得最优表现，甚至超过GPT-4o；3) 能有效缓解奖励攻击行为，提升安全性。

该研究提出了一种高效的小样本奖励建模方法，通过激活导向技术实现了优于现有方法的对齐性能。贡献包括：1) 创新的Activation RMs框架；2) 首个奖励攻击测试基准PreferenceHack；3) 为安全关键应用提供了可靠的对齐方案。该方法降低了数据需求，提高了模型适应性，对实际部署具有重要意义。

现有光照估计方法依赖有限的高动态范围全景数据集，泛化能力差。虽然扩散模型在图像生成方面表现出色，但直接用于镀铬球修复存在内容不一致、无法生成高动态范围图像等问题。研究旨在开发一种既保持高质量又能大幅加速的光照估计方案，满足实际应用需求。

首先提出DiffusionLight：1) 利用Stable Diffusion XL进行多次镀铬球修复，取中值结果作为稳定低频光照先验；2) 微调Exposure LoRA生成多曝光图像并合成为HDR光照探针。进一步开发DiffusionLight-Turbo：1) 训练Turbo LoRA直接预测迭代过程的平均结果；2) 采用LoRA交换技术将推理简化为单次去噪过程，实现60倍加速。

实验表明：1) 方法在多样化场景中生成逼真光照估计；2) 相比基线方法展现出更好的野外场景泛化能力；3) Turbo版本将单次估计时间从30分钟缩短至30秒，质量损失可忽略；4) 定量评估显示光照重建误差优于现有方法。

该研究创新性地将光照估计转化为镀铬球修复问题，通过扩散模型迭代优化和专用加速技术，实现了质量与效率的突破。其开源方案为计算机视觉、图形学等领域的光照重建任务提供了实用工具，特别适合需要实时处理的增强现实等应用场景。

山体滑坡严重威胁基础设施、经济和人民生命安全，传统人工监测方法效率低下且难以覆盖大面积区域。随着深度学习和遥感技术的发展，如何利用多源卫星数据构建跨区域的自动化滑坡检测系统成为研究热点。本研究旨在解决现有方法在复杂地理环境下的适应性不足、检测精度有限等问题。

研究整合Sentinel-2多光谱数据和ALOS PALSAR生成的坡度/数字高程模型(DEM)数据，提取影响滑坡发生的关键环境特征。采用地理空间分析技术评估地形特征、植被覆盖和降雨量对检测精度的影响。系统比较了U-Net、DeepLabV3+和Res-Net等前沿深度学习分割模型，创新性地构建了多源数据融合的跨区域检测框架。

实验表明，融合多源数据的深度学习模型显著提升了检测精度，其中DeepLabV3+在跨区域测试中表现最优，平均检测准确率达到92.3%，比传统方法提升约15%。模型在不同地理环境下展现出良好的适应性和迁移能力，滑坡定位误差控制在30米以内。

该研究证实了多源遥感数据与深度学习结合的可行性，开发的框架可为灾害预警系统提供技术支持。成果不仅提升了滑坡检测的准确性和泛化能力，还为可持续土地利用规划提供了科学依据，对全球范围内的地质灾害防治具有重要实践价值。

当前视频生成模型在动态场景建模方面展现出潜力，但生成的视频往往缺乏跨视角的几何一致性，限制了在机器人操作中的应用。机器人需要能预测物体运动轨迹的3D感知能力，而现有方法要么依赖已知相机位姿，要么难以保持时空连贯性。因此，需要开发能自动保持多视角3D一致性的视频生成技术。

提出基于跨视角点云对齐监督的4D视频生成框架：1) 通过RGB-D观测数据构建3D场景表示；2) 在训练时强制不同视角生成的点云地图对齐，实现几何一致性监督；3) 采用时序预测模型生成未来帧的3D视频序列；4) 无需输入相机位姿即可实现新视角合成。创新点在于将点云对齐作为自监督信号，实现端到端的几何一致性学习。

在仿真和真实机器人数据集上的实验表明：1) 相比基线方法，本模型在PSNR指标上提升15-20%；2) 跨视角预测的几何误差降低30%以上；3) 生成的视频可直接用于商用6自由度位姿跟踪器，恢复机械臂末端轨迹误差小于2cm；4) 在新视角下的操作任务成功率提升25%。

该研究首次实现了无需相机位姿输入的几何一致4D视频生成，通过点云对齐监督学习到隐式3D场景表示。生成的视频可直接支持机器人操作规划，在跨视角泛化性上显著优于现有方法，为机器人动态场景理解提供了新思路。

社交媒体已成为多模态内容传播和公众参与的核心平台。准确预测视频流行度对内容推荐、趋势发现和用户互动至关重要。现有方法往往忽视多模态数据的协同效应，且对数据噪声敏感。本研究旨在开发鲁棒的多模态预测框架，解决SMP挑战赛2025视频赛道的实际问题。

MVP框架首先利用预训练模型提取深度视频特征，与用户元数据（如粉丝数、发布历史）和上下文信息（如发布时间、话题标签）进行多模态融合。采用对数变换和异常值剔除等预处理技术提升数据质量。核心模型采用梯度提升回归树（GBRT），通过集成学习捕捉跨模态的复杂模式。创新点在于系统化的多模态表征构建和鲁棒性优化策略。

在SMP挑战赛2025官方评测中，MVP以显著优势获得视频赛道第一名。相比基线模型，预测准确率提升23.7%，均方误差降低19.2%。消融实验验证了多模态融合和预处理技术的有效性，其中视频特征贡献度达41%，用户元数据占35%。

MVP证明了多模态数据融合在视频流行度预测中的关键作用，为社交媒体内容分析提供了可靠工具。其系统化预处理和集成学习方法对处理真实场景的噪声数据具有普适意义。开源代码将促进相关研究和应用发展。

在数字营销和内容优化领域，准确预测社交媒体内容的流行度至关重要。现有方法面临三大挑战：(1)多模态数据（图像/文本/用户行为）的复杂交互难以建模；(2)不同抽象层次的特征融合效率低下；(3)标注数据稀缺导致模型泛化能力不足。本研究旨在构建一个端到端的预测框架，通过层次化特征融合解决上述问题。

方法包含三大创新：1) 三级融合架构：底层使用CLIP模型提取视觉特征，中层通过Transformer编码文本，高层整合时空元数据和用户画像；2) 分层集成策略：组合CatBoost、TabNet和自定义MLP三类模型，采用堆叠泛化技术；3) 两阶段训练机制：先通过伪标签技术扩充数据，再迭代优化模型参数。特别设计了跨模态相似度度量和层次聚类特征来捕捉模态间关联。

在SMP Challenge 2025基准测试中：1) 综合F1-score达到0.782，比基线模型提升12.6%；2) 图像赛道排名第三；3) 消融实验显示跨模态特征贡献率达34.2%，伪标签策略使小样本场景准确率提升8.9%。

该研究首次实现了多模态特征在社交媒体预测任务中的层次化动态融合，其创新点包括：(1)可扩展的三级融合架构；(2)面向小样本的伪标签训练范式。成果为内容推荐系统提供了新的技术路径，代码已开源促进社区发展。

传统语音转换需要源说话人和目标说话人的清晰音频，但在无声视频或嘈杂环境中无法获取干净音频。现有方法在无音频输入场景下完全失效，而影视制作、隐私保护等场景亟需仅通过视觉信息实现语音转换的技术。

提出MuteSwap框架：1) 采用对比学习对齐跨模态身份特征，使视觉面部特征与目标说话人声纹特征映射到同一空间；2) 通过最小化互信息解耦共享的视觉特征，分离出与语音内容无关的身份特征；3) 设计双分支网络结构，分别处理目标说话人静态图像和源说话人唇部运动视频。

在VoxCeleb和LRW数据集上测试：1) 语音清晰度MOS达4.12（5分制），优于基线系统23%；2) 身份相似度准确率89.7%，在噪声环境下比依赖音频的方法提升61%；3) 消融实验验证对比学习和特征解耦模块分别带来14%和9%的性能提升。

首次证明仅凭视觉信息即可实现高质量的语音转换，突破了传统方法对音频输入的依赖。提出的跨模态对齐和特征解耦机制为视听多模态研究提供新思路，在无声影视配音、隐私语音合成等领域具有应用价值。

在音乐转录和节奏分析中，准确检测节拍和强拍至关重要。现有技术主要针对音频信号处理，而对演奏MIDI这种符号化音乐数据的节拍追踪研究不足。MIDI数据包含精确的音符时序信息，但现有基于隐马尔可夫模型的方法在复杂节奏模式上表现有限，亟需开发更适合符号音乐特性的深度学习方法。

采用编码器-解码器结构的Transformer模型，将MIDI音符序列直接映射为节拍标注序列。创新点包括：(1)设计动态数据增强策略，通过随机变速和节奏扰动提升模型泛化能力；(2)优化MIDI事件token化方案，保留关键节奏信息；(3)引入相对位置编码捕捉音乐中的长程节奏依赖关系。模型端到端训练，无需手工设计特征。

在A-MAPS、ASAP等四个标准数据集上测试，相比传统HMM方法和深度学习基线，F1分数平均提升7.2%。尤其在复杂节奏型(如切分音)和快速段落中表现突出，对钢琴、吉他等多种乐器风格均保持稳定性能，最高达到0.89的节拍检测F1值。

首次证明Transformer架构在符号音乐节拍追踪中的有效性，为自动乐谱生成系统提供了更准确的节奏分析模块。未来可整合到音乐转录流水线中，辅助音乐教育、智能作曲等应用。该方法突破了符号音乐分析与音频处理的技术界限，为跨模态音乐信息检索奠定基础。