精选AI论文

印尼语使用者超过2亿，在东南亚社交媒体上占据主导地位，但其多模态情感识别研究却严重不足。现有研究缺乏针对印尼语及文化特点的基准数据集，且面临跨模态信息不一致、数据分布不均衡等现实挑战。因此，本研究旨在填补这一空白，构建首个印尼语多模态情感识别基准，并开发能够有效应对这些挑战的鲁棒识别框架。

本文提出了OmniMER框架，其核心是基于Qwen2.5-Omni大语言模型进行多模态适配。创新点在于引入了三个模态特定的辅助感知任务来增强模型对情感线索的捕捉：针对文本模态的情感关键词提取、针对视频模态的面部表情分析，以及针对音频模态的韵律分析。这些辅助任务迫使模型在融合多模态信息之前，先深入理解每个单一模态中的情感相关特征，从而减少在数据稀缺情况下对虚假相关性的依赖，提升模型鲁棒性。

在新建的IndoMER数据集上，OmniMER在情感分类（二分类）任务上取得了0.582的宏F1分数，在细粒度情绪识别（七分类）任务上取得了0.454的宏F1分数，分别比基础模型显著提升了7.6和22.1个百分点。此外，在中国汉语数据集CH-SIMS上的跨语言评估进一步证明了该框架具有良好的泛化能力。

本研究贡献了首个印尼语多模态情感识别基准数据集IndoMER，并提出了有效的OmniMER框架。该工作不仅推动了资源匮乏语言的情感计算研究，其通过辅助任务增强模态感知的技术路线，也为解决多模态融合中的噪声与不一致问题提供了新思路，具有重要的学术价值与应用潜力。

短视频平台内容审核需求激增，但传统的云端审核方案存在三大痛点：一是将原始视频上传至云端侵犯用户隐私；二是传输高清视频带来高昂带宽成本；三是云端处理导致推理延迟。因此，亟需一种能够在用户设备本地进行、同时保护隐私且高效的内容审核方案。联邦学习虽能实现本地训练，但视频模型参数量巨大，直接应用会导致通信和计算开销过高，且仍需防范隐私泄露风险。

本文提出FedVideoMAE框架，核心由三部分组成。首先，采用自监督预训练的VideoMAE模型作为基础视觉表征器，其编码能力强大且固定，无需在联邦学习中更新。其次，引入基于LoRA的低秩适配技术，仅对模型中的少量适配层进行微调，将可训练参数量从1.56亿大幅压缩至550万（约3.5%）。最后，实施深度隐私保护策略：在客户端本地训练时使用差分隐私随机梯度下降（DP-SGD），通过添加噪声保护单条数据；在服务器聚合更新时采用安全聚合协议，防止服务器窥探单个客户端的模型更新。该方法实现了参数高效、通信高效且隐私安全的联邦视频分析。

在RWF-2000视频暴力检测数据集上，模拟40个客户端进行实验。在不施加隐私保护时，框架准确率达到77.25%。在施加强差分隐私约束（隐私预算ε=2）后，准确率仍能保持在65-66%之间。与全模型联邦学习相比，本方法将每轮通信成本降低了28.3倍，显著减少了带宽消耗。实验证明了该框架在准确性、隐私性和通信效率之间的有效平衡。

本研究成功构建了一个面向视频内容审核的隐私保护联邦学习框架。其主要贡献在于将高效的自监督视频表征、参数高效的微调技术与严格的差分隐私机制相结合，在保证合理检测精度的前提下，大幅降低了通信开销并提供了可证明的隐私保障。这项工作为在资源受限的边缘设备上部署隐私敏感的视觉分析任务提供了可行的技术路径，对联邦学习在多媒体内容安全领域的应用具有推动意义。

遥感图像-文本检索在实际应用中面临严峻挑战，因为真实数据集中普遍存在伪匹配对。这些图像-文本对在语义上并不匹配或仅弱相关，例如图像描绘农田而文本描述城市区域。这些噪声关联严重干扰了模型学习可靠跨模态对齐的能力，导致检索性能下降。现有方法往往忽视或难以有效处理此类数据噪声。因此，迫切需要一种能够识别并减轻伪匹配对影响的鲁棒检索框架，以提升模型在真实复杂场景下的实用性。

本文提出了一个新颖的检索框架来应对伪匹配对问题。其核心创新在于两个关键机制：一是跨模态门控注意力模块，它能动态调节图像和文本模态之间的信息流，抑制不可靠的跨模态交互；二是正负感知注意力机制，该机制在特征对齐学习过程中，显式地区分并强化信息丰富的‘正面’线索，同时弱化具有误导性的‘负面’线索。通过这种设计，模型能够更聚焦于真正相关的跨模态信息，从而在存在噪声关联的数据中学习到更鲁棒和准确的对齐表示。

研究在三个主流的遥感检索基准数据集（RSICD、RSITMD和RS5M）上进行了广泛实验。结果表明，所提出的方法在所有数据集上均取得了最先进的性能，显著优于之前的基线模型。具体性能指标（如召回率）的提升验证了该方法在减轻伪匹配对影响、提升跨模态对齐质量方面的有效性和鲁棒性。

本研究证实了处理伪匹配对对于提升遥感图像-文本检索性能至关重要。提出的PMPGuard框架通过创新的门控和感知注意力机制，有效缓解了数据噪声问题，学习到了更可靠的跨模态表示。这项工作不仅为遥感跨模态检索提供了更鲁棒的解决方案，其处理噪声关联的思路也对更广泛的、数据质量不完美的多模态学习任务具有借鉴意义。

视频大语言模型通过海量数据预训练，具备了世界知识感知的视频理解能力，在电影分析等任务上表现出色。然而，将其应用于视频推荐等下游任务仍面临挑战：实际系统需要处理多视频输入、模型需轻量、推理延迟需低、响应需快。现有方法存在三大局限：1）仅解码生成导致序列推理延迟高；2）典型接口不支持多视频输入；3）将输出约束为语言丢弃了对下游视觉任务至关重要的细粒度视觉细节。这些问题的根源在于缺乏一种既能保留像素级细节又能利用世界知识的表征。因此，本研究旨在开发一种新的表征方法，以克服这些部署障碍。

本文提出了LinkedOut表征方法。其核心是直接从原始视频帧中提取视频大语言模型所蕴含的世界知识，生成语义接地、知识感知的令牌。该方法通过可提示的查询和可选的辅助模态来引导提取过程。关键技术创新是引入了一个跨层知识融合的混合专家模型，该模型能够从VLLM丰富的特征中选择合适的抽象层次进行融合。这使得系统能够实现个性化、可解释且低延迟的推荐。LinkedOut完全在原始帧上操作，无需任何手工标注的标签，是首个基于VLLM且无需标签的视频推荐方法。

LinkedOut在标准视频推荐基准测试上取得了最先进的性能结果，证明了其有效性。可解释性研究和消融实验证实了层多样性和分层融合的益处：跨层融合MoE策略显著提升了性能，表明充分利用VLLM不同层次的世界知识先验和视觉推理能力对下游任务至关重要。这些结果验证了该方法在实现快速、准确且可解释推荐方面的优势。

本研究提出并验证了LinkedOut，一种从视频大语言模型中高效提取世界知识表征的新范式。它成功解决了VLLM在视频推荐中部署的三大瓶颈（延迟、多视频输入、语言瓶颈），首次实现了无需手工标签、基于原始帧的SOTA视频推荐。其贡献在于为充分利用VLLM的世界知识先验和视觉推理能力服务于下游视觉任务（如推荐）指明了一条实用路径，推动了下一代视频推荐系统向更智能、更快速、更可解释的方向发展。

人工智能正在重塑多媒体取证领域。然而，当前许多取证解决方案存在缺陷：它们往往孤立地运行，缺乏对检测结果不确定性的校准，并且在面对复杂或模糊证据时无法提供可解释的推理过程。这导致其结论可能过于自信或难以被人类专家信任。因此，研究旨在解决如何构建一个更可靠、可解释且能明确表达自身不确定性的AI取证系统，以改进整个真实性验证流程。

本文的核心方法是提出“AI取证智能体”这一统一框架。该智能体作为一个可靠的协调者，其主要技术路线包括：1）智能地选择和组合多种专门的取证检测器；2）识别多媒体内容的来源和上下文信息；3）关键创新在于提供不确定性感知的评估。该方法强调不强迫系统在信息不足时做出“猜测”，而是设计一种“逐级上报”机制，当不确定性高时，明确标示并可能请求更多资源或人工介入，从而将不确定性校准与决策过程本身结合起来。

论文通过理论分析和框架设计，重点指出了当前解决方案中的陷阱（如不确定性误校准、缺乏可解释性）。虽然没有提供具体的数值性能指标对比，但通过提出的统一框架，从方法论上论证了如何系统性地改善取证流程的可靠性。其价值在于提供了一个结构化的设计蓝图，旨在未来实现更透明、更值得信赖的AI取证系统。

本研究得出结论，通过引入可解释且不确定性校准的AI取证智能体框架，能够显著提升多媒体真实性验证的可靠性和实用性。其主要贡献在于将智能体协调、上下文理解与不确定性量化融为一体，为构建下一代可信的AI取证系统指明了方向，对数字媒体安全、司法证据分析等领域具有重要理论意义与应用价值。

基于扩散模型的视频生成技术取得了显著进展，但其生成过程通常需要数十甚至数百步迭代，计算成本极高，导致生成速度缓慢，严重限制了实时应用和交互式体验。因此，迫切需要一种高效的加速框架，在不显著牺牲生成质量的前提下，大幅提升视频扩散模型的推理速度。

TurboDiffusion框架集成了多项核心技术以实现加速：1）注意力加速：采用低比特SageAttention和可训练的稀疏线性注意力（SLA）来加速注意力机制的计算。2）步数蒸馏：采用rCM方法进行高效的步数蒸馏，减少生成所需的采样步数。3）W8A8量化：将模型参数和激活值量化为8位整数，以加速线性层计算并压缩模型体积。此外，还结合了其他工程优化手段。

研究在Wan2.2-I2V-14B-720P、Wan2.1-T2V-1.3B-480P等多个视频生成模型上进行了实验。结果表明，即使在单张RTX 5090 GPU上，TurboDiffusion也能实现100-200倍的端到端生成加速，同时生成的视频质量与原始模型相当。

TurboDiffusion成功地将视频扩散模型的推理速度提升了两个数量级，同时保持了可比的生成质量。这项工作为实时视频生成和交互式应用铺平了道路，其提出的注意力加速、步数蒸馏和量化技术组合，为高效大模型推理提供了有价值的参考方案。

人体姿态估计是计算机视觉的核心任务。当前最先进的模型虽然精度高，但参数量大、计算成本高，难以部署到资源受限的边缘设备上。现有的一些轻量化模型要么仍包含不适合边缘部署的组件，要么因设计过于简化而导致精度显著下降。因此，研究需要一种能在精度、模型大小和推理速度之间取得更好平衡的解决方案，以实现高效的边缘端实时姿态估计。

本文提出的LAPX基于前作LAP，是一个引入自注意力机制的轻量级沙漏网络。核心创新在于：1）采用自注意力模块来捕获全局上下文信息，弥补轻量化模型因感受野有限而丢失的远距离关节点关联信息；2）改进了网络阶段（stage）的设计；3）对轻量级注意力模块进行了细化优化。通过这些设计，模型在保持紧凑结构（仅230万参数）的同时，增强了特征表示能力。

在MPII和COCO两个标准人体姿态估计数据集上，LAPX取得了具有竞争力的结果。其参数量仅为2.3M（百万），远小于许多主流模型，同时在标准硬件上展示了实时推理性能，这直接证实了其适用于边缘设备的潜力。

LAPX成功地在模型轻量化和估计精度之间取得了良好平衡。它通过集成全局上下文自注意力机制，有效提升了轻量级网络的性能，证明了精心设计的轻量化架构可以在资源受限的边缘设备上实现实时且高精度的人体姿态估计。这项工作为边缘计算视觉任务提供了新的高效网络设计思路。

扩散磁共振成像（dMRI）是评估大脑白质纤维取向分布（FOD）的关键无创技术。从单壳层、低角度分辨率dMRI（LAR-FOD）估计FOD精度有限，而从多壳层、高角度分辨率dMRI（HAR-FOD）估计虽然准确，但扫描时间过长，限制了其临床应用。扩散模型在基于LAR-FOD预测HAR-FOD方面展现出潜力，但由于FOD包含大量球谐（SH）系数，高效生成高质量的HAR-FOD仍面临挑战。本研究旨在开发一种高效、准确的模型，以解决这一矛盾。

本文提出了FOD-Diff，一个三维多通道块扩散模型。核心创新包括：1）设计了FOD块适配器，通过引入先验的脑解剖结构知识，实现了更高效的基于图像块的学习。2）引入了体素级条件协调模块，以增强模型对大脑全局结构的理解。3）设计了球谐注意力模块，专门用于有效学习众多SH系数之间复杂的相关性。该方法将高维的FOD预测问题分解到三维图像块上进行处理，并结合了扩散模型的强大生成能力。

实验结果表明，所提出的FOD-Diff方法在HAR-FOD预测任务上取得了最佳性能。它在多个定量指标上均优于其他先进的对比方法，能够从低分辨率的LAR-FOD输入中，生成更准确、更接近真实高分辨率扫描的FOD图像，验证了模型设计的有效性。

本研究成功开发了一种高效、准确的FOD超分辨率方法。FOD-Diff通过创新的三维块扩散架构、条件协调和注意力机制，显著提升了从快速扫描数据中重建高质量纤维取向分布图的能力。这项工作的贡献在于为临床和科研提供了一种潜在的解决方案，能够在保证图像质量的同时大幅缩短扫描时间，对推动脑连接组学研究和神经系统疾病的诊断具有重要意义。

在人群环境中运行的移动机器人需要准确预测人类行为以确保安全和高效交互。现有研究大多局限于从机器人自身视角（第一人称）预测单个人的行为，但许多实际应用（如监控、服务机器人观察）需要从旁观者（第三人称）视角理解多个人的行为及其与场景的交互。目前缺乏专门针对这种多人类、观察者视角行为预测的数据集和方法，因此，开发一个能够整合丰富视觉上下文和空间关系以提升预测性能的框架至关重要。

本文提出了CAMP-VLM框架。其核心是利用视觉语言模型（VLM）强大的多模态理解能力。方法创新点在于：1）从视觉输入中提取情境特征（如物体、活动）；2）构建场景图以编码人与物体、物体与物体之间的空间关系，增强空间感知。由于缺乏合适的真实世界数据集，研究采用照片级真实感模拟器生成合成的人类行为数据进行模型微调。训练过程结合了监督微调（SFT）和直接偏好优化（DPO）两种技术，旨在让模型不仅学习正确的预测，还能区分出更好与更差的预测结果，从而优化其输出。

实验在合成序列和真实世界序列上评估了CAMP-VLM的泛化能力。结果表明，CAMP-VLM在预测准确性上显著优于其他基线模型，最高提升了66.9%。这证明了该框架在整合视觉上下文和空间信息后，对于多人类行为预测任务的有效性，以及利用合成数据训练后向真实场景迁移的潜力。

本研究成功开发了CAMP-VLM框架，首次将视觉语言模型与场景图结合，专门用于解决从观察者视角预测多人类行为交互的挑战。其核心贡献在于提出了一个能有效融合视觉情境和空间关系的架构，并通过合成数据训练与DPO优化策略取得了卓越性能。这项工作为机器人理解复杂社会场景提供了新工具，对服务机器人、监控分析等需要高级情境感知的领域具有重要推动意义。

当前多模态大语言模型发展迅速，但对其感知能力的评估严重不足。实践中，许多模型家族（如Qwen2.5-VL）主要通过扩展语言组件来提升性能，而视觉编码器几乎不变。这引发了一个核心关切：模型的进步究竟源于真正的视觉理解能力，还是仅仅依赖于从海量文本中学习到的世界知识？现有的评测方法大多只关注最终任务的准确率，而忽视了模型在受控扰动下的鲁棒性、归因忠实度以及推理能力。因此，迫切需要一个新的框架来深入、系统地刻画MLLMs的感知能力。

本文提出了‘感知观测台’框架，从多个维度系统评估MLLMs。具体方法包括：（1）设计简单的视觉任务，如人脸匹配和视觉文本理解，测试基础感知能力。（2）设计从局部到全局的理解任务，如图像匹配、网格指向游戏和属性定位，以检验通用的视觉基础能力。核心创新在于，为每个评估维度构建了带有真实标注的数据集（如人脸、单词），并系统地施加两种类型的扰动：基于像素的增强（如噪声、模糊）和基于扩散模型的风格化幻觉（改变图像风格）。通过观察模型在这些受控扰动下的表现变化，该框架能够深入分析模型如何保持感知基础性和关系结构。

通过‘感知观测台’框架对现有MLLMs进行评估，揭示了传统精度指标无法反映的重要弱点。实验表明，许多模型在面对像素扰动或风格变化时，其视觉基础能力和推理的鲁棒性显著下降。例如，在属性定位、图像匹配等需要精确视觉基础的任务中，模型性能对扰动非常敏感。该框架提供了细粒度的性能剖析，能够清晰区分不同模型在感知稳定性、归因准确性等方面的相对优势和劣势，为模型比较提供了更丰富的维度。

本研究证明，仅凭端到端任务精度不足以全面评估MLLMs的感知能力。‘感知观测台’框架通过引入系统化的扰动测试，为分析和理解MLLMs的视觉基础性与鲁棒性提供了一个原则性基础。它的主要贡献在于将评估重点从‘表现如何’转向‘能力如何构成及在压力下如何保持’，这有助于揭示模型进步的真实来源（是视觉编码器还是语言先验），并为未来开发更可靠、更具可解释性的多模态模型指明了重要的改进方向。

当前，利用多模态大语言模型开发具身智能体以解决复杂现实任务前景广阔。然而，现有的评估基准要么过于以语言为中心，要么严重依赖模拟环境，很少能检验在实际、真实场景中至关重要的、细致且知识密集的推理能力。为了弥补这一关键空白，本文引入了“稀疏接地视觉导航”任务，旨在专门评估MLLM在具有挑战性、知识密集的真实世界环境中的顺序决策能力。

本文首先提出了“稀疏接地视觉导航”任务，并构建了名为CityNav的综合基准，涵盖四个全球不同城市，用于评估原始MLLM驱动智能体的城市导航能力。智能体仅依赖视觉输入和内部多模态推理，在超过50个决策点上顺序导航，无需额外环境标注或专用架构修改。其核心创新在于提出了“路径言语化”方法。该方法通过从MLLM中探测出一个明确的认知地图（包括关键地标和朝向目的地的方向），将智能体的内部推理过程显式地“接地”，从而引导其进行空间推理和路径规划，显著增强了导航性能。

广泛的评估表明，当前最先进的MLLM和标准推理技术在CityNav这一挑战性设定下表现显著不佳。相比之下，本文提出的路径言语化方法能够大幅提升导航成功率。具体实验数据（如成功率对比、不同城市和模型下的性能指标）在论文中进行了详细展示，证明了VoP方法的有效性。

本研究揭示了当前MLLM在知识密集的真实世界导航任务中的局限性，并证明了通过显式构建和利用内部认知地图（VoP方法）可以显著提升其顺序决策和空间推理能力。CityNav基准的引入为未来评估和开发更鲁棒、更实用的具身导航智能体提供了重要的测试平台，推动了MLLM从纯语言或模拟环境向复杂现实场景应用的迈进。

当前的多模态大语言模型在连接视觉和语言方面表现出色，但其底层视觉推理能力仍然有限。这主要是因为模型主要从文本描述中学习视觉理解，而文本描述是主观且不完整的监督信号。此外，与海量的纯文本预训练相比，多模态指令微调的规模较小，导致模型过度依赖语言先验知识而忽视视觉细节。因此，需要一种方法来增强模型直接从图像中学习结构化语义信息的能力。

本文提出了JARVIS框架，其核心创新是将自监督视觉学习范式I-JEPA集成到MLLM的标准视觉-语言对齐训练流程中。具体而言，该方法利用冻结的视觉基础模型分别作为上下文编码器和目标编码器，提取图像特征。然后，训练一个预测器（由大语言模型的早期层实现）来学习图像特征之间的结构和语义规律，而不完全依赖于语言监督。这种方法使模型能够从图像本身获得更丰富、更客观的视觉表示。

在标准的多模态大语言模型基准测试上进行了广泛实验。结果表明，JARVIS框架能够持续提升不同系列大语言模型在视觉中心任务（如VQA、视觉推理）上的性能，且不会损害其多模态推理能力。具体性能指标在多个基准上均有显著改善，证明了该方法的有效性和通用性。

本研究证实了将自监督视觉学习引入多模态大语言模型训练的有效性。JARVIS框架通过减少对文本监督的依赖，增强了模型从图像中直接学习底层规律的能力，从而提升了视觉理解性能。这项工作为构建更鲁棒、视觉感知能力更强的多模态大模型提供了一条新的技术路径，对推动通用人工智能的发展具有重要意义。

360度全景和六自由度点云视频等沉浸式内容对带宽要求极高且延迟敏感，严重制约了实时AR/VR流媒体的体验。当前挑战主要来自两方面：巨大的数据传输量带来的带宽消耗，以及为确保安全而进行的全程加解密操作引入的显著延迟。本研究旨在同时攻克这两个瓶颈，设计一套系统以在保障内容安全的前提下，大幅降低传输带宽与处理延迟。

本研究设计了一个端到端的处理流水线。在服务器端，首先对原始高分辨率点云视频进行下采样以降低数据量，然后仅对下采样后的部分关键数据进行加密，而非全部内容，从而减少加密开销。在客户端，先对接收到的部分加密数据进行解密，随后利用一个基于机器学习（ML）的超分辨率模型，将低分辨率的点云上采样重建为原始的高分辨率版本。该方法的核心创新在于将数据压缩、选择性加密与AI增强重建三者紧密结合，形成一套高效的联合优化方案。

评估结果表明，系统性能提升接近线性：采用更低的下采样分辨率能直接、成比例地减少带宽占用和加解密延迟开销。同时，所使用的超分辨率模型能够以最小的误差有效重建出原始全分辨率的点云，其推理时间保持在适度水平，满足了实时应用的要求。

本研究成功证明，通过协同优化数据压缩、部分加密与客户端AI超分辨率，可以显著降低沉浸式视频流媒体的传输与安全处理成本，同时维持高质量的视觉体验。这项工作为实时混合现实应用提供了一种高效且安全的解决方案，对推动低延迟、高带宽效率的AR/VR流媒体技术发展具有重要实践意义。

视频时序定位是视频理解的核心任务，要求模型根据文本查询定位视频中的特定时间段。尽管多模态大语言模型在各种视频理解任务上表现出色，但如何针对时序定位任务对其进行优化，仍缺乏系统性的探索。现有研究面临两大瓶颈：一是广泛使用的评测基准存在严重的标注质量问题，导致评估结果不可靠；二是缺乏大规模、高质量的训练数据。因此，本研究旨在通过系统性地解决数据和算法问题，为视频时序定位建立一个坚实、可复现的基线。

本研究从数据质量和算法设计两个维度系统构建具有强大时序定位能力的多模态大语言模型。首先，针对数据问题：1）构建TimeLens-Bench评测基准，对三个流行数据集进行严格的人工重标注，以暴露原有基准的质量缺陷；2）开发自动化重标注流程，从噪声数据中清洗出TimeLens-100K大规模高质量训练集。其次，在算法设计上进行了深入探索：1）提出交错文本编码来表示时间信息；2）引入一种名为“免思考的、奖励可验证的强化学习”的训练范式；3）精心设计了该强化学习训练的具体实施方案。这些方法共同构成了TimeLens模型系列的技术基础。

实验表明，TimeLens-Bench基准上的模型排名与原有基准相比发生了剧烈变化，证实了旧有评估标准不可靠。基于高质量数据和优化算法训练出的TimeLens模型，在开源模型中取得了最先进的视频时序定位性能。更重要的是，其性能甚至超越了GPT-5和Gemini-2.5-Flash等闭源商业模型，证明了所提出方法的有效性。所有代码、数据和模型均已开源。

本研究通过系统性地解决数据和算法挑战，为视频时序定位任务建立了一个强大、可靠的基线。其核心贡献在于：1）揭示了现有评测基准的严重质量问题，并提供了高质量的重标注版本；2）提供了大规模高质量训练数据；3）探索并总结出一套有效且高效的算法设计原则与实践。这项工作不仅显著提升了模型性能，更重要的是为未来研究提供了可复现的坚实基础和清晰的优化方向，对推动视频理解领域的发展具有重要意义。

视频流的核心挑战是在有限的网络带宽下，平衡高画质与流畅播放。传统视频编码技术已对此权衡进行了优化，但其本质是编码并传输全部视频数据，无法利用视频内容的上下文信息来识别和省略冗余部分。这导致在带宽受限时，要么牺牲画质，要么出现卡顿。本研究旨在探索一种新范式，利用生成式AI的能力，智能地移除和重建视频数据，从而在不增加带宽需求的前提下，突破传统编码的“画质-带宽”权衡限制。

本文提出了名为ELVIS的端到端学习型视频流增强管道。其核心架构分为两部分：1）服务器端：对原始视频进行分析和编码优化，有策略地移除被判定为冗余或可预测的视频数据块，仅传输关键信息。2）客户端：接收不完整的视频流，并利用一个生成式修复模型（如图像补全模型），根据接收到的上下文信息，实时“绘制”出被移除的部分，重建出完整的视频帧。ELVIS采用模块化设计，其编码器、修复模型和质量评估指标均可替换，从而能灵活集成不同的编解码器（如H.264/AVC, H.265/HEVC）和先进的生成式AI模型，具备良好的未来适应性。

实验结果表明，在当前的模型和技术配置下，ELVIS管道能够显著提升视频质量。与传统的基准编码方案（如仅使用x265编码）相比，在相同的比特率下，其输出的视频质量平均可提升高达11个VMAF（一种感知视频质量指标）分数，这代表了肉眼可见的画质改善。然而，研究也指出，客户端生成式修复模型的计算开销较大，是实现实时低延迟视频流应用面临的主要挑战。

本研究得出结论，ELVIS成功验证了将生成式AI深度集成到视频流管道中的可行性，为超越传统压缩范式提供了新的技术路径。它的主要贡献在于提出并实现了一个端到端的、可学习的增强框架，能够在不增加带宽消耗的情况下提升视觉体验。这项工作标志着向智能、内容感知的视频传输系统迈出了基础性的一步，对未来编解码技术、边缘计算与AI的融合具有启发意义。

音乐情感识别研究面临两大核心挑战：一是缺乏大规模、高质量、由专家标注的数据集，现有数据集往往规模小或标注一致性差；二是模型在处理不同音乐曲目时，容易受到风格、音色等差异的影响，导致特征表示不稳定，即“跨曲目特征漂移”问题。这些问题严重制约了音乐情感识别模型的性能提升和实际应用。本研究旨在通过构建高质量数据集和设计鲁棒的识别框架，系统性解决这些瓶颈。

本文提出了双视图自适应音乐情感识别器（DAMER）框架，包含三个协同模块：1. 双流注意力融合（DSAF）：同时处理梅尔频谱图和耳蜗图这两种声音表示，并通过交叉注意力机制让它们在细粒度上（token级）进行双向信息交互，实现特征互补。2. 渐进置信度标注（PCL）：采用课程学习策略的温度调度来生成可靠的伪标签，并使用Jensen-Shannon散度量化一致性，以自监督方式增强模型学习。3. 风格锚定记忆学习（SAML）：维护一个对比记忆队列，存储并对比不同曲目的特征，以此锚定风格信息，有效缓解跨曲目特征漂移。整个框架以端到端方式训练。

在Memo2496、PMEmo和1000songs三个数据集上进行了广泛实验。DAMER取得了最先进的性能，尤其在唤醒度（arousal）维度上，相较于基线方法，在上述三个数据集上的准确率分别提升了3.43%、2.25%和0.17%。消融实验证实了DSAF、PCL和SAML三个模块各自对性能提升均有显著贡献。可视化分析进一步展示了模型能学习到更清晰、区分度更高的情感特征表示。

本研究为音乐情感识别领域贡献了关键资源与方法。大规模专家标注数据集Memo2496为后续研究提供了可靠的基准。所提出的DAMER框架通过双视图融合、自监督伪标签生成和风格对比记忆，创新性地解决了数据利用和特征漂移问题，显著提升了识别性能。这项工作不仅推动了音乐情感计算的技术前沿，其框架设计思路也对其他涉及时序信号和多模态学习的任务具有借鉴意义。数据集和源代码均已公开，促进了领域的开放与可复现研究。

利用生成式AI流水线（如语音识别、翻译、语音合成）进行实时视频翻译，是构建多语言视频会议平台的关键。然而，现有方案面临严重的系统级瓶颈：多个模型顺序推理会产生累积延迟，且在N个用户的多方会议中，传统的全连接处理模式会带来O(N²)的计算复杂度，导致系统无法扩展。这些挑战阻碍了此类技术在真实场景中的实际部署。本研究旨在设计一个实用的系统级框架，以缓解这些关键瓶颈，为实现可扩展的实时多语言视频会议提供解决方案。

论文提出了一个旨在缓解延迟和可扩展性瓶颈的系统架构。核心创新点包括：1) **轮转机制**：在多用户场景中，系统并非同时处理所有用户对的语音流，而是基于当前发言者动态调整处理目标，将计算复杂度从O(N²)降低到O(N)。2) **分段处理协议**：将连续的音频/视频流分割成固定长度的片段进行流水线处理，并引入缓冲机制来管理各AI模型推理带来的波动延迟，从而为用户提供“感知上实时”的流畅播放体验。研究者实现了一个概念验证流水线，并在从消费级到企业级的多种GPU硬件上进行了性能评估。

研究进行了客观性能测试和主观用户研究。客观测试表明，在NVIDIA RTX 4060、T4和A100等多种GPU上，系统均能实现实时吞吐量（关键指标τ < 1.0）。主观用户研究进一步验证了系统设计的有效性：用户普遍认为，为换取流畅、无中断的播放体验，一个可预测的初始处理延迟（即“分段处理”引入的缓冲）是可以高度接受的。这证明了所提方法在保证用户体验的前提下，显著提升了系统效率。

本研究提出并验证了一个端到端的系统设计，成功解决了生成式AI视频翻译流水线在实时性和可扩展性方面的核心挑战。通过将计算复杂度从平方级降至线性级，并利用分段处理管理延迟，该架构为在多语言通信平台上部署可扩展的实时生成式AI应用提供了切实可行的技术路线图。这项工作不仅是一个具体的技术方案，也对如何系统化地优化复杂AI应用部署具有普遍的参考意义。

在临床工作站上实时部署前列腺MRI分割应用，常受限于计算负载和内存占用。基于深度学习的前列腺分割方法，由于前列腺解剖结构的个体差异大，分割精度和效率难以兼顾。现有方法要么计算量大，要么在复杂情况下分割不可靠。因此，研究动机在于弥合这一效率鸿沟，开发一种既能保持可靠分割精度，又能在资源受限的临床环境中高效运行的前列腺分割模型。

本文提出KLO-Net，核心创新在于两点。一是动态K近邻注意力机制：不同于固定连接数的常规K-NN注意力，该机制允许模型根据图像切片内每个空间位置的特征，自适应地确定其需要关注的邻近位置数量，从而更灵活地捕捉局部上下文信息。二是采用交叉阶段部分网络作为编码器：CSP块通过将特征图拆分并融合处理，有效减少了计算冗余和梯度信息重复，显著降低了模型的计算负载和内存消耗。整个网络基于U-Net架构，集成了上述组件，旨在实现高效且准确的前列腺腺体分割。

研究在PROMISE12和PROSTATEx两个公开数据集上进行了综合实验和消融研究。详细的对比分析表明，KLO-Net在分割质量上具有竞争力。更重要的是，模型在计算效率方面展现出显著优势，具体表现为更低的计算复杂度和内存占用，这验证了动态K-NN注意力和CSP编码器在提升效率方面的有效性。

KLO-Net成功地在分割精度和计算效率之间取得了良好平衡。其贡献在于提出了动态K-NN注意力机制以增强模型对解剖变异的适应性，并利用CSP编码器优化了计算资源使用。这项研究为在临床环境中部署实时、高效的前列腺MRI分割工具提供了可行的解决方案，对推动医学图像分析的临床应用具有重要意义。

Detection Transformer (DETR) 通过端到端方式革新了目标检测，但存在查询竞争低效的问题：多个查询（query）会收敛到相似位置，针对同一物体进行冗余预测和计算，这限制了模型的效率和性能。现有方法未能有效区分查询之间的竞争与互补关系。因此，本研究旨在设计一种机制，在Transformer解码器的自注意力层中自适应地路由查询对之间的交互，以解决冗余问题并提升检测精度。

核心方法是引入自适应的成对查询路由机制。关键洞察是利用查询间的相似性、置信度得分和几何信息，区分针对同一物体的‘竞争查询’和针对不同物体的‘互补查询’。为此设计了两种路由：1) 抑制器路由：调制竞争查询间的注意力，减少重复；2) 委托器路由：鼓励查询探索不同区域。这些路由通过可学习的低秩注意力偏置实现，支持非对称的查询交互。采用双分支训练策略：训练时融入路由偏置以引导学习，推理时则使用标准注意力，确保不增加额外计算开销。该方法可灵活集成到多种DETR变体中。

在COCO和Cityscapes数据集上的实验表明，Route-DETR在多个DETR基线模型上带来了一致的性能提升。具体而言，在ResNet-50骨干网络上，相比DINO模型获得了+1.7% mAP的增益。使用Swin-L大型骨干网络时，达到了57.6%的mAP，超越了之前的最先进模型，证明了其有效性和优越性。

Route-DETR通过创新的成对查询路由机制，有效解决了DETR系列模型中的查询竞争和冗余计算问题。其贡献在于提出了区分竞争与互补查询的洞察，并设计了可集成、无推理开销的双路由实现方法。这项工作不仅提升了目标检测的精度和效率，也为Transformer在视觉任务中更精细地建模查询交互提供了新的思路，具有重要的理论和实践意义。

将视觉语言分割模型（VLSMs）适配到医学影像领域时，传统的全参数微调方法计算成本高昂，难以在资源有限的临床环境中部署。现有的参数高效微调（PEFT）方法，如适配器（Adapters），通常在Transformer网络的所有层使用统一的维度，这忽视了不同深度网络层在特征抽象和语义表示上的差异，导致参数分配不优和适应效率低下。因此，需要一种更智能的参数分配策略，以实现计算效率和模型性能的最佳平衡。

本文提出了‘伸缩适配器’这一新颖的PEFT框架。其核心创新是‘深度感知缩放’：在CLIPSeg模型的视觉和文本编码器中集成轻量级的瓶颈模块（即适配器），但这些适配器的容量（维度）并非固定不变，而是根据其所在Transformer层的深度进行动态缩放。具体而言，从浅层到深层，适配器的容量逐渐增加。其理论依据是，深层网络负责更高级、更任务相关的语义特征，因此需要更多的可调参数来有效适应新领域（如医学影像）。该方法仅需微调适配器中的极少量参数，而冻结原始庞大的预训练模型。

在涵盖息肉分割、皮肤病变检测和乳腺超声成像的五个多样化医学数据集上进行了评估。仅使用61.3万个可训练参数（比端到端全参数微调少244倍），伸缩适配器取得了优异的性能，超越了使用统一维度适配器的基线PEFT方法。全面的消融实验证实了核心假设：深层网络层确实比浅层需要显著更多的适应能力，验证了伸缩缩放策略的有效性。该方法在保持竞争力的分割精度的同时，大幅降低了计算开销。

本研究证实了在高效微调中非均匀参数分配的重要性，并提出了伸缩适配器这一有效解决方案。它建立了一种新的医学VLSM高效微调范式，通过深度感知的智能参数缩放，在极低的参数量下实现了优异的领域适应性能。这项工作使得高性能的视觉语言分割模型能够部署在计算资源受限的临床环境中，对推动AI在医疗影像分析中的实际应用具有重要意义。

近年来，YOLO系列模型（如YOLOv10至v13）在实时目标检测领域取得了显著进展，不断刷新性能记录。然而，在追求更高精度的同时，如何维持或提升实时推理速度仍是一个核心挑战。本研究的动机是整合现有YOLO模型中的有效设计，通过架构层面的增强，旨在构建一个在精度上达到顶尖水平，同时推理速度依然具有竞争力的新型实时目标检测器。

本技术报告提出了VajraV1模型架构。其主要方法是对现有基于YOLO的检测器进行架构增强。具体而言，VajraV1并非完全从头设计，而是有选择地结合了先前YOLO模型中已被证明有效的设计选择。通过这种集成与优化策略，模型在架构层面进行了创新性改进，从而在保持高效推理能力的基础上，显著提升了目标检测的准确性。

在COCO验证集上的实验结果表明，VajraV1在多个模型尺寸上均取得了领先的精度。具体而言，VajraV1-Nano达到44.3% mAP，比YOLOv12-N和YOLOv13-N分别高出3.7%和2.7%，且延迟与YOLOv12-N和YOLOv11-N相当。VajraV1-Small（50.4% mAP）、Medium（52.7% mAP）、Large（53.7% mAP）和Xlarge（56.2% mAP）均超越了同尺寸的YOLOv12或YOLOv13模型，其中Xlarge版本在所有现有实时目标检测器中表现最佳。

本研究成功开发了VajraV1模型，它通过整合与优化YOLO系列的成功设计，在实时目标检测领域实现了新的精度突破。VajraV1在COCO数据集上全面超越了最新的YOLOv12和YOLOv13等模型，证明了其架构增强的有效性。该工作为实时目标检测技术的发展提供了新的高性能基准，其兼顾高精度与高效率的设计思路对推动计算机视觉模型的实际应用具有重要意义。

卫星观测的大气污染物数据通常空间分辨率较低，难以满足地方尺度的环境分析和决策需求。空间降尺度技术旨在将粗分辨率数据转化为高分辨率场。然而，现有基于深度学习的降尺度方法（如超分辨率网络和UNet）主要关注空间特征，往往忽略了污染物浓度随时间（如季节、月份）变化的动态特性，这限制了模型的精度和泛化能力。因此，本研究旨在探索如何将时间信息有效融入深度学习降尺度架构中，以提升模型性能。

本研究选取了两种广泛应用的深度学习架构作为基线模型：超分辨率深度残差网络（SRDRN）和基于编码器-解码器的UNet。核心创新在于为这两个模型设计并集成了一个轻量级的时序模块。该模块首先使用正弦编码或径向基函数（RBF）编码将观测时间（如年、月）转化为特征向量。然后，通过特征融合机制（如拼接或相加），将这些时序特征与网络中间层提取的空间表征进行融合，从而使模型能够同时学习空间分布和时间演变模式。这种方法以极小的计算开销扩展了基线模型，使其成为“时序感知”的降尺度网络。

在意大利地区的臭氧降尺度案例研究中，对提出的时序感知扩展模型与其原始基线模型进行了对比评估。实验结果表明，引入的轻量级时序模块仅略微增加了计算复杂度，但却带来了显著的性能提升。具体而言，时序感知模型在降尺度精度指标上优于基线模型，并且收敛速度更快。这证明了融合时间信息对于提升卫星数据空间降尺度任务的有效性。

本研究证实，在深度学习空间降尺度模型中集成时间信息是一个简单而有效的策略。所提出的轻量级时序模块能够显著提升SRDRN和UNet在臭氧降尺度任务中的性能和训练效率。这一贡献不仅为大气污染物降尺度提供了更强大的工具，其“时序感知”的设计思路也可推广至其他具有时空依赖性的遥感数据处理领域，增强了深度学习模型对现实世界动态过程的理解和建模能力。

多模态大语言模型是实现通用人工智能的关键，但现有模型在统一处理多模态理解与生成任务时面临挑战。理解任务（如图文问答）和生成任务（如图像生成）的优化目标存在冲突，提升一方往往导致另一方性能下降。因此，研究需要一种方法，能在不损害已有强大理解能力的前提下，有效增强模型的生成与编辑能力，实现真正的统一多模态学习。

本文提出STAR方案，核心是将统一多模态学习分解为理解、生成、编辑三个阶段。其关键技术是：1）冻结基础自回归模型参数以保留理解能力；2）逐步堆叠结构相同的自回归模块来分别负责生成和编辑任务，避免任务间干扰。此外，方法还引入了两个创新点：使用高容量的矢量量化编码器来提升图像表示的精细度，以及采用隐式推理机制来改善复杂条件下的生成质量。整个方案实现了能力的模块化渐进式扩展。

实验表明，STAR在多个基准测试中取得了最先进的性能。具体而言，在生成评估基准GenEval上得分为0.91，在细粒度图像生成基准DPG-Bench上得分为87.44，在图像编辑基准ImgEdit上得分为4.34。这些结果显著优于现有方法，验证了STAR在统一多模态理解、生成和编辑任务上的高效性。

STAR通过创新的堆叠自回归架构，成功解决了多模态学习中理解与生成任务的优化冲突，实现了两者性能的协同提升。该工作为构建统一、强大的多模态模型提供了新的技术路径，对推动通用人工智能的发展具有重要理论意义和应用价值。其模块化、可扩展的设计思想也可为后续研究提供借鉴。

随着多模态大语言模型在通用视觉-语言任务上展现出强大的零样本能力，人们期待其在医疗领域也能辅助决策。然而，即使是最先进的模型，在基础的医疗决策任务上也表现不佳。本研究旨在探究这一局限性的原因，具体分析在视觉差异细微（如阿尔茨海默病分期）或标签复杂（如胸部X光多标签分类）的医疗任务中，视觉信息为何未能有效提升、甚至可能损害模型的决策性能。

研究采用两个具有挑战性的医疗数据集进行实证分析：三阶段阿尔茨海默病分类和MIMIC-CXR胸部X光多标签分类。核心方法是系统比较纯文本、纯视觉以及视觉-文本多模态三种输入设置下模型的性能。为改善多模态决策，探索了三种策略：一是在上下文学习中提供带有推理注释的示例；二是先将视觉信息转化为文本描述（视觉描述），再进行纯文本推理；三是在分类监督下对模型的视觉编码器进行少量样本微调。

实验结果表明，在所有任务中，仅使用文本推理的模型性能始终优于仅使用视觉或结合视觉与文本的多模态模型，且多模态输入的表现常常比纯文本更差。所尝试的三种改进策略中，视觉描述后纯文本推理的方法效果最佳，能显著提升多模态决策性能，甚至超过纯文本基线。这直接证明了当前多模态大模型缺乏扎实的视觉理解能力。

本研究得出结论，当前多模态大语言模型在医疗决策任务中并未有效利用视觉信息，其视觉理解是“未落地”或肤浅的，导致多模态输入可能引入噪声或干扰。这一发现挑战了“更多模态必然更好”的假设，并指出了通过增强视觉基础理解、改进视觉-文本对齐来提升医疗AI决策能力的明确方向，对开发可靠的多模态医疗辅助系统具有重要意义。

随着AI生成视频技术的普及，如何准确检测AI生成内容对维护信息真实性至关重要。现有检测基准虽然推动了该领域发展，但忽略了一个关键因素：许多先进的生成模型（如Sora）会在输出中嵌入数字水印。这可能导致检测器并非真正识别视频内容本身的生成痕迹，而是部分依赖于这些水印模式，从而高估了其实际检测能力。因此，迫切需要建立一个能评估水印鲁棒性的基准，以推动开发更可靠的检测方法。

本研究核心是构建RobustSora基准。首先，系统性地创建了一个包含6500个视频的数据集，分为四类：真实-干净视频、真实-添加假水印视频、AI生成-带水印视频、AI生成-去水印视频。基于此数据集，设计了两个评估任务：任务一测试检测器对去除了水印的AI视频的识别性能；任务二评估检测器在面对被添加了假水印的真实视频时的误报率。实验涵盖了十种主流模型，包括专用AIGC检测器、基于Transformer的架构以及多模态大语言模型，以全面分析水印操作对不同方法的影响。

实验结果表明，水印操作对各类检测模型的性能产生了显著影响，性能波动范围在2到8个百分点之间。具体而言，基于Transformer的模型表现出稳定且中等程度的依赖（性能变化6-8pp）；而多模态大语言模型则呈现出多样化的依赖模式（变化2-8pp）。这些结果证实了现有检测器确实部分依赖于水印模式，而非完全基于视频内容的本质特征进行判断。

本研究通过构建RobustSora基准，首次系统揭示了当前AI生成视频检测器对数字水印的依赖问题。结论指出，这种依赖会削弱检测器在真实场景下的鲁棒性和可靠性。该工作强调了在未来检测模型开发中，需要考虑并设计对水印不敏感的训练策略。RobustSora为推进更鲁棒、更可信的AIGC检测研究提供了重要的评估工具和方向指引。

半监督少样本学习旨在利用少量标注数据和大量未标注数据来训练模型，这非常契合“自动标注”等现实应用场景。尽管当前已有强大的开源视觉语言模型及其海量预训练数据，但该领域的研究大多忽视了这些宝贵资源。相比之下，相关的少样本学习领域已开始利用这些资源提升性能。为了实现真实世界的自动标注，半监督少样本学习理应充分利用这些开源模型和数据。然而，初步尝试发现，直接应用现有半监督学习方法微调视觉语言模型效果不佳，甚至不如简单的少样本学习基线，这揭示了现有方法与该类模型不兼容的根本问题。

本文首先深入分析了现有半监督学习方法在微调视觉语言模型时失效的根源：模型输出的概率分布过于“平坦”，导致对未标注数据的利用率几乎为零，监督信号微弱。针对此问题，作者提出了两个极其简单的关键技术：1）分类器初始化：用带标签数据的特征均值初始化分类器权重，为模型提供一个更好的起点；2）温度调节：调整模型输出层的温度参数，使概率分布更“尖锐”，从而提升伪标签的置信度。基于此，作者构建了“分阶段微调与温度调节”方法。该方法首先利用检索到的、与任务相关但可能带噪声的预训练数据对模型进行预热，然后分阶段地在少量标注数据和大量未标注数据上进行微调，并持续优化温度参数，从而有效利用了所有可用数据源。

在五个标准的半监督少样本学习基准数据集上进行了广泛实验。所提出的SWIFT方法显著优于近期的少样本学习和半监督学习方法，平均准确率提升了约5个百分点。更令人印象深刻的是，SWIFT的性能甚至可以与“监督学习”相媲美，后者是使用未标注数据的真实标签进行微调的理想情况，这凸显了该方法在利用未标注数据方面的卓越效率。

本研究成功地将强大的开源视觉语言模型引入半监督少样本学习领域，解决了直接微调时因概率分布平坦导致的性能瓶颈。通过提出的简单而有效的分类器初始化和温度调节技术，显著提升了伪标签质量和未标注数据利用率。最终形成的SWIFT框架，能够协同利用有限标注数据、大量未标注数据以及检索到的相关预训练数据，为实现高效、实用的“自动标注”系统提供了强有力的技术方案，并在此任务上达到了接近全监督学习的性能水平。

当前，视觉概念组合技术旨在从图像和视频中提取不同元素并整合成连贯的视觉输出，但在准确提取复杂视觉概念以及灵活组合来自图像和视频的概念方面仍存在不足。具体而言，现有方法难以精确分解包含多个细节的视觉概念，并且在融合静态图像概念和动态视频概念时兼容性差，限制了视觉创作的灵活性和质量。因此，需要一种能够同时处理图像和视频输入，并能精确绑定和灵活组合其中复杂概念的新方法。

本文提出名为Bind & Compose的一样本方法。其核心是通过将视觉概念绑定到对应的提示词（prompt token）上，然后组合来自不同源的已绑定提示词来生成目标内容。方法采用分层绑定器结构，在扩散Transformer中进行交叉注意力调节，以将视觉概念编码到提示词中，实现复杂概念的准确分解。为提高概念-词绑定的准确性，设计了“多样化-吸收机制”，引入一个额外的吸收词，在使用多样化提示训练时消除与概念无关的细节影响。为增强图像与视频概念的兼容性，提出了“时间解耦策略”，通过双分支绑定器结构将视频概念训练解耦为两个阶段，分别处理外观和运动建模。

评估结果表明，该方法在概念一致性（准确保持输入概念的特征）、提示保真度（生成内容与文本描述匹配度）和运动质量（视频动作自然流畅）方面均优于现有方法。实验验证了其在从图像和视频中组合复杂概念（如特定外观与特定动作）的任务上具有优越性能，为视觉创作开辟了新可能性。

本研究提出的Bind & Compose方法成功解决了从图像和视频中灵活、准确组合视觉概念的挑战。其贡献在于：1）通过概念-提示绑定和分层编码实现了复杂概念的精确分解；2）通过多样化-吸收机制和时间解耦策略分别提升了绑定准确性和跨模态兼容性。该方法在生成质量上显著超越现有技术，不仅推动了可控视觉生成领域的发展，也为更富创造力的视觉内容制作提供了强大的新工具。

视觉语言模型在处理高分辨率图像和视频时，其视觉令牌表示存在大量冗余，导致计算效率低下和推理延迟。现有的基于注意力或相似度的压缩方法存在位置偏见或类别不平衡问题，导致精度显著下降，且难以泛化到跨模态交互较弱的浅层大语言模型。因此，亟需一种能够无损或微损压缩视觉令牌、加速整个模型推理，并能广泛部署的新方法。

本文提出了无损终极视觉令牌压缩框架。方法包含两个核心部分：首先，在视觉编码器中，提出一种在空间轴上正交的有效迭代合并方案，从源头压缩令牌以加速整个VLM的计算。其次，在大语言模型中，集成了一个无需注意力/相似度的低通滤波器作为频谱剪枝单元，它能逐步剪枝冗余的视觉令牌，且完全兼容现代FlashAttention技术。LUVC系统性地压缩视觉令牌，直至在LLM的最后一层完全消除，从而将高维视觉特征逐步融合到多模态查询中。

实验表明，LUVC在语言模型推理上实现了2倍的加速，同时精度损失可忽略不计。其免训练的特性使其能够立即部署到多个不同的视觉语言模型中，展现了出色的通用性和实用性。

LUVC框架成功解决了视觉令牌冗余导致的效率瓶颈，通过视觉编码器压缩和LLM内渐进式剪枝的协同设计，实现了近乎无损的高效推理。该工作贡献了一种新颖、通用且即插即用的压缩范式，对推动视觉语言模型的实际部署和应用具有重要意义。

人工智能在微纳制造，尤其是缺陷检测领域的应用，严重受限于高质量、符合物理真实性的训练数据的稀缺。半导体工业中的光刻缺陷数据由于保密性等原因，极少公开供研究使用，导致公开数据集严重短缺。这一瓶颈阻碍了基于AI的测量与检测技术在半导体制造中的发展和鲁棒性验证。因此，迫切需要一种能够生成大规模、物理有效且带有精确标注的缺陷数据集的方法。

本研究提出了一种新颖的、物理约束与设计驱动相结合的缺陷数据集生成框架。方法分为三步：首先，在原始设计版图级别，应用可控的、受物理过程（如刻蚀和沉积）约束的数学形态学操作（腐蚀和膨胀），从头合成包含桥接、毛刺、缩颈和污染四类缺陷的版图布局。其次，将这些合成版图及其无缺陷对照版图，通过基于数字微镜器件的高保真光刻技术，制造成真实的物理样品并获取光学显微图像。最后，通过对比合成缺陷样品与其无缺陷参考图像，自动生成像素级精确、轮廓完整的缺陷分割标注掩膜，从而构建出高质量数据集。

利用该方法，研究者构建了一个包含3,530张光学显微图像、13,365个标注实例的综合性缺陷数据集。在模型验证中，基于分割的Mask R-CNN模型在桥接、毛刺、缩颈三类缺陷上的[email protected]分别达到0.980、0.965和0.971，而Faster R-CNN的对应结果为0.740、0.719和0.717，平均[email protected]提升了约34%。对于污染类缺陷，Mask R-CNN的[email protected]比Faster R-CNN高出约42%。这些一致的性能增益证明了所生成数据集对于训练鲁棒的AI检测模型的有效性。

本研究成功开发并验证了一种能够生成大规模、物理有效、带像素级标注的光刻缺陷数据集的方法论。该工作不仅为半导体制造中的AI基测量与检测技术提供了关键的数据基础，突破了数据稀缺的瓶颈，而且其“从设计到制造”的框架确保了缺陷的物理真实性。所构建的高质量数据集显著提升了先进检测模型（如Mask R-CNN）的性能，证明了该方法对于推动微纳制造智能化、实现更精准缺陷检测具有重要的实际意义和推广价值。

现有的视频编辑技术（如改变物体、风格或场景）通常只关注视觉部分，忽略了与之同步的音频。这导致编辑后的视频与原始音频脱节，破坏了整体的沉浸感和真实感。因此，亟需一种能够协同编辑音频和视频的方法，在视觉内容改变后，自动生成或调整与之匹配的音频，以维持视听内容的连贯性与一致性。

该方法采用了一个两阶段流程。首先，使用先进的视频编辑技术生成目标视频。核心创新在于第二阶段：提出了一个新的视频到音频生成模型。该模型以源音频、目标视频和文本提示为条件输入。模型架构经过扩展，能够融合条件音频信息。研究还提出了一种数据增强策略以提高训练效率。此外，模型能根据编辑的复杂程度动态调整源音频的影响力，在可能的情况下保留原始音频的结构，从而实现更灵活和保真的音频生成。

实验结果表明，该方法在保持视听对齐和内容完整性方面优于现有方法。具体性能指标（虽未在摘要中详述）应体现在生成的音频与编辑后视频的匹配度、自然度上，并通过与基线模型的对比分析验证了其优越性。

本研究成功开发了一个连贯的联合视听编辑框架。其主要贡献在于提出了一个条件音频生成模型，能够根据视频编辑结果智能地合成匹配的音频。这项工作推动了多模态内容编辑的发展，对影视后期制作、AR/VR内容生成等领域具有重要的实际应用价值，为实现更自然、沉浸的多媒体体验提供了技术基础。