跨模态因果对齐，让机器更懂视觉证据！
来自中山大学、新加坡南洋理工大学等团队提出跨模态因果对齐框架（CRA），通过因果干预和跨模态对齐，显著提升时空定位的准确性与可解释性。
相关论文已被CVPR 2025接收，代码已开源。
事情是这样的——
近年来随着多模态大模型的发展，视频问答（VideoQA）任务——要求模型根据视频内容回答自然语言问题——性能显著提升。
然而，现有模型往往依赖训练数据中的统计偏差（如语言关键词与答案的虚假关联），而非真正的因果视觉证据，导致回答缺乏可解释性。
举个栗子～
例如下图中，当视频中出现“婴儿”和“女性”时，模型可能仅因二者高频共现而给出答案，却忽略真实因果事件（如“女性抱起婴儿”）。
也就是说，虽然结果答对了，但过程中模型采纳的是错误的视觉依据。
针对类似情况，为提供可靠的视觉证据支持，视频问答定位（VideoQG）任务应运而生，要求模型同时输出答案及其对应视频片段的时间区间。
但现有方法面临两大挑战：
以上就是CRA框架诞生的背景。
此外，中山大学HCP-Lab团队已将关键的因果模块集成到开源因果框架CausalVLR中。
该框架是一个基于PyTorch的python开源工具包，用于因果关系发现，因果推理，为各种视觉语言推理任务实现最先进的因果学习算法。
现有方法常因依赖于训练数据中的统计偏差，导致模型无法准确识别与问题相关的因果视觉场景，进而产生不准确的时空定位结果。
为克服这一问题，CRA框架通过三个核心模块实现了从噪声抑制、特征对齐到因果关系建模的全流程优化。
该框架在NextGQA和STAR数据集上的实验结果表明，CRA能够显著提升模型的时空定位能力和因果推理的准确性，为视频问答定位任务提供了更可靠的技术解决方案。
三个核心模块具体展开如下：
GSG：抑制噪声，聚焦关键帧
第一个，高斯平滑定位模块（GSG）。
GSG模块通过自适应高斯滤波去噪，精准估计视频片段的时间间隔。
它的核心功能，是基于跨模态注意力估计时间区间，通过自适应高斯滤波去噪，生成鲁棒的视频片段特征。
技术亮点主要有仨：
1、跨模态注意力计算：利用CLIP视频特征与RoBERTa语言特征的交互，生成初始时间注意力权重；2、自适应高斯滤波：引入可学习参数的高斯核，抑制时序上的不稳定噪声（如无关背景帧），突出关键事件区域（下图）；
3、动态阈值分割：根据平滑后的注意力分布，动态截取高响应区间，提升定位精度。
消融实验显示，移除高斯滤波（GSG w/o GS）会导致IoU@0.5下降2.2%（下表），证明其对噪声抑制的关键作用。
△GSG消融实验，其中SGG w/o GS†表示GSG在训练过程中具有高斯平滑，但在推理过程中没有高斯平滑CMA：弱监督下的双向对齐
第二个，交叉模态对齐模块（CMA）。
CMA模块利用双向对比学习，增强视频与问答特征的对齐效果。
它的核心功能，是通过双向对比学习，对齐视频片段特征与问答特征，增强跨模态一致性。
技术亮点有二：
移除CMA模块后，Acc@GQA下降2%，IoP@0.5下降2.2%（下表），凸显其对弱监督训练的重要性。
ECI：切断虚假因果链
第三个，显式因果干预模块（ECI）。
ECI模块则通过前门和后门干预，消除多模态偏差，提升因果一致性。
它的核心功能，是针对视觉和语言模态分别设计前门干预与后门干预，消除多模态混淆因素。
技术亮点有二：
实验结果显示，在NextGQA数据集上，去除了Causal模块后相对于CRA在Acc@GQA造成了1.2%的性能损失。
在NextGQA数据集中，CRA以18.2%超越Temp[CLIP]（NG+）2.2%，且在使用FrozenBiLM大模型时仍保持优势。
此外，IoP@0.5达28.5%，显著优于基于LLM伪标注的TimeCraft（27.8%），证明其无需额外数据的高效性。
在STAR数据集中，CRA分别以26.8%与27.5%的Acc@GQA分数在Temp[CLIP]和FrozenBiLM的Backbone下领先NG+。
而通过统计弱监督视频定位的分布情况，研究团队可以观察到NG+局限于小区间的估计，而CRA所估计的区间与真实分布情况更符合。
综上，CRA框架通过跨模态因果对齐，首次在弱监督条件下实现了视频问答定位的高精度与可解释性。
目前，CRA框架代码已开源。
研究团队表示，CRA为视频理解提供了新的因果推理范式，或将推动自动驾驶、智能监控等领域的可信AI应用。
论文地址：
https://arxiv.org/abs/2503.07635
CRA-GQA仓库：
https://github.com/WissingChen/CRA-GQA
因果框架仓库：
https://github.com/HCPLab-SYSU/CausalVLR
