【AAAI 2026】VQAThinker：通过RL进行可解释VQA训练

note

本文提出了VQAThinker，一种基于推理的VQA框架，通过结合大型多模态模型和强化学习，实现了可泛化和可解释的视频质量评估。
它把视频质量评估从“直接回归一个分数”，升级成“先像人一样分析视频有哪些质量问题，再给出分数”，并用 GRPO 强化学习只靠 MOS 分数监督，就训练出既能打分、又能解释的视频质量评估模型。
VQAThinker引入了三种VQA特定奖励函数，分别用于细粒度的得分预测、相对质量判别和时间失真建模。广泛的实验表明，VQAThinker在领域内和领域外的基准测试中均取得了最先进的性能，并通过显式的推理轨迹提供了强大的可解释性。
三大reward：
- ① Bell-shaped Regression Reward：让分数更细
- ② Pairwise Ranking Reward：让相对排序更稳
- ③ Temporal Consistency Reward：让模型更懂时序问题

论文：

VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning

2026.2

https：

//github.com/clh124/VQAThinker

开源模型：

https://huggingface.co/kkkkkklinhan/InternVL3-VQAThinker-8B

研究问题：这篇文章要解决的问题是视频质量评估（VQA），即如何客观量化视频质量的主观退化，使其与人类视觉感知一致。尽管现有的VQA模型取得了一定的进展，但它们在泛化到分布外（OOD）视频和可解释性方面仍存在两个关键限制。
研究难点：该问题的研究难点包括：现有VQA模型在处理分布外视频时表现不佳，缺乏可解释性，难以在实际场景中应用。
相关工作：该问题的研究相关工作包括基于手工特征的早期方法、深度神经网络（DNN）架构、大型多模态模型（LMM）以及强化学习（RL）的应用。这些方法在不同程度上提高了VQA的性能，但仍存在泛化能力和可解释性的不足。

这篇论文提出了VQAThinker，一种基于推理的VQA框架，利用大型多模态模型（LMMs）和强化学习来联合建模视频质量理解和评分，模拟人类的感知决策过程。

1、模型架构：VQAThinker采用一个开源的LMM作为骨干，输入视频和文本提示，生成一个包含质量推理轨迹和质量得分的响应。为了实现时间感知的视频质量建模，还引入了一个冻结的运动特征提取器来提取局部时间动态。

2、强化学习策略：采用组相对策略优化（GRPO）来训练VQAThinker，消除对显式价值函数的需求。在训练过程中，GRPO为一组视频生成多个质量响应，并使用特定的VQA奖励函数进行评估。

VQA特定奖励函数：设计了三个VQA特定奖励函数：

Reward	作用	通俗理解
1. Bell-shaped Regression Reward	让预测分数接近真实 MOS	模型输出的质量分越接近人工 MOS，奖励越高；而且接近正确答案时奖励更细，逼模型学会精细打分
2. Pairwise Ranking Reward	让视频质量排序正确	如果真实标签里视频 A 比视频 B 质量高，模型也应该预测 A 分数 > B 分数
3. Temporal Consistency Reward	让模型识别视频时序退化	构造帧重复、丢帧、乱序等时序扰动视频，要求模型认为原视频质量高于扰动视频

数据集：VQAThinker在LSVQ数据集上进行训练，该数据集包含28,056个用户生成视频。评估方面，从视频质量评分和视频质量理解两个角度进行评估。视频质量评分的评估数据集包括LSVQ Test、LSVQ 1080p、KoNViD-1k、LIVE-VQC、YouTube-UGC等。视频质量理解的评估数据集包括FineVD和Q-Bench-Video。
对比方法：将VQAThinker与无监督方法（如NIQE、VIIDEO、STEM、CLIP-IQA）、监督方法（如SimpleVQA、FAST-VQA、DOVER、MinimalisticVQA、Q-Align、VQA2-Scorer）以及强化学习方法（如Q-Insight、VisualQuality-R1、VQ-Insight）进行对比。
实现细节：使用InternVL3-8B作为LMM骨干，SlowFast作为运动特征提取器，初始化为公开发布的权重。在训练过程中，运动特征提取器保持冻结，其他组件进行微调。GRPO训练器中，响应数量K设为4，KL惩罚系数β设为0.04。模型在8个NVIDIA A800 GPU上进行三周期训练，总批量大小为64，学习率为1×10−6。

视频质量评分：在十个VQA基准测试中，VQAThinker在几乎所有基准上均取得了最先进的性能，并在整体准确性上优于所有对比方法。与最近的RL方法VQ-Insight相比，VQAThinker采用了更简洁的训练过程，但性能更优。
视频质量理解：在FineVD和Q-Bench-Video基准上，VQAThinker在没有显式视频质量指令数据的情况下，仍然表现出色。在FineVD上，VQAThinker显著优于开源LMMs和RL基线模型，甚至超过了FineVQ模型。在Q-Bench-Video上，VQAThinker的表现仅次于VQA2-Assistant，后者在157K指令-答案对上进行训练。
消融研究：通过消融研究验证了运动特征提取器、推理输出和三种VQA特定奖励函数的贡献。结果表明，移除任何一个模块都会导致大多数数据集上的性能下降，强调了各模块的互补性和设计的必要性。

[1] VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning