ICLR 2026 | 用少量标注构造多步推理数据：COGS 用合成数据和过程奖励增强多模态大模型

在图表问答、网页理解这类任务里，图像资源通常并不稀缺，稀缺的是高质量的多步推理数据

。模型要先识别图中的数值或对象，再完成比较、计数、计算甚至趋势推断，其中任意一步出错，最终答案就会偏离。

人工标注这样的训练数据成本很高，而只在测试时让模型临时拆解问题，又容易造成中间步骤误差累积。

ICLR 2026 的 COGS 正是针对这个问题，它提出从少量种子问题中分解出基础推理能力，再生成带中间步骤的合成数据，并通过过程奖励进行强化学习训练。

论文题目：Composition-Grounded Data Synthesis for Visual Reasoning

作者：Xinyi Gu、Jiayuan Mao、Zhang-Wei Hong 等

机构：MIT、University of Wisconsin-Madison、MIT-IBM Watson AI Lab

会议：ICLR 2026

项目页与代码数据地址：cogsynthesis.github.io

推荐理由

这篇论文最值得推荐的地方，是它把数据生成单位从“完整问题”换成了“推理因子”

。

比如一道“两个国家某项指标相差多少”的图表题，背后其实有几步：先读国家 A 的数值，再读国家 B 的数值，最后计算差值。传统数据增强往往围绕整道题改写，COGS 则先把这些步骤拆出来，再换图重组。

图 1 是 COGS 的架构图。它从少量需要复杂推理的初始问题开始，将这些问题分解为基本的感知和推理要素。随后，这些要素会与新的图像信息相结合，从而生成新的问答对。这一过程能够显著增加推理的类型和数量，使其超越最初的初始问题。

核心方法

图 2 展示了一个具体的示例。COGS 的框架包含三个阶段：初始问题分解、因素重组以及模型微调。

1 初始问题分解

COGS把复杂问题拆成一组factors（因子）

。这些因子既包括视觉感知，也包括后续推理。

常见因子包括：

  • Identification

    ：识别或读取图里的数值、对象、文本；

  • Comparison

    ：比较；

  • Counting

    ：计数；

  • Calculation

    ：计算；

  • Extrapolation

    ：趋势外推；

  • Fact Checking

    ：事实判断；

  • Spatial Relation

    ：空间关系。

具体来说，作者让一个 MLLM 看图和问题，再输出“这道题需要哪些步骤”。例如一个差值问题可能被拆成：

  1. 读取对象 A 的数值；

  2. 读取对象 B 的数值；

  3. 计算两者的绝对差。

这些结果会汇总成一个factor pool（因子池）

。它可以理解为一盒零件：每个零件带着能力标签，也带着一些示例子问题。

这里有个细节很重要：论文并不鼓励把每道题硬拆得很碎。对于只需要简单识别的问题，prompt 会要求不要做多余分解。目标是找出真正必要的步骤

，而不是制造看起来很长的推理链。

2 因素重组

有了因子池之后，COGS 会拿一张新图，从池里抽取若干 factors，让生成模型围绕这张图重新出题

。

它不是只生成一个“问题-答案”对，而是生成整套结构

：

其中：

  • 是图像；

  • 是最终复杂问题；

  • 是最终答案；

  • 是涉及的因子；

  • 是每个子问题的中间答案。

简单说，模型要先生成并回答子问题，再把子问题拼成最终问题。

后面的推理还必须依赖前面已经找出的信息，不能跳步直接猜答案。

在图表场景中，作者还会使用底层表格等 metadata 来提高答案精度。这意味着 COGS 在图表数据生成时，并不完全依赖纯视觉读取，结构化数据也参与了合成过程。

3 模型微调：兼顾答案和过程

传统 RL 微调常常只问一件事：最终答案对不对？

但视觉推理题里，模型答错可能有很多原因：数字读错了、对象找错了、比较方向错了，或者算错了。只看最终答案，训练信号太粗。

COGS 因为保存了子问题和子答案，所以可以给中间步骤打分。

论文定义子问题命中率：

其中， 是子问题数， 表示第 个子问题是否答对。

作者比较了三种奖励：

  • StandardRM

    ：只看最终答案；

  • ProcessRM-sum

    ：最终答案奖励和过程奖励直接相加；

  • ProcessRM-max：取最终答案奖励和过程奖励中的较大值

    。

论文最终更推荐ProcessRM-max：

直觉很简单：最终答案正确，奖励就是最高；最终答案错误，即使过程部分正确，也只能拿到有限奖励。

这样可以避免“过程写得像对的，但最后答案错了”的输出得到太高回报。

实验结果

主实验：ChartQAPro

在 ChartQAPro 上，Qwen2.5-VL-7B 的基础准确率是47.36%，COGS 提升到52.02%，绝对提升4.66 个百分点

。

多数据集混合：因子层混合更稳

在 ChartQAPro 和 MMC-Bench 上，作者比较了两种做法：

  • 先各自生成数据再拼起来；

  • 先合并因子池，再重新生成数据。

合并因子池在两个数据集上都超过了直接拼数据的方式。不过，在 MMC 上，单独训练 MMC 的结果是 88.10%，仍略高于 factor-level mix 的 87.55%。

哪类题提升最明显？

论文的分析显示，问题包含的 factor 越多，COGS 的收益通常越明显。

按因子类型看，提升包括：

  • Count：+4.25；

  • Compare：+4.47；

  • Calculation：+3.04；

  • Extrapolation：+7.62；

  • Fact Check：+1.44。

这和方法逻辑一致：COGS 最擅长的不是单次读图，而是让模型更稳定地把多个步骤串起来。

奖励消融：过程奖励确实有用，但不能乱加

从这组结果看，直接相加的过程奖励没有带来提升，反而略降；ProcessRM-max

最好。

这至少说明，过程监督不是越多越好，怎样避免中间步骤的噪声误导训练，是这类方法的关键

。

网页任务：初步证明能跨出图表领域

在 VisualWebBench 的 WebQA 上：

COGS 比基础模型高 2.39 个点，也是表中最好的开源模型

。

这说明它不只适合图表数值推理，也有能力处理网页里的文本、位置和结构关系

。但目前只测了 chart 和 webpage 两类场景，能否泛化到文档、多页 UI 或长上下文视觉任务，还需要更多证据。

4. 这篇论文真正带来的启示

第一，做视觉推理数据，不该只看样本量，也要看“能力组合量”

。

一堆单步读图题，未必能训练出多步推理能力。后续做数据集时，更值得统计的是：覆盖了哪些感知动作、推理操作，以及这些操作有没有真正组合起来。

第二，多数据集混合，不能只靠把样本拼在一起

。

图表、网页、文档表面不同，但底层可能共享识别、比较、计数、定位等能力。先在能力层对齐，再生成新组合，可能比直接混数据更有效。

第三，过程监督的目标不是奖励“会写推理过程”，而是帮助模型更可靠地走到正确答案

。

COGS 的ProcessRM-max

提醒我们：中间步骤应该提供辅助信号，但最终答案仍然必须是最高优先级。

5. 总结

COGS 解决的是一个很现实的问题：模型不缺视觉数据，但缺少复杂推理标注。它的做法可以浓缩成三步：先把少量种子题拆成感知和推理因子，再拿这些因子去新图像上组合出新题，最后把中间步骤变成强化学习中的过程奖励。

COGS 最有价值的地方，不是简单的数据生成，而是拆解了数据生成的思路。