Qwen-Image-2.0-RL Technical Report

§摘要 (Abstract)

1引言 (Introduction)

扩散与流匹配生成模型（Sohl-Dickstein 2015、Ho 2020、Song 2021）已在高保真图像生成上取得显著成功。 从早期潜在扩散 (Rombach 2022) 发展到 Transformer 驱动的可扩展架构 (Peebles & Xie 2023; Chen 2024; Esser 2024)，最新系统进一步引入 视觉语言基础模型作为条件编码器（BlackForest 2024、Wu 2025a、Cai 2025）， 以更强的语义 grounding 与多模态世界知识实现更精细的指令遵循与图文对齐。 与此同时，商业系统（GPT Image、Nano Banana、Seedream）已在生成质量上迈过又一个门槛， 统一架构进一步把生成能力扩展到编辑任务，让单个模型服务于生成与编辑两条赛道。

1.1 三个待解决的挑战

尽管预训练效果亮眼，作者指出监督训练下的扩散模型输出与人类审美之间仍存在持续存在的 gap： 去噪得分匹配 (denoising score matching) 目标并不直接刻画构图协调、纹理细腻、prompt 忠实性、风格一致性等偏好维度。 RLHF 是弥合这一鸿沟的原则性方法，但把它扩展到扩散模型面临三个新问题：

1.2 本文的三项贡献

1.3 主要结果一览

• Qwen-Image-Bench 综合分：55.23 → 57.84 (+2.61)，其中 Creative Generation +6.72、Real-world Fidelity +4.29；
• T2I 竞技场 Elo：1115 → 1193 (+78)，最大增益出现在 3D Modeling (+93) 与 Photorealism (+91)；
• 图像编辑竞技场 Elo：1256 → 1349 (+93)，验证编辑侧 RL 训练同样有效。

2背景 (Backgrounds)

2.1 Flow Matching 扩散模型

Flow Matching 框架 (Lipman 2022; Liu 2022) 定义前向路径为线性插值：

对时间求导得到条件速度场 v := ε − x0；训练一个网络 vθ(xt, t, c) 通过 flow matching 目标去逼近它：

推理时反向解概率流 ODE：dxt/dt = vθ(xt, t, c)，从 t=1 到 t=0。

2.2 面向扩散模型的强化学习

Flow-GRPO：把去噪当 MDP

Flow-GRPO (Liu 2026a) 将 GRPO 从 LLM 扩展到 flow matching：给定 prompt c， 策略 π_θ 生成 G 张图像，奖励模型打分后计算组归一化优势：

由于 flow matching 使用确定性 ODE生成，直接套 GRPO 会出问题；Flow-GRPO 把它改成等价的随机采样器：

Euler-Maruyama 离散化后转移密度是高斯，可解析计算重要性采样比 rt(i)(θ)。策略优化用带裁剪的代理目标：

DiffusionNFT：用前向过程做优化

DiffusionNFT (Zheng 2025) 换了一种思路——在前向 xt = (1−t)x0 + tε 上做优化，构造正/负速度：

训练目标为 advantage 加权的 velocity MSE：

其中 r = clip(A, ±Amax) / (2Amax) + 0.5 ∈ [0,1]；再加一个 KL penalty 抑制策略偏离预训练参考。

3奖励建模 (Reward Modeling)

3.1 奖励模型训练范式：pointwise vs pairwise

作者对比了两种 VLM 奖励模型训练范式：

Pointwise 标注沿两个维度分别打分：

• Quality：清晰度、光照、色彩平衡、风格一致性、材质纹理；
• Fidelity：结构正确性、物理一致性、AI 伪影（不自然的平滑或纹理重复）。

3.2 T2I 生成的分层奖励

作者的 T2I 奖励设计遵循分层递进的逻辑：先保证 prompt 忠实，再叠加美学，最后针对人像专门优化。

3.3 图像编辑的奖励模型

把 pointwise 范式迁移到编辑任务，同时增加一个专用模型解决 VLM 力不能及的细粒度身份保持：

4训练 (Training)

4.1 共享训练管线

4.1.1 Hybrid CFG 策略

训练中「rollout 采样时是否加 CFG」「策略优化目标里是否包含 CFG」是两个独立的开关。作者系统对比了三种设置：

4.1.2 异步奖励管线

奖励模型作为独立的远程 API 服务部署，与训练进程分离。同步调用会被网络 I/O 拖慢，因此：

• 策略在 GPU 上生成一批图像并跨 rank gather；
• 后台线程异步把图像提交到远程 RM 端点；
• 响应回来后 rank 间同步 gather 原始分数、按 prompt 组归一化、算 advantage、更新策略。

这个设计把奖励延迟几乎完全隐藏在 inference 计算之后，让训练时间不随奖励模型数量线性增长。

4.1.3 多奖励优势估计

组归一化对每个 RM 单独做，然后加权求和（灵感来自 Liu 2026b, GDPO）：

关键点：逐 prompt-group 归一化让复合奖励对各 RM 的绝对量纲差异保持不变—— 避免任何一个 reward 因数值范围大而支配整体 advantage 信号。

4.2 任务特定优化

4.3 在策略蒸馏 (On-Policy Distillation, OPD)

直接问题：单独训完的 T2I 模型编辑能力退化，反之亦然。OPD 的核心思想： 把两个任务专用教师 通过学生自身轨迹上的速度场匹配 蒸馏到单一学生里。

4.3.1 训练目标

学生 vθ 从预训练 base 初始化，用 N 步离散反向 ODE 从 t=1 解到 t≈0， 保存整条轨迹 {x_t0, x_t1, ..., x_tN}， 然后让学生在自己的轨迹上匹配任务对应的教师速度：

「学生学习纠正自己在自己推理轨迹上的预测误差」——这是 OPD 有别于普通蒸馏的关键。

4.3.2 多教师蒸馏机制

• 维护两个教师：T2I 教师（对齐+美学+人像）和 编辑教师（指令+人脸 ID）；
• 每个 batch 根据 sample 的任务类型动态选中对应教师；
• 为控 GPU 显存，只有激活教师加载到 GPU，非激活教师 offload 到 CPU；
• 教师原本用 CFG 训练——OPD 里教师速度预测加 CFG，学生本身不加 CFG；
• OPD 完成后再把 CFG 集成回学生。

4.3.3 为什么不直接 Mix-RL？

一个直觉方案是把 T2I 与编辑数据混合训一个 RL 模型（Mix-RL）。作者三向对比 Base → Mix-RL → Qwen-Image-2.0-RL (OPD) 后发现：

• Mix-RL 相较 Base 已在纹理、构图、真实感上有提升；
• 但 OPD 一致性优于 Mix-RL——细节更锐利、指令遵循更准、美学更好；
• 编辑侧 Mix-RL 仍有 身份漂移或复杂指令不完整 的问题，OPD 版本显著优于两者。

解释：Mix-RL 强迫模型同时满足相互竞争的优化目标——OPD 通过把 RL 和跨任务合并两步解耦规避了这个 seesaw 效应。

4.3.4 目标的形式化推导（附录 A 精要）

作者用 2-Wasserstein 距离 而非 KL 作为学生-教师分布距离度量（KL 在扩散模型 path measure 上一般不可解）：

由于直接算 W₂ 需要 optimal transport（高维不可行），作者引用 Benton et al. (2023) 的结论： 在 (A1) 光滑流的存在唯一性 与 (A2) 教师速度场 Lipschitz 连续 两个假设下，速度场近似误差可以给出 W₂ 的上界：

指数因子只依赖网络架构、与训练目标无关。因此最小化 W₂ 上界就退化成一个可计算的连续时间目标：

把连续积分离散化到学生自己的 N 步轨迹上，就得到 §4.3.1 的最终损失。

5评测 (Evaluation)

5.1 Qwen-Image-Bench 上的自动评测

Qwen-Image-Bench (Li 2026a) 是一个以创作者为中心的基准，覆盖 Quality / Aesthetics / Alignment / Real-world Fidelity / Creative Generation 五大一级支柱， 通过 Q-Judger 判官模型（在 130K 人工标注图-prompt 对上训练，标注人由 80 位专业艺术家组成）自底向上从 56 个三级 facet 聚合。

表 1 · Qwen-Image-Bench 综合排名（分数为 [0,100]，值越高越好 ↑）； 橙色 = 榜首 GPT Image 2；绿色 = 本文 RL 结果。RL 训练相较 Base 在五大支柱上均有一致提升， Creative Generation +6.72、Real-world Fidelity +4.29 增幅最大。

5.2 人类偏好评测：T2I 与 Edit Arena

竞技场投票下的 Elo 评分：8 个子类别 + 总分。

5.3 定性对比：Base vs Mix-RL vs OPD

6相关工作 (Related Works)

6.1 面向扩散模型的 RL

• Flow-GRPO (Liu 2026a)：把多步生成建模为 MDP，把 GRPO 扩展到 flow matching。
• GRPO-Guard (Wang 2025a)：识别 flow matching RL 里的隐式过优化问题，提出正则化裁剪缓解。
• AWM (Xue 2025) 与 DiffusionNFT (Zheng 2025)：用前向过程做 online RL。
• 本文差异：针对 Qwen-Image-2.0 架构提出 hybrid CFG；处理多任务、多奖励、全参数训练。

6.2 扩散模型的奖励建模

• CLIP-based (Radford 2021)：架构固定，跨任务泛化差。
• Bradley-Terry 排序：ImageReward、PickScore、HPSv2/v3 训练标量预测器。
• UnifiedReward (Wang 2025b/2026)、RewardDance (Wu 2025b)：把打分重构为 token 概率预测—— 支持模型规模与上下文（含任务指令、CoT）双维度扩展。
• 本文延续 token-probability 打分范式并首次系统对比 pointwise vs pairwise。

6.3 在策略蒸馏

• GKD (Agarwal 2024) 为 LLM 建立 OPD 框架；
• Flow-OPD (Fang 2026) 与 DiffusionOPD (Li 2026b)：将 OPD 扩到 flow matching， 展示 Gaussian 转移核 KL 散度可退化为 velocity MSE loss；但都聚焦在合并单一奖励下的 T2I 教师。
• 本文差异：按任务类型专业化教师（T2I vs 编辑），并从 W₂ 上界推导目标。

7结论 (Conclusion)

Qwen-Image-2.0-RL 展示了一条组合式的图像生成后训练路径——RLHF + OPD——同时提升视觉质量与指令遵循能力。三大贡献可概括为：

• VLM 组合奖励系统：既覆盖 T2I（美学 / 对齐 / 人像），又覆盖 TI2I（指令遵循 / 视觉一致性）， pointwise + CoT 打分范式带来更丰富监督。
• 可扩展 GRPO 训练框架：hybrid CFG + 异步奖励管线让 flow matching 大规模 RL 训练成为工程上可行的方案。
• OPD 融合机制：以轨迹级速度场匹配把任务专用教师合并成一个部署模型；无需推理时依赖奖励模型， 同时保留了每个专业教师的能力。

定性与定量评估均确认：OPD 不仅匹敌而且超越了直接联合优化所有 reward 的 Mix-RL 基线。 最终系统在 Qwen-Image-Bench、T2I 竞技场、Edit 竞技场三个维度上均取得可观提升。

§关键概念速查表

§关键洞察与复现要点 (Reproducibility)

核心洞察 (Key Insights)

• Pointwise 打分优于 Pairwise：绝对分带来更 dense 的监督；相同数据池、相同架构下 RL 训完的图像质量差距明显（图 2）。 这与 LLM 领域主流用 pairwise 的经验相反，值得注意。
• Reward 越多，做归一化越关键：多 RM 加权前必须逐 prompt-group 各自归一化，否则量纲最大的 reward 会独占 advantage 信号。
• CFG 是预训练能力的载体：如果 RL 训练全程剔除 CFG，reward 涨、能力反而退化——CFG 对预训练知识的表达是必要的。
• Reward hacking 主要出现在低噪声时间步：只在高噪声（t 靠近 1）步做 RL 更新，能显著延后 reward 崩塌。
• 多任务合训 < 分头训 + OPD 融合：Mix-RL 的 seesaw 效应真实存在；解耦 RL 与融合两个阶段是更优方案。
• OPD 的目标本质是 W₂ 上界：在扩散 path measure 上 KL 一般不可解，W₂ + 速度场匹配是自然替代。
• 教师带 CFG，学生不带：训练时学生保持无 CFG 更稳定；OPD 完成后再把 CFG 集成回去。

数据管线复现关键参数

模型 & 训练复现关键参数

训练伪代码

# ================ Stage-1: 训练两个任务专用 RL 教师 ================
for task in [T2I, Edit]:
    reward_models = [load_RMs(task)]  # T2I: {Align, Aesth, Portrait}; Edit: {Instr, FaceID}
    prompts = curate_prompts(task, base_model, reward_models, τ)  # 极差过滤
    weights = calibrate_weights(prompts)  # 分类别 reward 权重

    policy = clone(base_model)
    for step in range(N_STEPS):
        c = sample_prompts(prompts)
        # === Rollout: 用 CFG 生成 G 张图 (SDE 采样, 40 步) ===
        images, traj = rollout_with_cfg(policy, c, G=G, T=40)
        # === 异步 reward: 后台线程调远程 API ===
        R = async_score(reward_models, images, c)   # [G, K]
        # === 多奖励优势 ===
        A = group_norm_and_weight(R, weights)  # 逐 RM 组归一化后加权
        # === 时间步子采样 (偏高噪声) ===
        t_subset = sample_high_noise_timesteps(traj)
        # === CFG-free 策略优化 (Flow-GRPO clipped surrogate) ===
        loss = flow_grpo_loss_no_cfg(policy, traj, t_subset, A)
        optimize(policy, loss)
    save(policy, name=f"teacher_{task}")

# ================ Stage-2: On-Policy Distillation 融合 ================
student = clone(base_model)
teacher_T2I = load("teacher_T2I").to("cpu")
teacher_Edit = load("teacher_Edit").to("cpu")

for step in range(N_OPD_STEPS):
    batch = sample_mixed_batch()  # 含 T2I 与 Edit 样本
    # 学生解 ODE 保存自己的完整轨迹 (无 CFG)
    traj = student_solve_ode(student, batch, N=N)
    loss = 0
    for sample in batch:
        teacher = teacher_T2I if sample.task == "T2I" else teacher_Edit
        teacher.to("gpu")                       # 只激活当前教师
        for t_n in traj.timesteps:
            v_stu = student(traj[t_n], t_n, sample.c)          # 无 CFG
            v_tea = teacher(traj[t_n], t_n, sample.c, cfg=True)  # 带 CFG
            loss += (v_stu - v_tea).pow(2).mean()
        teacher.to("cpu")
    optimize(student, loss)

# OPD 结束后再把 CFG 集成回学生
final_model = integrate_cfg_into_student(student)

复现常见坑

• 不加 hybrid CFG：只在 rollout 加 CFG 是非平凡但关键的选择——直接照搬 Flow-GRPO 会遭遇训练崩塌或能力退化。
• 时间步子采样不做：40 步全用会在几个 iter 内 reward hacking，需限定到高噪声子集。
• Reward 归一化位置：必须先逐 RM 组归一化再加权求和，反过来做会让量纲大的 reward 主导。
• Prompt 池不筛选：极差为零的 prompt 组占用 GPU 却不产生梯度信号——需按 τ 阈值过滤。
• OPD 阶段学生带 CFG：会破坏训练稳定；训练时无 CFG，训完再集成是关键顺序。
• 教师同 GPU 常驻：多教师同时驻 GPU 会撑爆显存；必须 CPU offload + 按需激活。
• Face-ID reward 缺失：只用 VLM 一致性 reward 不够——细微身份漂移无法可靠捕捉，编辑侧质量会打折扣。
• 忽视人像单独奖励：泛用美学 RM 无法覆盖手指数错误、面部畸变等具体故障，需单独训练 portrait RM。

§Q&A：读者常问的关键问题

§局限性与改进方向