Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

§摘要 (Abstract)

1引言 (Introduction)

生成式 AI 的迅速发展重塑了数字内容创作，正从简单的视频合成迈向更具挑战的领域。指令式视频编辑 (IVE) 通过合成视频三元组，为用户提供了直观灵活的接口，使专业级视频制作走向大众化。然而当前 SOTA 方法仍局限于单任务、外观级的修改（如物体移除、单属性变更）。

1.1 现有数据集的关键缺陷

• Ditto 提高了质量控制，但严重偏向风格迁移，任务多样性不足。
• 并行工作 OpenVE-3M 加强了过滤严格度，但仍局限于外观级编辑，未涉及结构化与多任务编辑。
• 已有数据集普遍过度简化编辑任务，忽视了真实场景中所需的复杂结构变换与同时多任务编辑需求。

1.2 Goku 的定位

Goku 首次显式地将 IVE 数据集从孤立任务集合升级为一个覆盖广泛挑战的综合谱系：

1.3 主要贡献

2相关工作 (Related Work)

2.1 指令式视频编辑方法

• InsV2V：提出合成视频三元组的范式以缓解配对训练数据稀缺；InsViE 进一步扩大规模。
• AnyV2V：无需训练的即插即用框架，将编辑分解为首帧修改与 I2V 传播。
• StableV2V：聚焦形状与时序一致性。
• Omni-Video：将 MLLM 与视频扩散模型连接，实现多样视频任务。
• LucyEdit：借助大规模训练获得高视觉保真度与时序一致性。

然而上述方法多聚焦于单任务外观编辑，在复杂结构化编辑上仍力不从心。

2.2 指令式视频编辑数据集对比

3Goku 数据集

3.1 视频预处理 (Video Pre-Processing)

视频质量评估与过滤

起始于 Koala-36M 提供的原始视频，作者从中筛选出 100 万高质量视频片段，过滤流水线包括：

每段视频被裁剪为 3 到 10 秒以突出连贯的动作与场景。

MLLM 驱动的指令生成

• 对 Add / Remove / Swap / Subject Movement 任务：Gemini2.5-Pro 分析视频内容，识别可操作目标（覆盖 200+ 类），输出结构化编辑指令与物体标签。
• Style Transfer 覆盖 100+ 风格；Camera Movement 覆盖 20+ 运动模式。
• 对多任务与结构化编辑，通过精心设计的提示模板，防止任务冲突（例如同时"移除狗"与"给狗戴帽子"）。

参考图/掩码抽取

基于物体标签，采用 Grounded-SAM2 抽取时序掩码；再由 Gemini2.5-Pro 分析编辑区域的光照与物体姿态，生成对应环境下相似物体的参考图，作为空间与外观条件。

3.2 各任务数据生成 (Data Generation)

外观编辑 (Appearance Editing)

• Add & Remove：利用二者的对偶性——先用 Minimax-Remover 做无痕移除得到 Remove 样本，再交换原始与移除后视频角色即可获得自然的 Add 样本，避免"漂浮物"和不合理遮挡。
• Swap & Attribute Alter：将源视频、Grounded-SAM2 掩码与 Flux 生成的参考图共同输入 VACE，在掩码区域内进行语义替换或属性修改，同时保留非编辑区域。
• Style Transfer：分解为三步——① Flux 对首帧风格化；② 抽取每帧深度图作为几何约束；③ 将风格化首帧与深度序列送入 VACE 沿时间轴传播风格，从而保持场景几何一致，避免闪烁与风格漂移。

结构化编辑 (Structural Editing)

本文首次为 Subject Movement 与 Camera Movement 构建大规模配对数据。

• Subject Movement：分为动作变化 (action variation) 与位置变化 (position variation) 两个子问题。
  • 动作变化：Gemini2.5-Pro 生成同一主体的两种动作描述（如 walking → running），使用 Wan2.2 合成成对视频，主体身份与背景保持一致而动作不同。
  • 位置变化：先用 Flux 在首帧将目标物体移到新坐标，再用 Wan2.2 将该重定位首帧扩展成时序连贯视频，从而将视频级重定位化简为图像编辑 + 条件视频生成。
• Camera Movement：基于 Gemini2.5-Pro 生成的指令与场景描述，使用 RecamMaster 合成相机运动视频对。对复杂运动（如 pan-left-then-push-in）拆解为 20+ 基础运动模式的顺序组合。

多任务编辑 (Multi-Task Editing)

基于 MLLM 生成的任务分解，逐步执行单任务序列，前一步的输出作为后一步的输入，整体质量由渐进式过滤系统保障。

参考图编辑 (Reference-based Editing)

Reference Swap / Add 需要模型依据用户参考图执行编辑。由于参考图是用掩码从原视频裁剪，模型可能退化为像素级复制。因此作者采用 Flux 对参考图重绘，提供带姿态偏移、光照变化与背景替换的扰动参考图。

3.3 渐进式过滤系统 (Progressive Filtering System)

4Goku-Edit 模型

Goku-Edit 由三大核心组件构成：双分支模型架构、RoPE 对齐的空间交叉注意力、以及推理期的 SpatialCFG。

4.1 双分支模型架构 (Dual-Branch Architecture)

两分支基于预训练 Wan2.2-5B 改造。文本编码器采用冻结的 Qwen3VL-8B (MLLM)，同时服务两条分支以增强复杂指令理解。VAE 将 I_r, V_s, V_e, V_d, M 编码为潜在表示 zr, zs, ze, zd, zm。

沿时间维拼接条件与噪声潜在，分别送入两分支预测噪声。

4.2 RoPE 对齐的空间交叉注意力

掩码分支运行于 1/n 空间分辨率，两分支的 token 对应不同离散坐标网格。RoPE 注意力权重依赖于相对偏移 j - k，若直接跨分辨率计算，会引入因网格不匹配导致的宏观偏移，进而在特征内积中注入不必要的旋转相位惩罚，抑制空间对应 token 之间的注意力。

基于 RoPE Scaling 的空间对齐

在计算 RoPE 之前，将掩码分支的位置索引乘以因子 n：将掩码 token 位置 (x, y) 映射到高分辨率坐标 (nx, ny)，而不修改 RoPE 频率基。

宏观错位由此消除：δ=0 时旋转矩阵为 I，非重合 token 对的偏移仍与真实物理距离成比例，跨分辨率保留了 RoPE 的局部性偏置。

双向交叉注意力 (Bidirectional Cross-Attention)

• M2V (mask→video)：z_e 作 Query，对齐后的 z_m 作 K/V，通过残差连接注入结构信号：zeupdated = ze + Δze。
• V2M (video→mask)：角色反转，同理 zmupdated = zm + Δzm。

4.3 空间增强 CFG (SpatialCFG)

标准文本 CFG 只放大文本条件信号，无法进一步强化掩码分支带来的空间约束，容易在复杂结构化编辑中产生边界漂移与"编辑外溢"。作者提出 SpatialCFG——一种免训练的推理期策略，通过对比"耦合预测"与"解耦基线"来显式放大跨分支空间约束：

1. 启用双向交叉注意力时，两分支产生耦合预测 ε̂duale/m(z'e,t, z'm,t)；
2. 禁用跨分支注意力并将对方输入替换为 null 潜在，得到解耦基线 ε̂indepe(z'e,t, znullm,t) 与 ε̂indepm(z'm,t, znulle,t)；两基线均保留文本条件与分支内计算。

其中 s_e 抑制编辑区域外的意外修改，s_m 精修掩码边界一致性。SpatialCFG 与文本 CFG 正交组合：

5Goku-Bench 基准

5.1 测试集构造

从 Koala-36M 精选 1000 段高质量、有挑战性的视频，选择标准包括分辨率 ≥720p、时长 3-10 秒、运动复杂度等。测试集覆盖：

• 多人场景、全身/半身人体主体；
• 动物（狗、猫、鲨鱼、鸟等）、常见物体（服装、车辆、建筑等）、自然景观（山川、河流、沙漠等）；
• 特殊拍摄条件：低照度、快速运动主体、强烈相机抖动；
• 结构化编辑与多任务联合编辑等现有基准中欠代表的场景；
• 所有编辑指令均由人工撰写，保证多样性、准确性与合适的任务难度。

5.2 编辑专属指标 (7 Metrics)

Goku-Bench 提出 4 个通用编辑指标 + 3 个任务专属指标，均通过 Gemini2.5-Pro 或专家算法自动评估。

此外还沿用 VBench 的通用视频质量指标（SC、BC、CLIP、FVD、TC、MS、AES 等）。

6实验 (Experiment)

6.1 基线方法

开源方法：TokenFlow、InsV2V、StableV2V、InsViE、AnyV2V、Omni-Video、LucyEdit

闭源商业模型：Runway Gen-4、Luma Ray3

另外在 EditVerse-Bench 上进行泛化性评估（详见补充材料）。

6.2 Goku-Bench 定量对比

指令任务 (Instruction Task)

参考图 + 指令任务

6.3 定性评估

1. 结构化编辑：给出"相机右移"指令，InsV2V、InsViE、Omni-Video、LucyEdit 均无法产生有效相机运动；Goku-Edit 正确执行 pan 操作并合理修补新暴露区域。
   "移除双马尾女孩头顶红帽"这一复杂场景中，各基线均无法准确定位目标区域并对周围内容造成不同程度损伤，Goku-Edit 精确定位并完整移除，同时保持背景完整。
2. 复杂多任务编辑：面对"给狗加黄棒球帽 + 视频转 Disney 风格"的复合指令，各基线均难以同时完成两项编辑；LucyEdit 虽加了帽子但风格化较差且损坏背景；Goku-Edit 精准完成全部指令并保持整体质量。
3. 参考图编辑：基线方法普遍存在目标定位不准与参考图一致性差的问题；Goku-Edit 精确识别放置位置并保持与参考外观的高度一致，明显优于所有对比方法。

6.4 消融研究 (Ablation Studies)

训练数据消融（多任务编辑）

未过滤的 Goku 已超越所有已有数据集，说明任务覆盖扩展本身即带来实质收益；应用渐进式过滤后 IF 与 EQ 大幅提升；扩展至 100k 样本仍持续改善，表明性能尚未饱和。

Goku-Edit 核心组件消融

• MLLM 文本编码器：IF 由 0.541 → 0.573，语义理解显著提升。
• 双分支架构：PR、SR 分别 +0.031/+0.033，验证结构控制与外观渲染解耦释放了主分支建模能力。
• RoPE 对齐：SR 由 0.789 → 0.819，跨分支位置对应对边界精度不可或缺。
• SpatialCFG：免训练带来 PR +0.020, IF +0.019，抑制编辑外溢并强化指令跟随。

空间下采样因子 n 的消融

• n = 1：两分支解耦不足，服装光滑但缺乏纹理。
• n = 2 / 4：细节逐步恢复，n = 4 达到最佳——纹理完整、定位精确，作为默认配置。
• n = 8：结构信号退化，出现定位失败。

用户研究

Goku-Edit 一致排名第一，尤其在保持非编辑区域与处理复杂运动指令方面优势显著。

7结论 (Conclusion)

本文围绕指令式视频编辑的核心瓶颈，提出：

• Goku 数据集——大规模、高保真、覆盖相机运动、主体运动、参考图编辑与多任务模式的综合数据集；
• 严谨的数据构造流水线——攻克现有数据集常见的静态内容、语义错配、视觉质量差等问题；
• Goku-Bench 基准——配备新型评测指标，实现在技术质量、语义对齐、时序连贯性上的稳健评估。

实证结果表明，基于 Goku 训练的模型在多个任务与指标上一致优于此前数据集与 SOTA 方法，成为指令式视频编辑领域的新标杆。

§关键概念速查表

§关键洞察与复现要点 (Reproducibility)

本节将论文分散的关键洞察与实现细节汇编成"可执行的复现指南"。标注 [明确] 的项目在原文/表格/图注中直接给出；标注 [推断] 的项目基于 Wan2.2/VACE 家族默认设置或来源模型的官方文档合理推断，复现前请再核对补充材料。

核心洞察 (Key Insights)

1. 数据 > 架构：Table 3 的第一次消融就是把 Goku 数据换到 LucyEdit 的架构上训练——即使不改模型，仅靠 Goku 未过滤版就能超越 InsV2V/InsViE/Señorita。这说明本文的最大贡献是数据，而非模型。要复现最终 SOTA，第一步应该是先把数据管线吃透。
2. 子问题分解 (Sub-Problem Decomposition) 是数据合成的元原则：凡是"直接一次性生成会崩"的任务（如整段视频风格迁移、视频级物体重定位、多任务叠加），一律拆成"图像级操作 + 时序传播"或"任务串行链"。这是 Goku 对比其他数据集能覆盖到结构化编辑的唯一原因。
3. 对偶性 (Duality) 破解 Add：Add 直接生成会有漂浮/遮挡伪影；作者反过来先 Remove（Minimax-Remover 更成熟），再交换角色即得到高质量 Add——这是极简且极有效的一招。
4. 过滤是数据管线的价值放大器：Table 3 中"Ours w/o"→"Ours"（同为 50k）IF 从 0.318→0.501（+58%），EQ 从 0.331→0.522（+58%）。过滤系统贡献了性能的一半以上；88% 的丢弃率是可以接受的代价。
5. MLLM 是"文本编码器"而非"生成器"：Qwen3VL-8B 只用于提取文本特征供 diffusion 消费，不参与生成，这与 Omni-Video 让 MLLM 直接生成视频的路线完全不同，成本更低但依然拿到了指令理解的收益。
6. V2M 反向路径的必要性：如果只做 M2V（掩码引导视频），去噪推进过程中掩码会与视频状态脱节，导致边界闪烁。V2M 让掩码分支能"看到"当前视频状态，形成闭环。这是 dual-branch 之所以稳定的关键。
7. SpatialCFG 是 CFG 的"空间维度扩展"：标准 text CFG 放大文本条件，SpatialCFG 放大跨分支空间条件。两者正交组合——每个 sampling step 需要 4 次前向（(cond, uncond) × (dual, indep)），推理成本约翻倍但换来 PR/IF 的一致性提升。
8. 下采样因子 n=4 是精细度—约束强度的最优点：n=1 两分支坍缩；n=8 结构信号被稀释；n=4 是唯一能让掩码分支的 token 数刚好平衡的甜点。

4.1 数据管线复现关键参数

视频源与预处理

各任务专家模型

渐进式过滤系统三层

4.2 Goku-Edit 模型复现关键参数

SpatialCFG 推理配置

训练配置（消融实验）

4.3 训练 & 推理伪代码

训练主循环（PyTorch 风格）

# 每次训练迭代
def training_step(batch):
    # 1. 编码所有条件与目标
    z_r = vae.encode(batch.ref_image)         # 参考图
    z_s = vae.encode(batch.src_video)         # 源视频
    z_e = vae.encode(batch.edit_video)        # GT 编辑视频
    z_d = vae.encode(downsample(batch.src_video, n=4))  # 1/n 分辨率源
    z_m = vae.encode(batch.mask_video)        # GT 编辑区域掩码
    T_p = mllm_encoder.encode(batch.instruction)  # frozen Qwen3VL-8B

    # 2. 加噪
    t = sample_timestep()
    z_e_t = q_sample(z_e, t);  z_m_t = q_sample(z_m, t)

    # 3. 组装分支输入 (公式 1)
    z_e_prime = concat([z_r, z_s, z_e_t], dim=T)
    z_m_prime = concat([z_d,       z_m_t], dim=T)

    # 4. 双分支联合前向 (含 M2V + V2M 交叉注意力)
    for block in zip(video_branch.blocks, mask_branch.blocks):
        h_e = video_block.self_attn(h_e, T_p)
        h_m =  mask_block.self_attn(h_m, T_p)

        # RoPE Scaling: 掩码 token 位置索引 × n
        pos_m_scaled = mask_positions * n

        # M2V: 视频 Q ← 掩码 KV
        h_e = h_e + cross_attn(Q=h_e, KV=h_m,
                                Q_pos=video_positions,
                                KV_pos=pos_m_scaled)
        # V2M: 掩码 Q ← 视频 KV （闭环，防边界飘）
        h_m = h_m + cross_attn(Q=h_m, KV=h_e,
                                Q_pos=pos_m_scaled,
                                KV_pos=video_positions)

    eps_e_pred = video_branch.head(h_e)
    eps_m_pred =  mask_branch.head(h_m)

    # 5. 双分支加权 diffusion 损失
    loss = mse(eps_e_pred, gt_noise_e) + λ * mse(eps_m_pred, gt_noise_m)
    loss.backward()

SpatialCFG 推理（每 sampling step 4 次前向）

def spatial_cfg_step(z_e_t, z_m_t, T_p, s_e, s_m, s_text):
    # 4 次前向：{dual, indep} × {cond, uncond}
    z_null_e = torch.zeros_like(z_e_t)
    z_null_m = torch.zeros_like(z_m_t)

    # A. 耦合预测 (M2V+V2M ON) — 有条件
    eps_e_dual_c, eps_m_dual_c = model(z_e_t, z_m_t, T_p, cross=True)
    # B. 解耦基线 (video 分支 M2V OFF, 用 null mask)
    eps_e_indep_c, _ = model(z_e_t, z_null_m, T_p, cross=False)
    # C. 解耦基线 (mask 分支 V2M OFF, 用 null video)
    _, eps_m_indep_c = model(z_null_e, z_m_t, T_p, cross=False)

    # 空间增强 (公式 3)
    eps_e_c = eps_e_indep_c + s_e * (eps_e_dual_c - eps_e_indep_c)
    eps_m_c = eps_m_indep_c + s_m * (eps_m_dual_c - eps_m_indep_c)

    # 同上但 T_p = null → 无条件版本 eps_*_uc
    eps_e_uc, eps_m_uc = spatial_cfg_uncond(z_e_t, z_m_t, s_e, s_m)

    # 文本 CFG 正交叠加 (公式 4)
    eps_e_final = eps_e_uc + s_text * (eps_e_c - eps_e_uc)
    eps_m_final = eps_m_uc + s_text * (eps_m_c - eps_m_uc)
    return eps_e_final, eps_m_final

4.4 复现路径与常见坑

1. 先复现数据管线：数据是最大贡献。可以先用小规模（1k 样本）验证 Add/Remove 对偶、风格迁移三步、Multi-Task 串行的每一步都能稳定输出，再上大规模。
2. 过滤系统的实现细节需要对齐：Gemini2.5-Pro 的评分 prompt 是复现的核心不确定性来源。论文说 prompt 模板在补充材料——如果补充材料未开源，一个可行的替代是使用作者提供的 Qwen3VL-30B 版本。
3. 双分支的 batch 内存倍增：两条 Wan2.2-5B 分支同步训练，激活约 2×，加上 M2V+V2M 交叉注意力（QKV 双向）内存再涨。若显存吃紧，可以先冻结 mask 分支只训 video 分支，或使用 gradient checkpointing。
4. RoPE Scaling 只影响位置编码，不改前向结构：直接在 rotary embedding 计算前把 mask 分支的 (x,y) 索引乘 n 即可，无需重训 base frequency。
5. SpatialCFG 推理开销：4 次前向使推理时间约翻倍。可以在早期步启用、后期步只用标准 CFG 以省时。
6. 参考图扰动（Ref Swap/Add）不可省：直接用原视频裁剪的参考图会让模型学会"pixel copy"，Reference Add/Swap 泛化会崩。
7. Multi-Task 中的任务顺序：论文未强调顺序，但实践中"先结构后外观"通常更稳（如先 Camera Move → 再 Style，反过来风格特征会被相机运动破坏）。

§Q&A：读者常问的关键问题

§局限性与改进方向

基于对论文的独立审视，本节列出论文未主动强调、但对复现或后续研究有影响的问题。红色卡片指出局限，绿色卡片给出可行的改进方向。

数据层面局限

模型层面局限

基准层面局限

后续研究可行方向