Bernini：MLLM 潜在语义规划驱动的视频扩散统一框架

摘要

多模态大语言模型（MLLM）与扩散模型已在各自赛道走向成熟：MLLM 擅长基于多模态异质输入的语义推理与情境定位；扩散模型是当下高分辨率、高保真图像/视频合成的默认工具。本文主张二者可以通过一次"分工"被统一：MLLM 负责语义规划，扩散模型负责像素渲染。据此我们提出 Bernini——一个统一视频生成与编辑框架。其 MLLM-Planner 在 ViT 嵌入空间预测目标语义表示，DiT-Renderer 依据该语义规划、文本特征以及（编辑任务下）源视频 VAE 特征逐步渲染像素。由于以语义作为接口，Planner 和 Renderer 可分开训练、仅需轻量联合训练，从而保留双方预训练能力并显著提高训练效率。为支持多视觉输入的统一序列，作者提出 Segment-Aware 3D RoPE (SA-3D RoPE)，通过分段索引调制旋转位置编码相位区分不同视觉段身份；并进一步在 Planner 中引入 Chain-of-Thought 潜在推理增强语义规划能力。Bernini 在 Bernini-Bench、OpenVE-Bench、OpenS2V-Eval、VBench、EditVerse、FiVE 等基准上取得 SOTA 或接近 SOTA 表现，尤其在人物身份一致性（FaceSim 78.20）和视频编辑一致性上大幅领先。

1 引言

Bernini leaderboard — **Figure 1（Teaser 0）：**Bernini 与 Kling O3、Wan2.7、VINO、UniVideo 在开放式视频编辑上的两两人类偏好投票排行榜。左：Bradley–Terry 分与 95% Bootstrap CI；右：Win-rate 矩阵。Bernini 以 480p/24fps 与 720p/24fps 基线对比，仍在整体上领先。

Bernini tasks — **Figure 2（Teaser 2）：**Bernini 在单一框架下同时支持 T2V（文生视频）、R2V（主体参考生成）、V2V（视频编辑）、RV2V（参考图引导视频编辑）等异质任务，展示了跨任务的统一输入协议与广泛能力覆盖。

1.1 动机与关键观察

作者从两条观察出发：

观察一：MLLM 天然适合语义推理

能读懂长指令、跨多张参考图定位、生成"目标应有的语义表征"。

观察二：扩散生成天然可分为"语义引导 + 细节保持"

高层内容由紧凑语义信号决定，像素级 VAE 特征只在保细节（尤其编辑一致性）时必不可少；且语义信号无需高分辨率——少量语义 token 就能规定整个场景。

1.2 关键设计选择：ViT 嵌入空间作为"接口"

  MLLM 已经在 ViT 嵌入空间中理解与表征视觉内容。让它在自己的 ViT 嵌入空间预测目标视觉表征，与其预训练表示对齐自然、迁移成本最低——这就是 Bernini 的核心接口选择。

1.3 主要贡献

① 统一框架 Bernini

MLLM Planner + DiT Renderer 的解耦架构，以 ViT 嵌入为语义桥梁，让 MLLM 的预训练理解直接转化为生成能力，实现异质任务的强泛化。

② 大规模多任务数据管线

覆盖视频/图像对预训练、传播式与运动感知的高质量 V2V 编辑数据、R2V/IV2V 数据、以及推理增强 CoT 数据。

③ 全线 SOTA

在 OpenVE-Bench、OpenS2V-Eval、Bernini-Bench 等基准取得业界领先，特别在编辑一致性与主体保真上优势显著。

2.1 Joint Multimodal Backbones（联合多模态骨干）

这一路线把理解与生成合并在同一 Transformer 里：Emu3 把文本/图像/视频离散化到共享词表，纯 next-token；Janus 保留统一 AR 骨干但解耦两条视觉编码器（SigLIP + VQ）；Show-o 混合自回归与离散扩散；HunyuanImage 3.0 用 MoE 分别做 next-token 与 image-token 扩散；BAGEL 采用 Mixture-of-Transformer-Experts 加双视觉编码器；Lumina-DiMOO 则完全用离散掩码扩散作为单一目标。

2.2 MLLM 作为视觉生成条件

另一路线保持 MLLM 与扩散模型分离，MLLM 仅提供条件信号。差异主要在"传什么"：MetaQuery、Bifrost-1 用输出 token 或 patch-level CLIP latent；SEED-X、DreamLLM、Emu 直接用隐藏态；LaVi-Bridge 关注冻结的语言 / 生成器接桥。视频侧的 UniVideo、VINO 将 MLLM hidden states 与 VAE latents 一起送入视频扩散骨干，统一 subject-to-video 与 instruction editing。

2.3 Bernini 的定位

  Bernini 沿用"MLLM+扩散"的解耦范式，但将接口锚定到 MLLM 的原生 ViT 嵌入空间，而不是像 UniVideo/VINO 那样使用输出 hidden state。这样预训练的视觉语义可以以原生表示直接迁移到扩散渲染器上。

2.4 与代表性对手的差异

方法	接口表示	骨干形态	支持任务	训练方式
Emu3	共享离散 token	单 Transformer	T2I / T2V / U2I	纯 next-token 从头训
BAGEL	双视觉编码器 + 共享 SA	MoT 专家	理解 + 生成	联合训练
UniVideo	MLLM hidden state	MLLM+DiT 解耦	R2V / V2V	轻量对齐
VINO	MLLM hidden state + VAE	MLLM+DiT 解耦	R2V / V2V	轻量对齐
Bernini	ViT 嵌入空间（原生）	MLLM+DiT 解耦	T2V / R2V / V2V / RV2V	三阶段：先分训后轻量共训

3 方法：Planner + Renderer

Bernini framework — **Figure 3（framework）：**Bernini 总览。**(A)** 视觉与文本输入被序列化为统一 1D 序列；**(B)** MLLM Planner 从被掩码的目标 ViT 表示预测目标语义嵌入，同时把上下文化 hidden states 作为渲染器的条件；**(C)** DiT Renderer 在 VAE latent 空间以 flow-matching 去噪，条件包括目标语义嵌入 + 源视频/参考图 VAE 特征 + T5 文本特征；**(D)** MLLM 中使用分段混合注意力掩码；**(E)** SA-3D RoPE 用于区分不同视觉段身份。

3.1 MLLM-Based Planner

3.1.1 统一输入协议

所有任务（T2I / T2V / R2V / I/V editing）都被序列化为一个共享 token 序列，由文本 token、来自源输入与目标输出的视觉 token 组成。给定多模态输入序列，MLLM 编码整个序列并产生上下文化 hidden states z：

z = MLLM(t, v^src₁, v^src₂, …, v^src_N, v^tgt) (Eq. 1)

其中 v^src_i 是第 i 个源视觉输入的 ViT 嵌入，v^tgt 是目标输出的视觉嵌入。训练时 v^tgt 按一定比例随机掩码；推理时初始为完全掩码。

3.1.2 基于掩码的语义规划（Mask-based Semantic Planning）

受视觉语义 latent 的双向特性启发，作者采用类似 MaskGiT / MAR 的 masked generative modeling；同时以连续 dense 嵌入而非离散 token 承载视觉信息，避免离散化带来的语义损失。

训练时目标视觉 token 随机被替换为共享 [MASK]。掩码比例 r 采样自 Beta 分布：

r ~ Beta(α, β) (Eq. 2)

被掩码位置的 hidden state 送入 ViT-embedding Decoder（MLP + 基于 ResNet 的预测头），以 ViT 嵌入空间中的 flow-matching 目标去回归 ground-truth ViT 嵌入。

3.1.3 推理：迭代式渐进解码

推理时所有目标视觉 token 初始化为 mask，MLLM 在 K 个 refinement 步中逐步解码；第 k 步的 mask 比例调度为余弦函数：

mask_ratio(k, K) = cos(π / 2 · (k+1) / K) (Eq. 3)

每步 ViT-embedding Decoder 用 5 步扩散去噪把 hidden state 转成 ViT 嵌入；文本引导 1.2、图像引导 1.0。默认 K=25。

3.2 DiT-Based Renderer

DiT 使用 flow-matching 在 VAE latent 空间做去噪；条件包括：

Planner 提供的语义嵌入 z（通过 cross-attention 注入）；
Wan2.2 原生 T5 文本特征（保留其预训练条件先验）；
编辑任务额外注入源图 / 源视频 VAE 特征以维持一致性。

特别地，作者只用 MLLM 倒数第二层 hidden state，经过一个 零初始化的一层 MLP投影后与 T5 特征 concat，形成最终条件——最大程度保留 Wan2.2 的预训练条件分布，同时以增量方式注入 MLLM 的高层语义。

3.3 Segment-Aware 3D RoPE（SA-3D RoPE）

问题：Bernini 把多路视觉（多张参考图、源视频、目标输出）拼进统一序列，这些段的 (t,h,w) 坐标会重合，标准 3D RoPE 无法区分它们的"身份"。

方案：为每段分配索引 i（i=0 目标；i=1,2,… 各输入源），构造全维度的分段旋转频率向量 r^seg_i，与标准 3D 频率 r_t,h,w 做复数逐元素乘：

r̃_t,h,w,i = r_t,h,w ⊙ r^seg_i (Eq. 4)

即：在原空间-时间相位上叠加一个依赖段索引的全局相位调制。既让注意力能区分不同段身份，又不破坏 3D RoPE 原有的时空建模性质。

  为什么不用可学习的 segment embedding？作者在消融中证明：在 hidden state 上加 segment embedding 只是"加法"，不能拆分相位空间——多个段共享 (t,h,w) 时仍会互相污染，导致 reference leakage（参考图外观漏进目标区域）。SA-3D RoPE 通过乘性相位调制，直接把段身份注入到 attention 的旋转子空间。

3.4 训练目标

MLLM 以标准 next-token prediction 保留理解能力；ViT-embedding Decoder 与 DiT 各自采用连续域 flow-matching 目标（同一形式，只是目标表示与速度场定义不同）。总目标：

ℒ = λ_text·ℒ_ntp + λ_visual·ℒ_visual + λ_dit·ℒ_dit (Eq. 5)

其中 λ_text=0.2，λ_visual=λ_dit=1（Stage III）。Stage I 仅用前两项。

4 数据构建

Bernini 的数据涵盖：文本、多模态理解、图像/视频生成、图像/视频编辑。除已有开源数据外，作者自建多条数据管线。

4.1 Video-pair Pretraining Data（2000 万）

video pair statistics — **Figure 4：**视频对预训练数据统计——相似度分数、视频时长、prompt token 数分布，以及若干构造样例。相似度分布近似均匀，时长与 prompt 长度覆盖广谱。

video pair samples — **Figure 5：**视频对样例及其自动生成 dense prompt（先描述相机运动、后描述前/背景变化）。

视频对采集/筛选管线（可复现关键参数）

从通用 T2V 语料的同一原始视频切片；
用 X-CLIP 提全局表征，计算 pair 相似度；
保留 pairs 满足：相似度 ∈ [0.65, 0.95]；
片段时长 ∈ [2s, 10s]；
用 Qwen3-VL-30B-A3B-Instruct 标注是否人本位内容，保持 人 : 非人 = 1 : 1；
每个原视频最多贡献 100 对；
用 Qwen3-VL-235B-A22B-Instruct 生成 prompt——先 coarse transition 描述、再 refine 到 dense prompt。

4.2 Image-pair Data（近 3000 万）

image pair case — **Figure 6：**图像对样例。来自 HowTo100M 教程视频，用 CLIP 相似度筛后由 MLLM 生成差异描述 prompt。

图像对管线关键参数

源：HowTo100M 类教程视频，超过 300k 视频；
抽关键帧 → 用帧间变换过滤低运动/缩放主导帧，再用模糊检测剔除低质量帧；
CLIP 相似度阈值 [0.75, 0.95]；
用 Qwen3-VL-30B-A3B-Instruct 生成描述差异的 prompt。

4.3 Interleaved Image-Text Data（约 1200 万）

Web 数据：以 OmniCorpus 为源，参考 BAGEL 流程构建约 1000 万 interleaved sample；用 Qwen3-32B 重写文本以提升流畅度与连贯性，并补充 subject-aware QA。
视频数据：每视频抽最多 8 关键帧，用 Qwen3-VL-30B-A3B-Instruct 生成帧间过渡文本，得到约 200 万额外样本。

4.4 多样化 I2I / I2V 编辑数据

i2i i2v cases — **Figure 7：**生成的图像编辑与图像到视频编辑样例。

作者用两条互补机制来做prompt 多样化：

从真实用户指令池采样候选，用 MLLM 选出最合适者并改写为最终指令；
维护一个"编辑 prompt bank"，MLLM 基于源图与当前 bank 生成新指令，鼓励与已有 prompt 语义差异；差异大者入库、小者淘汰。

得到两类 triplet：(source, edited, edit_prompt)（图像编辑三元组）与 (source, video, edit_prompt + motion_prompt)（图到视频编辑三元组）。

4.5 高质量 V2V 编辑数据

4.5.1 Propagation-based Data Boosting

作者用 DiffuEraser 造初始 add/remove 数据、用 VACE 造 replacement 数据；再训练一个基础传播模型（输入：源视频 + 编辑首帧 + 编辑 prompt → 输出编辑视频）。之后结合强力图像编辑模型生成高质量首帧，再由传播模型扩展到整段视频，产生 add / remove / replacement / style transfer 编辑数据。

数据翻倍技巧：把 source 与 edited 视频互换，再由 MLLM 重写 prompt——对 add/remove/replacement 特别有效。

4.5.2 Human Motion-aware Data（双分支合成）

目标：在人物-物体交互场景中让编辑后人的动作也随之自然改变，而不是保留旧动作。作者提出双分支噪声融合：I2V 分支引入动作适应，V2V 分支保留源运动。总预测：

ε̂ = α · ( w^I2V_Full·ε(T_I2V, ∅, I) − w^I2V_T·ε(∅, ∅, I) − w^I2V_I·ε(T_I2V, ∅, ∅) )
+ β · ( w^V2V_Full·ε(T_V2V, V, ∅) − w^V2V_T·ε(∅, V, ∅) − w^V2V_V·ε(T_V2V, ∅, ∅) )
s.t. w^I2V_Full − w^I2V_T − w^I2V_I = 1，w^V2V_Full − w^V2V_T − w^V2V_V = 1，α + β = 1 (Eq. 6)

通过 α/β 平衡两个分支贡献，做可控的 motion 保留 vs 适应权衡。

4.6 参考图引导视频生成/编辑数据（R2V / RV2V）

General-object R2V

对源视频抽关键帧，让 MLLM 选出 3-5 个最显著物体，并针对每个物体写编辑指令，把物体"放到不同场景中"。这个显式换场景步骤是为了避免 copy-paste 捷径（参考与目标背景相同）。图像编辑器执行指令后得到一张参考图；MLLM 再从 (reference, keyframe) 生成 R2V caption。

Person R2V

图像编辑器难以保脸部身份，因此人物参考绕开编辑器，直接利用长视频中的身份出现：按父视频 / 剧集分组、抽 face embedding，为每段高质量目标 clip 检索同身份但跨集的参考 clip，全身裁剪作为参考图。身份保真在数据端就已经保证。

RV2V 合成：需 (input video, reference, target video) 三元组，其中 input 不含被参考物体。用中间版编辑模型对 target 做 removal / replacement 得到 input，加上原 target 与 reference 组成三元组。

4.7 参考视频引导（Motion Transfer）

4.8 Reasoning-augmented CoT Data（约 100 万）

Self-text Reasoning：MLLM 输入 (source, target, original instruction) 三元组，产出一份改写后的详细结构化指令，作为显式推理监督。
Self-vision-text Reasoning：把视频编辑显式分成"图像级推理 → 视频级传播"两阶段：先按文本推理编辑首帧图像，再用该中间图像作为视觉锚，进而生成时序一致的目标视频。

4.9 完整训练混合表（Stage II 后段 + Stage III 前段）

数据 mix 中的权重实际决定了各任务采样概率（越大越受重视）。这里列出关键条目：

类别	数据集	权重	说明
T2I
T2I	Inhouse T2I	20.00	内部高质量文生图数据
T2V
T2V	Inhouse T2V	30.00	内部高质量文生视频
I2I
I2I	Inhouse I2I	26.10	内部指令式图像编辑
I2I	Diverse I2I	5.00	4.4 节多样化管线产出
I2I	Pico-Banana-400K	4.60	开源单 SFT 子集
I2I	General-R2I	2.80	R2V 管线关键帧作为目标
I2I	UniREdit-100K	1.50	开源统一编辑
I2V / Subject-to-Video
I2V	General-R2V	1.60	4.6 R2V 管线
I2V	Person-R2V	1.30	Person R2V 管线
I2V	Diverse I2V	0.40	4.4 节 I2V 管线
I2V	Frame-to-Video	0.15	首帧 / 首末帧 / 首中末
I2V	OpenS2V-Top200K	0.05	开源，仿射变换增广
V2V（合计约 3.4）
V2V	Propagation-based Editing	1.00	4.5.1 传播管线
V2V	Motion-aware Editing	0.60	4.5.2 双分支
V2V	VACE-HQ	0.30	VACE 生成 + 人工过滤
V2V	SyncamVideo / TrajectoryCrafter / CameraClone / Pose2Video	0.15 each	相机 / 姿态相关
V2V	Sketch/Inpainting/Colorization/Movie-Sub/Video2Mask/Video-Ext/Video-Comp/Senorita	0.10 each	八种细粒度 V2V 子任务
IV2V（参考引导）
IV2V	Propagation-based Editing Ref	1.05	从 propagation V2V 提取首帧编辑物体作为参考
IV2V	Person-RV2V	1.05	人物替换
IV2V	Motion-aware Editing Ref	0.60	Motion-aware 首帧提取
IV2V	Propagation	0.40	V2V 首帧提取
IV2V	Motion-Transfer	0.10	4.7 管线
"权重"是训练采样比例（Table 1），越高该任务出现越频繁。

5 训练管线与推理策略

5.1 三阶段训练

Stage	Optimized	Res.	LR	EMA	数据 mix 简要
I	MLLM (+ ViT Decoder)	256p	1e-5	0.999	广谱：T2I 13%、T2V 19%、I2I 3%、V2V 1%、I2V 1%、IV2V 1%、V.P. 15%、I.P. 21%、Int. 6%、Und. 20%
II-a	DiT	480p	1e-5	0.9995	T2I 31%、T2V 42%、编辑 0.4%×3、V.P. 11%、I.P. 11%
II-b	DiT	480p	1e-5	0.9999	T2I 20%、T2V 30%、I2I 40%、V2V/I2V/IV2V 各 3%+
III-a	All（联合）	480p	1e-5	0.9995	T2I 16%、T2V 24%、I2I 32%、V2V/I2V/IV2V 各 ≈2.6%、Und. 20%
III-b	All（+CoT）	480p	1e-5	0.999	加入 CoT 20%，其他等比缩放
Table 2：训练配置——V.P.=video pair pretraining；I.P.=image pair；Int.=interleaved；Und.=understanding；CoT=推理增强。

Stage I — MLLM 预训练（把 MLLM 变成 Planner）

目标：让 MLLM 从"纯理解模型"演化为"能在 ViT 嵌入空间预测目标视觉语义"的 Planner。

目标函数：λ_text·ℒ_ntp + λ_visual·ℒ_visual，其中 λ_text=0.2，λ_visual=1；
数据课程：先大规模 T2I 建立"语义空间下的图像生成"，再扩到 T2V + 图像对 + 视频对（同时把 MLLM 的图/视频编辑能力挂进语义空间），再补入多模态理解 / 纯文本理解以防遗忘；
分辨率：256P @ 2fps；
任务相关掩码率：随任务输入信息量增加，把 mask ratio 的 Beta 分布往 1.0 拉——编辑任务尤其要防止目标信息从可见 target token 泄漏。

Beta 参数	T2I	T2V	I2I	I2V	V2V	IV2V
α	5.0	8.0	8.0	10.0	12.0	12.0
β	1.1	1.05	1.05	1.0	0.9	0.9
Table 3：Stage I 掩码率配置。任务输入越丰富 → α 越大 β 越小 → r 越接近 1（掩得越多）。

Stage II — DiT 预训练

目标：先把 DiT Renderer 训得足够强（联合轻量文本编码器如 T5），然后再和 MLLM 对齐。

损失：ℒ_dit（flow-matching）；
条件：文本特征 + 源视频/图 VAE 特征；
数据：T2I / T2V / editing / image-pair / video-pair 混合；pair 数据比例线性衰减到 0——后期靠高质量 editing 数据精修；
分辨率：480P @ 16fps。

不同任务的时间步采样与噪声权重（Shift + weighting）：

参数	T2I	I2I	T2V	I2V	V2V	IV2V
Weighting	logit-normal	logit-normal	mode	mode	mode	mode
Shift	3.0	4.0	3.0	5.0	5.0	5.0
Table 4：训练噪声调度器配置。图像任务 Lognorm(0.5, 1)；视频任务 Mode(1.29)。

Stage III — 联合训练

把 Planner + Renderer 联合优化（Eq.5），λ_ntp=0.2，λ_visual=λ_dit=1；
训练时 MLLM 输入 text + source ViT + masked target ViT；未掩码位置的 hidden state 作为 DiT 的条件；掩码位置的 hidden state 走 ViT-embedding Decoder 计算 ℒ_visual；
分辨率 480P @ 16fps；数据以高质量生成/编辑 + 理解为主；
Stage III 后期额外加入 CoT 数据 20%，强化物体动力学 / 时序过渡 / 编辑意图的显式规划；
Light co-training：相对 Stage I/II 的步数明显更少，只做"接口对齐"，避免破坏 MLLM 理解能力与 DiT 生成质量。

5.2 推理策略

5.2.1 语义规划阶段（MLLM）

初始所有 target ViT 位为 mask；
使用 K=25 步 mask-based 迭代规划（余弦 mask ratio）；
每步 ViT-embedding Decoder 做 5 步 flow-matching 去噪，text guidance 1.2，image guidance 1.0；
论文强调：Planner 相对于后续 DiT 的时间开销近似可忽略。

5.2.2 像素渲染阶段（DiT）

4 个条件的增量式 CFG——把最终预测拆成"无条件 + 视频 Δ + 图像 Δ + 文本 Δ + 目标语义 Δ"：

Δ_vid = ε_{∅,∅,vid,∅} − ε_{∅,∅,∅,∅}
Δ_img = ε_{∅,∅,vid,img} − ε_{∅,∅,vid,∅}
Δ_txt = ε_{txt,∅,vid,img} − ε_{∅,∅,vid,img}
Δ_tgt = ε_{txt,tgt,vid,img} − ε_{txt,∅,vid,img}
ε̂ = ε_{∅,∅,∅,∅} + ω_vidΔ_vid + ω_imgΔ_img + ω_txtΔ_txt + ω_tgtΔ_tgt (Eq. 7)

并叠加 Adaptive Projected Guidance (APG) 抑制过饱和；DiT flow shift = 5.0。

Task	Steps	ω_txt	ω_vid	ω_img	ω_tgt
T2V	60	4.0	—	1.0	1.0
S2V	40	4.0	1.25	2.5	1.5
V2V	40	4.0	1.25	1.25	0.5
RV2V	40	4.0	1.25	3.0	1.5
Table 5：不同任务的 DiT 渲染引导尺度。V2V 中语义 ω_tgt=0.5 相对较小，RV2V/S2V 中 ω_img 拉到 2.5–3.0。

6 训练与推理基础设施

6.1 内存优化

系统性调 FSDP 配置，将单卡显存从 72GB 降到 40GB；
把"先 concat token 再 scatter"重写为直接 index-scatter 到预分配 buffer，省下 17GB中间显存；
Stage III 引入自定义 activation offloading pipeline：pinned CPU pool + 延迟队列 prefetch，重叠 D2H/H2D 与计算；
整体使可训练序列长度从 100K 提升到 440K，即 4.4×。

6.2 高性能算子与流水

DiT 用 FlashAttention-4，MLLM 用 FlexAttention；
异步 QKV 通信流水；剪除冗余 cross-attn 通信；
保持 TND memory layout避免昂贵转置；cu_seqlens 放到 CPU 减压；
采用 QuACK 的高性能 RMSNorm 核，端到端再提速 5–10%；
累计算子优化贡献约 46% 提速。

6.3 并行策略

FSDP 权重分片 + Ulysses-style Sequence Parallelism；
DiT 沿序列 + head 分片以处理长视频；
MLLM 侧扩展 Ulysses SP，在 SP degree=4 时吞吐 2×；
仅在长序列任务启用 SP，避免短序列多余通信。

6.4 序列打包与数据均衡

按序列长度排序 + Token-bucket batching，实现 2×吞吐；
Batch forward 与 dummy-forward padding 防止跨 rank 死锁；
DataLoader 用 greedy bin-packing做跨节点负载均衡——max/min 比例 < 1.01，端到端再提 ~15%；
组合优化后端到端总吞吐提升约 4.5×。

6.5 推理并行与蒸馏

DiT 推理集成 DeepSpeed Ulysses（异步 all-to-all）；VAE 沿时间维用 context parallelism + 异步 conv-cache 传输；合计 >7.2× 加速；
两阶段蒸馏：CFG distillation把 CFG 双路评估折叠为单前向；再用 ReFlow拉直 ODE 轨迹；最终学生 4 NFE 与教师 80 NFE 质量相当。

7 实验

7.1 实现细节

MLLM：Qwen2.5-VL-7B；
DiT：Wan2.2-A14B；
T5 特征保留：Wan2.2 的原生 T5 输入被保留；MLLM 倒数第二层 hidden state 经过零初始化一层 MLP投影后与 T5 concat；
推理默认借助额外 MLLM 做 prompt rewrite。

7.2 Bernini-Bench：新的视频编辑基准

bench overview — **Figure 12：**Bernini-Bench 概览。300 个测试样例 × 22 种编辑类型 × 5 大维度（Subject Editing / Scene & Environment / Visual & Style / Camera & Motion / Reasoning）。带纹样的段是 RV2V（参考图引导）也评估的 8 种子任务。

构建：共 300 个测试样例、22 类编辑，涵盖 action / position / causal reasoning / focus change 等其它 benchmark 未覆盖的类型。每类 10 例，附富指令。视频源自若干自由/开源图库，覆盖不同人像、镜头、场景、运动、复杂度以及水平/垂直画幅。同时包含 V2V 与 RV2V 两种设定。

评测维度：Instruction Following (IF)、Video Consistency (VC)、Reference Image Consistency (IC，仅 RV2V)、Generation Quality (GQ)、Overall Score (OS)——设计上尽量彼此正交。

评测方式：MLLM 打分（1–5 分，用 GPT-5.4-2026-03-05）+ 人类 Side-by-Side（SBS）。若模型完全不响应指令，其一致性/参考/质量项记 N/A。

7.3 视频编辑主结果

Bernini-Bench 上 MLLM 评测

Method	Bernini-V2V				Bernini-RV2V
Method	OS	IF	VC	GQ	OS	IF	VC	IC	GQ
UniVideo	2.44	2.58	3.30	3.16	2.36	2.67	3.15	2.87	2.82
VINO	2.85	3.08	3.14	3.26	2.25	2.64	2.17	3.51	3.06
Kling O3	3.05	3.25	3.09	3.44	3.14	3.41	3.14	3.61	3.30
Wan2.7	3.30	3.57	3.11	3.56	3.58	3.82	3.48	3.62	3.43
Bernini	3.49	3.66	3.51	3.49	3.50	3.75	3.51	3.54	3.31
Table 6：Bernini-V2V / Bernini-RV2V 上的量化评测。红=最好，蓝=次好。

gsb — **Figure 13：**Bernini-Bench 人类 SBS Good-Same-Bad 相对胜率（(G−B)/Total）。Bernini vs. Kling O3 与 Wan2.7；左：V2V，右：RV2V。Bernini 在 V2V 视频一致性上优势最明显。

OpenVE-Bench（Gemini 2.5 Pro 评测）

Method	Overall ↑	Global Style	Bg Change	Local Change	Local Rm	Local Add	Subtitle	Creative	Camera
VACE-14B	1.57	1.49	1.55	2.07	1.46	1.26	1.48	1.47	1.62
OmniVideo	1.31	1.11	1.18	1.14	1.14	1.36	1.00	2.26	1.00
InsViE	1.53	2.20	1.06	1.48	1.36	1.17	2.18	2.02	1.09
Ditto	1.98	4.01	1.68	2.03	1.53	1.41	2.81	1.23	1.32
ICVE	2.07	2.22	1.62	2.57	2.51	1.97	2.09	2.41	1.11
Lucy-Edit	2.15	2.27	1.57	3.20	1.75	2.30	1.61	2.86	1.61
OpenVE-Edit	2.49	3.16	2.36	2.98	1.85	2.15	2.91	2.31	2.02
VINO	3.18	4.34	2.54	3.73	3.22	2.77	2.61	3.29	2.81
Bernini	4.04	4.45	3.31	4.85	4.16	3.43	3.57	3.91	4.67
Table 7：OpenVE-Bench（Gemini 2.5 Pro 评分）。Bernini 相对次好 VINO 提升 +0.86。

EditVerse

Method	Editing Q ↑	Pick Score ↑	Frame ↑	Video ↑	CLIP ↑	DINO ↑
TokenFlow	5.26	19.73	25.57	22.70	98.36	98.09
STDF	4.41	19.45	25.24	22.26	96.04	95.22
Señorita-2M	6.97	19.71	26.34	23.24	98.05	97.99
InsV2V	5.21	19.39	24.99	22.54	97.15	96.57
Lucy-Edit	5.89	19.67	26.00	23.11	98.49	98.38
EditVerse	7.65	20.07	26.73	23.93	98.56	98.42
Bernini	8.02	20.26	27.37	24.62	98.55	98.37
Table 8：EditVerse 综合评测。Bernini 编辑质量 8.02，首次突破 8 分。

FiVE Benchmark

Method	Struct.↓	PSNR↑	LPIPS↓	SSIM↑	CLIP↑	CLIP_edit↑	FidS↑	YN↑	MC↑	∪↑	∩↑	Acc↑
Source	0.00	∞	0.00	100.00	24.59	19.87	93.76	–	–	–	–	–
TokenFlow	35.62	19.06	263.61	72.51	26.46	21.15	89.00	19.36	35.51	36.68	18.18	27.43
Wan-Edit	12.53	25.57	94.61	82.55	26.39	21.23	89.43	41.41	52.53	55.72	38.22	46.97
VideoGrain	12.40	27.05	185.21	79.13	25.69	20.31	88.57	30.50	43.97	44.30	30.17	37.23
Omni	34.94	22.95	217.55	73.78	26.92	21.19	84.22	62.83	81.81	84.33	60.23	72.41
Bernini	13.54	26.35	207.89	84.38	27.75	22.74	86.27	71.33	84.98	87.67	68.65	78.16
Table 9：FiVE（选摘）。Bernini 在 SSIM、CLIP、CLIP_edit 与所有 VQA 类 FiVE-Acc 指标上创新高。

qualitative — **Figure 14：**V2V 与 RV2V 的定性对比。VINO 生成的小狗与原视频不一致；Kling-O3 换了背景；Wan-2.7 左侧小狗明显扭曲；Bernini 同时保住小狗与背景，还自然修改动作。RV2V 案例中只有 Bernini 保住了人物身份并正确修改表情。

7.3.1 Reasoning-augmented Editing

Method	OS	IF	VC	GQ
Ours (baseline)	3.12	3.36	3.18	3.37
+ PE (Qwen2.5-VL-7B)	3.20	3.43	3.21	3.39
+ Self-text	3.33	3.55	3.31	3.44
+ PE (GPT-5.4)	3.49	3.66	3.51	3.49
+ PE (GPT-5.4) + Self-visual-text	3.52	3.65	3.54	3.49
Table 10：不同 reasoning 变体的对比。Self-text 明显强于把 Qwen2.5-VL-7B 当 prompt enhancer；再上 GPT-5.4 rewriter + 视觉-文本混合推理达到最好。

  关键结论：Bernini 的 planner 本身就有比其初始化 Qwen2.5-VL-7B 更强的文本推理能力（Self-text 直接超过 Qwen-PE）。GPT-5.4 的进一步收益是"上界探索"；Self-vision-text 再加视觉中间态又能补一层。

7.4 视频生成

7.4.1 VBench（T2V）

Method	Total ↑	Quality	Semantic	Aesth.	Dyn. deg.	Obj. class	Overall
Sora	84.28	85.51	79.35	63.46	79.91	93.93	26.26
Veo3	85.06	85.70	82.49	63.81	72.43	93.89	27.88
Wan2.1-14B	83.69	85.59	76.11	66.07	65.46	86.28	25.91
Wan2.2-A14B	84.79	85.33	82.61	67.06	69.72	96.00	27.36
Bernini	84.64	85.18	82.49	64.68	81.11	95.41	27.83
Table 11：VBench。相较其 T2V 底座 Wan2.2-A14B（84.79），Bernini（84.64）基本保留了 T2V 能力——增强编辑与主体生成没有换代价。

7.4.2 OpenS2V-Eval（Subject-to-Video）

Method	Total	Aesth.	Mot. Smth.	Mot. Ampl.	FaceSim	GmeScore	NexusScore	NaturalScore
Kling O3	59.19	48.05	92.94	24.47	57.20	66.44	45.53	70.51
RefAlign-14B	60.42	46.84	97.61	22.48	55.23	68.32	48.52	73.63
Phantom-14B	56.77	46.39	96.31	33.42	51.46	70.65	37.43	69.35
VACE-14B	57.55	47.21	94.97	15.02	55.09	67.27	44.08	67.04
Bernini	62.94	44.14	93.66	23.39	78.20	65.35	46.95	70.51
Table 12：OpenS2V-Eval。FaceSim 78.20，比次好 Kling O3 高 21 分绝对值——身份保真上是一次显著跃迁。

7.5 消融实验

rope ablation — **Figure 15：**SA-3D RoPE vs. 标准 3D RoPE vs. "3D RoPE + 可学习 segment embedding"。可学习 segment embedding 虽在部分参考一致性（如围巾）有改进，但仍有明显"参考漏出"（第 1 行背景、第 3 行鸭头）。SA-3D RoPE 通过*乘性相位*解耦身份与时空坐标，才能干净地隔离段特征。

clip mllm ablation — **Figure 16：**ViT 语义接口与 MLLM Planner 的消融。移除 ViT 语义接口 → 指令跟随变弱（如未把机器人换成机器狗、江南水墨风格中漏掉飞鸟）；两者都移除 → 结果进一步恶化。两个组件互补且都不可或缺。

7.6 泛化性

i2i i2v generalize — **Figure 17：**受益于异质 I2I / I2V 训练数据，Bernini 可迁移到水彩化、2D/3D 卡通化、天气变化、特效添加等 V2V 编辑指令上。

generalize — **Figure 18：**Bernini 能处理训练数据中未出现的指令类型：动作变更、焦点变化、位置变更、因果推理（例如"持续大雨"→ 正确推断"火应被浇灭"）。它学到的是可迁移的组合式指令跟随能力，而非记忆训练模式。

8 结论

Bernini 将视频生成/编辑分解为语义规划 + 像素渲染：MLLM Planner 在原生 ViT 嵌入空间预测目标语义；DiT Renderer 依此语义 + 文本 + 源 VAE 特征渲染 VAE latent。语义接口让两组件在 Stage I/II 独立训练、Stage III 轻量共训，同时保留双方预训练能力。SA-3D RoPE 用乘性相位解决多视觉段的坐标冲突；latent CoT 加强了 Planner 的显式推理。全线基准（V2V / RV2V / R2V / T2V）SOTA 或近 SOTA，尤其在编辑一致性与人脸身份保真上大幅领先。

9 复现要点（Reproducibility）

9.1 核心洞察（Why 这些设计有效）

为什么用 ViT 嵌入空间做接口？MLLM 已在这套 pretrained ViT 空间里"思考视觉"，让它继续在自己的表征空间上"规划"目标，比让它把想法转成 hidden state 再让 diffusion 二次解释更省——迁移代价、语义信号密度、跨任务泛化三者一次到位。
为什么用 Mask-based 生成而不是 AR？视觉 latent 的语义是双向的（一张图不像文本从左到右），MaskGiT / MAR 的 bidirectional masked modeling 更贴合视觉 semantic 的性质。作者选 Beta(α,β) 而非固定 uniform 是为了让掩码分布可以按任务调整——编辑任务 α=12 β=0.9 让 r 集中在 0.9+，几乎全部掩码，强迫 Planner 从多模态上下文推断，防止 target token 泄漏。
为什么 ViT-embedding Decoder 要跑 5 步 flow-matching 而不是一步 regression？连续 embedding 空间上的目标分布是多峰的，直接 L2 会给"均值 blur"；用 flow-matching 学速度场做少步扩散能保住多峰。
为什么 SA-3D RoPE 用乘性而不是加性？加性 segment embedding 只是在 hidden 上偏移一个向量，不能拆分 attention 的旋转相位；乘性调制正好利用了 RoPE 是"旋转"这个数学特性——不同段进入正交子相位，attention 不会串。
为什么 T5 特征要保留？Wan2.2 的整个条件分布是围绕 T5 训出来的，把它换掉会破坏预训练先验；作者做了最小侵入：零初始化 MLP让 MLLM 特征以增量方式加进来，训练初期近似 identity map，稳收敛。
为什么 Stage III 用"轻量"共训？Stage I/II 各自训好后，Stage III 只是要建立"语义 → 像素"接口对齐；步数过多会两边互相污染，把 MLLM 拉回像 DiT / 把 DiT 拉回像 MLLM，反而丢掉预训练能力。
为什么 V2V 的 ω_tgt 只有 0.5，而 S2V/RV2V 是 1.5？V2V 中源视频 VAE 已经提供大量目标信息，让语义 guidance 过强会盖过源结构；主体生成/参考编辑没有对应源视频，必须靠语义 guidance 拉出目标。

9.2 模型规格

Planner：Qwen2.5-VL-7B（配 ViT-embedding Decoder：一层 MLP + ResNet 头，flow-matching 目标）；
Renderer：Wan2.2-A14B（DiT，flow-matching，flow shift = 5.0）；
接口：MLLM 倒数第二层 hidden state → 一层零初始化 MLP → 与 T5 concat；
SA-3D RoPE：每段一个 segment index，全维度旋转频率向量做复数逐元素乘。

9.3 数据关键参数（可复现的门限值）

Video-pair 相似度 [0.65, 0.95]，片段 2–10 s，每原视频 ≤ 100 对，人 : 非人 = 1 : 1；
Image-pair 相似度 [0.75, 0.95]；
视频对 prompt 由 Qwen3-VL-235B-A22B-Instruct 生成，coarse-to-fine；图像对 prompt 由 Qwen3-VL-30B-A3B-Instruct 生成；
Person R2V 采用跨集检索避免 copy-paste；General R2V 用"换场景"指令避免捷径；
CoT 数据 ~ 100 万；Video-pair ~ 2000 万；Image-pair ~ 3000 万；Interleaved ~ 1200 万。

9.4 训练超参

三阶段：Stage I 256P@2fps；Stage II & III 480P@16fps；
LR 全阶段 1e-5；EMA 0.999 / 0.9995 / 0.9999（见 Table 2）；
损失权重：λ_text=0.2，λ_visual=λ_dit=1；
掩码 Beta 参数按任务调（Table 3）：编辑任务用 α=12 β=0.9；
时间步采样：图像任务 Lognorm(0.5,1)，视频任务 Mode(1.29)；Shift 3/4/5 视任务不同（Table 4）；
Stage III 后期加入 20% CoT 数据。

9.5 推理超参

Planner: K=25 步 mask refinement，每步 ViT-decoder 5 步 flow-matching；text guide 1.2 / image guide 1.0；
Renderer flow shift = 5.0；
T2V 60 步；S2V/V2V/RV2V 40 步；
DiT 引导（ω_txt, ω_vid, ω_img, ω_tgt）见 Table 5；
叠加 APG 抑制过饱和；
推理默认借助额外 MLLM 做 prompt rewrite（论文用 GPT-5.4 达到最佳）。

9.6 复现"坑"清单

目标信息泄漏是编辑任务的最大陷阱。如果沿用 T2I 的低 α 高 β，编辑训练会几乎让 MLLM 直接"复制"target token，评测结果好看训练时，实测时 target 完全为 mask 就跨了。必须按任务调 Beta，编辑向 α=12/β=0.9。
ViT-decoder 不是可选。没有 flow-matching 头，MLLM 只能对 hidden 做 L2 回归，语义空间会崩到均值向量，编辑输出发糊。
SA-3D RoPE 的相位构造要用全维度复数向量。如果只在部分子空间做 segment 调制，attention 仍能在剩余子空间穿透，泄漏依旧。
Stage II 中 pair 数据必须线性衰减到 0。否则 pair 数据的"生成对样式" prior 会破坏后期高质量编辑数据的收敛。
T5 特征保留 + 零初始化 MLP是稳定 Wan2.2 权重的关键；若一开始就随机初始化 MLLM 投影层并 concat，会让 Wan2.2 的条件分布突变，收敛困难。
推理时 K=25 的 25 步不是免费。每步 5 次 ViT-decoder 扩散 → 25×5 次 forward——虽然作者说"相对 DiT 可忽略"，实际是因为 DiT 更贵。若 DiT 蒸馏到 4 NFE，Planner 反而会占相对更多时间。
ω_vid=ω_img=1.25 & ω_tgt=0.5 是 V2V 的甜蜜点，偏离容易 over-preserve 源或 under-follow 指令。
数据混合权重（Table 1）对最终能力影响巨大，特别 IV2V 的 Person-RV2V (1.05) 与 Propagation-Ref (1.05) 是 FaceSim 78.20 的主要来源。
基础设施要求高：440K token 序列 + FSDP + Ulysses SP 是必需项；缺少任一环节都会退回 100K token 限制，无法处理长视频编辑训练样例。
蒸馏要留到最后。论文的"4 NFE 与 80 NFE 相当"是在充分训练完后再做 CFG distillation + ReFlow；如果一开始就蒸馏，语义规划的迭代收益会被压平。

10 Q&A

Q1. 相比 UniVideo / VINO 也是"MLLM+DiT 解耦"，Bernini 用 ViT 嵌入空间做接口有什么实证优势？

在 Bernini-V2V 上 Bernini OS=3.49，UniVideo OS=2.44，VINO OS=2.85——差距非常明显。核心原因：UniVideo/VINO 用 MLLM output hidden state 作为条件，这一表示是"给下游任务"而非"visual native"；Bernini 让 MLLM 直接在其原生 ViT 嵌入空间里预测目标 —— 表示对齐、监督信号密度、迁移代价都更优。此外，masked generative 迭代规划自然带出了跨 token 的双向语义依赖，比一次前向 hidden state 更能表达"整个目标场景"。

Q2. 为什么 Bernini 的 T2V VBench Total 分反而略低于 Wan2.2-A14B（84.64 vs 84.79）？

这是"多任务税"。Bernini 把 Wan2.2-A14B 从纯 T2V 拓展为 T2V + R2V + V2V + RV2V + T2I + I2I 的统一模型，训练数据分布必然稀释纯 T2V 采样。作者的选择是接受 0.15 的 Total 下降，换取 OpenS2V-Eval Total 62.94 与 OpenVE 4.04 等编辑/参考任务的大幅提升——一次典型的"多任务权衡"。

Q3. FaceSim 78.20 是怎么做到的？

主要来自数据端。Person R2V 数据完全绕开图像编辑器（不用 editor 生成参考图），而是从长视频里检索同身份的跨集片段作为全身参考——这样身份从数据源头就已经保证。而 Kling O3 / RefAlign 主要靠 editor 或身份 encoder 后处理，都有二次损失。此外 Person-RV2V 与 Person-R2V 在混合权重表中占的比重也不低（各 1.05 / 1.30）。

Q4. Mask-based 迭代规划相比一次性 forward 究竟贡献多少质量？

论文没有直接给"1-step vs 25-step"的 A/B 表，但从 ablation 中"去掉 ViT 语义接口 → 明显掉指令跟随"可以间接推断：迭代 refinement + flow-matching 解码构成的连续 mask-generative 输出，是让编辑任务能够精确定位目标的关键。作者也强调 Planner 计算量相对 DiT 可忽略——因此可以放心跑 25 步。

Q5. SA-3D RoPE 相比"3D RoPE + 可学习 segment embedding"到底强多少？

论文以定性方式在 Fig.15 展示：加性 embedding 在部分场景（如围巾）有改进，但在其他场景仍存在参考漏出（背景、鸭头）。数学上：3D RoPE 是在 attention 里做旋转子空间；加性 embedding 只是在 hidden 上加一个 bias，注意力权重公式里两个 (t,h,w) 相同的 token 依然产生相似 dot product。SA-3D RoPE 在旋转子空间里给不同段不同的相位，直接让它们的 attention 权重被"旋转差"分离。

Q6. 为什么 Stage II 里 pair 数据要"线性衰减到 0"？

Pair 数据（video-pair、image-pair）能让 DiT 学会"两张相关图像/视频之间的过渡"，泛化好；但同时它带有强"生成对样式"的 prior，会牺牲对精细编辑指令的服从（因为大量样本没有明确指令）。线性衰减到 0 让训练进入后期后模型完全接触高质量 editing 三元组，指令跟随能力得以打磨。

Q7. Motion-aware 双分支合成的 α+β=1 是必要约束吗？动手实验会不会崩？

α+β=1 保证融合 ε̂ 期望不改变量纲（等价于凸组合）。若不做归一，两个分支的 CFG 增量会叠加得过强，采样噪声爆炸。w^*_Full − w^*_T − w^*_I/V = 1 也是同类归一——只是在分支内部。实际中经常 α:β = 0.4:0.6 偏 V2V，可在"保运动"和"补动作"之间调节。

Q8. Bernini 支持因果推理编辑（如"下大雨 → 火被浇灭"）的能力是从哪来的？

主要来自两点：(1) MLLM Planner 保留了 Qwen2.5-VL-7B 的世界知识与多模态推理——Stage I 中 20% 的 understanding data + Stage III 前段 20% 的 understanding data 一直防止遗忘；(2) Stage III 后段 20% 的 Self-vision-text CoT 数据把"图像级中间态推理→视频级传播"作为显式训练路径，让因果推理能被链条化到视觉动作。Fig.18 显示在没有直接因果监督的情况下仍能泛化。

Q9. 基础设施上，440K token 序列意味着什么？

440K token 大约相当于 480P × 16fps × 数秒视频 × 多个视觉段（源 + 参考 + 目标）的联合表示。若拆到 100K，单次训练要么下降分辨率/帧率，要么砍段数——就没法在 IV2V 上同时训"参考 + 源 + 目标"三段。这也是为什么 UniVideo/VINO 等对手在多段设定下相对弱。

Q10. 用 CFG distillation + ReFlow 把 DiT 从 80 NFE 蒸到 4 NFE，会不会毁掉编辑一致性？

论文只报了"质量相当"的定性说法，未给蒸馏后 Bernini-V2V 上具体 IF/VC/GQ 分数。从 CFG distillation 原理看，条件蒸馏一定会牺牲对多条件（尤其 ω_tgt=0.5 的 V2V）的敏感度；ReFlow 又会拉直分布尾部——两者叠加在编辑任务上有可能让"细节保持"退化几分。要复现建议先跑 80 NFE 教师，再逐步蒸到 8/4 NFE，并在 Bernini-V2V VC 指标上确认可接受。

11 局限性与改进方向

11.1 数据层面

Bernini-Bench 只有 300 个样例——虽然覆盖 22 类，但每类 10 例，误差条较宽；SBS 人评难以细粒度定位改进。建议后续扩至每类 ≥50 例。
视频对相似度 [0.65, 0.95] 的门限是启发式的——低阈值以下可能有更强变形样例被扔掉。作者未做该阈值的敏感性分析。
Motion-aware 数据依赖双分支合成质量；若基础 I2V/V2V 模型对某类动作生成不佳，合成数据会引入系统性偏差。
Person R2V 依赖长视频中同一身份反复出现——非影视源（如街拍、社交媒体）的身份分布稀疏得多，实际部署到真实场景可能面临身份不足问题。
CoT 数据 100 万相对 3000 万 image pair 与 2000 万 video pair 数量级低两位——文本推理监督密度可能不足以让 Planner 完全学会"结构化推理 → 视觉生成"的映射。

11.2 模型层面

依赖强 LLM rewriter：Table 10 显示"+ PE (GPT-5.4)"是关键增益步骤，Bernini 的"native reasoning"还不能完全独立支撑复杂编辑。这是"半自主"系统，部署时需要额外 LLM 调用，成本非独立。
视觉质量仍落后于 Wan2.7：在 Bernini-V2V GQ 上 Wan2.7 3.56 vs Bernini 3.49；OpenVE 上作者仅报 Overall 但没具体 quality 项。视觉纹理/物理写实感有差距。
MLLM 与 DiT 版本紧耦合：Bernini 硬绑 Qwen2.5-VL-7B + Wan2.2-A14B；升级任一模型都需要重新做三阶段训练。
SA-3D RoPE 的段索引数上限未讨论：目前只测到 3 段（target + source video + reference image）；≥5 段时 phase 空间是否仍能保持正交没有实证。
ViT-embedding Decoder 的 5 步 flow-matching是硬编码——不同任务是否需要更多/更少步、能否蒸馏，都是未探索的空间。

11.3 基准层面

Bernini-Bench 是作者自建，虽然评估维度设计合理，但存在利益冲突风险；OpenVE / EditVerse / FiVE 上的 SOTA 更能佐证。
MLLM 评测（GPT-5.4）本身有偏：论文承认"MLLM 无法准确判断小尺度扭曲与不自然 artifact"，GQ 结果"仅供参考"——但仍列在主表里。
推理效率对比缺失：论文强调训练吞吐 4.5×、推理 7.2× 加速，但未对 Bernini 与 Wan2.7 / Kling O3 在同分辨率同 NFE 下的 wall-clock latency 做对齐比较。

11.4 后续研究可行方向

更强的 Native Reasoning：把 self-vision-text CoT 数据从 100 万级扩到 1000 万级，评估是否能替代 GPT-5.4 rewriter；也可以考虑 RL 微调 Planner 用编辑质量作 reward。
模块化升级：把 ViT 接口设计成可插拔——换 MLLM 只需保持"ViT 嵌入维度"不变即可，让 Bernini 变成"planner-agnostic + renderer-agnostic"。
更多视觉段：研究 SA-3D RoPE 在段数 ≥ 8（如多参考、多故事线剪辑）时的可扩展性；可能需要引入 hierarchical segment index。
Planner-side 蒸馏：把 K=25 → K=8 甚至 K=4，与 DiT 4 NFE 匹配，重新做 pipeline-level latency。
视频保真度提升：直接接入更强 DiT（如未来 Wan3.0）并保留 SA-3D RoPE 接口——测试是否可保留编辑一致性而缩小 GQ 差距。
合成数据回流：用 Bernini 自身生成新的 V2V/IV2V 数据做 self-training，观察是否能突破外部数据依赖。

摘要