NeurIPS 2026 | GMO-E²DIT：让电商图像编辑从“一次生成”走向“可靠完成任务”-京东云开发者社区

> 电商图像编辑的目标，不只是生成一张合理的图片，而是把每一项局部修改落实到正确位置，同时保护不应改变的内容。GMO-E²DIT 将这一过程组织成“结构化规划—局部执行—结果检查—继续或回滚”的闭环，让模型不仅会修改图片，也能管理整个任务的完成状态。

**论文标题：GMO-E²DIT: Grounded Multi-Operation Editing for E-Commerce Images**
**论文链接：**[https://arxiv.org/pdf/2607.00920](https://arxiv.org/pdf/2607.00920)
## 一、引言：电商编辑需要的不只是“看起来正确”

考虑这样一条需求：

> 删除右上角的促销贴纸，把底部标签移动到左侧，交换两块卖点信息的位置，再将指定文字改成白色。

这是一条自然的用户指令，却包含多个彼此独立、又受空间关系约束的操作。模型需要找到每个目标，区分移动或交换中的来源与目标，并确保商品主体、品牌标识和其他文字不被误改。

在电商场景中，价格、标识和商品细节具有明确的商业意义。**一张画面精美、却改错价格或漏掉指定修改的图片，仍然是不合格的结果。** 因此，编辑质量不能仅由整体观感决定，还要检查每项要求是否完成、是否落在正确区域，以及其他内容是否保持不变。

单次生成式编辑通常将意图理解、区域定位、操作绑定和图像生成放进同一步骤。当多个要求同时出现时，模型可能完成其中一部分，却遗漏其他操作，甚至破坏已经正确的内容。这里需要区分两种情况：“没有做完”可以继续，“已经做错”则可能需要撤销。

GMO-E²DIT 的核心转变是：**将复杂编辑从一次性的图像生成，重新定义为有空间约束、可检查、可恢复的多操作任务完成过程。**

## 二、背景：为什么需要规划与反思？

复杂局部编辑的困难不只在于生成能力，还在于语义、空间和执行过程之间的协调。

**首先是理解与定位。** “右边的黄色贴纸”“底部那一行文字”等表达并不直接给出坐标。模型必须结合图片解析指代，才能将自然语言转换成明确的区域约束。区域引导和规划式编辑已经体现了“先理解、再生成”的价值。

**其次是操作与角色绑定。** 知道“在哪里改”仍然不够。移动需要区分来源和目标，交换需要同时处理两个对象的对应关系，添加则可能依赖外部参考素材。GMO-E²DIT 将操作类型、区域、属性和参考条件显式关联，使编辑器获得可执行的任务，而不只是一个位置提示。

**最后是管理执行状态。** 一段笼统的结果评价，不能直接回答下一轮应该做什么。GMO-E²DIT 的反思面向具体任务：识别完成与遗漏的操作，决定接受、继续还是回滚，并据此更新下一轮的图片和任务清单。

这里的“多操作”和“多轮”是两个不同概念：多操作指一条请求包含多项修改，多轮指系统分批执行、检查并修正。多轮主要发生在智能体与编辑器之间，并不要求用户每轮重新输入指令。**关键不是重复生成，而是带着明确的任务状态继续工作。**

## 三、方法：规划、执行与反思的协同闭环

### 3.1 总体架构：把决策与图像生成分开

GMO-E²DIT 包含一个视觉语言智能体和一个掩码条件图像编辑器。智能体基于 **Qwen3.5-9B**，同时承担规划与反思；编辑器初始化自 **Flux2-Klein-9B**，负责执行具有明确空间约束的局部修改。

<div align="center">
  <img
    src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-13-14-10YWGM8Qu2MjuYKkG.png"
    alt="GMO-E²DIT 方法框架"
    width="70%"
  />
  <p align="center">
    <em>图 1：GMO-E²DIT 的方法框架、三阶段训练与推理闭环。</em>
  </p>
</div>

推理时，智能体先根据源图和用户指令生成任务清单；调度器选择本轮执行的子任务；编译器将其转换成文字指令、区域掩码和可选参考素材。编辑器输出候选结果后，智能体检查执行情况，再决定是否结束、保留进展继续处理，或者回滚重试。

这种分工让智能体集中处理意图、空间关系和执行决策，让图像编辑器集中处理局部视觉生成，避免在一次生成中同时解决所有问题。

### 3.2 结构化编辑议程与操作感知编译

智能体将用户意图表示为一个**结构化编辑议程**。每条记录包含操作类型、可选的来源区域、可选的目标区域、操作相关属性和简短文字提示；任务索引同时表达操作顺序。

支持的基本操作包括添加（Add）、删除（Remove）、移动（Move）、交换（Exchange）和局部替换（Replace）。它们需要的条件并不相同：删除关注来源区域，添加关注目标区域及可选素材，移动和交换需要明确对象之间的空间角色，替换则需要指定文字、颜色、字体或其他属性约束。

例如，“把右下角的黑色标签移到左下角”不仅要定位标签，还要明确它是被移动的对象、右下角是来源、左下角是目标。结构化表示把这些信息绑定在同一个任务中，使后续执行与检查都有明确依据。

每一轮执行前，确定性编译器将选中的任务转换为**规范化指令、操作感知掩码和可选贴片参考**。编辑器接收当前图片与这些条件后，生成候选结果。“操作感知”强调的是：空间范围必须与操作角色配套表达，同样涉及两个区域，移动与交换并不是同一个任务。

这一接口降低了编辑器重新猜测指令和位置的负担，也为分批执行、识别遗漏和局部重试提供了基础。需要注意，掩码是空间条件，并不等同于掩码外像素绝不变化的硬性保证；非目标内容的保留仍需通过训练和结果检查来评估。

### 3.3 三状态反思：保留正确进展，避免错误传播

编辑器输出候选图片后，同一个智能体切换到反思模式，结合本轮输入、候选结果和任务信息进行诊断。

| 状态 | 含义 | 后续动作 |
|---|---|---|
| `success` | 全部要求均已正确完成 | 接受结果，结束编辑 |
| `continue` | 尚有任务未完成，但没有关键错误 | 保留候选结果，继续处理剩余任务 |
| `rollback` | 出现严重错误，当前结果不适合继续使用 | 丢弃候选结果，回到本轮输入或此前安全结果，调整子计划后重试 |

假设“删除贴纸”和“移动标签”同时出现在请求中：删除已经正确完成，但移动尚未执行，系统应保留当前图片，只处理剩余任务；如果候选图片中标签被放错位置或重要内容受损，就不应在错误结果上继续叠加修改，而需要回滚。

因此，反思不仅是一段评价，还直接控制下一轮的输入图片和剩余任务。它既避免浪费正确的部分进展，也防止错误沿执行过程积累。推理在设定的轮数上限内运行，并在判断为 `success` 时提前终止。

### 3.4 三阶段训练流程

**阶段一：训练智能体的规划与反思能力。**

首先通过监督微调（SFT），让智能体学习从“图片＋指令”生成编辑议程，以及从中间状态生成诊断、状态标签和后续任务。随后使用组相对策略优化（GRPO），对同一输入采样一组候选回答，依据奖励比较其质量并优化策略。

规划奖励检查四件事：格式是否可解析、操作顺序是否正确、操作类型是否匹配，以及预测区域与标注区域的 IoU。反思奖励则检查诊断格式、三状态分类和剩余任务识别。这样，训练目标不只是生成合理的文字说明，而是输出可执行、可验证的计划与判断。

**阶段二：训练掩码条件编辑器的局部执行能力。**

编辑器独立接受训练，输入包括当前图片、编译后的指令、操作感知掩码和可选参考素材，目标为对应的编辑结果。训练采用流匹配目标，约束预测速度场与目标速度之间的差异。由于区域与角色信息已经显式提供，编辑器可以集中学习局部生成、参考素材一致性和非目标内容保留。

**阶段三：在真实编辑反馈中优化多轮决策。**

静态标注中的正确计划，不一定能在真实生成过程中一次成功。因此，第三阶段让智能体实际调用编辑器，观察候选结果，再选择继续或回滚。**这一阶段冻结编辑器，只更新智能体；“联合强化训练”强调二者在闭环中交互，而不是同时更新两个模型。**

训练使用 **Qwen3-VL-32B** 作为奖励模型，检查中间编辑状态与智能体诊断是否一致。正确完成获得高奖励，安全的部分进展受到鼓励；回滚带有效率惩罚，但正确回滚的惩罚远低于错误宣告成功。尤其是“任务未完成却判断成功”，会受到最严厉的惩罚，以避免模型通过提前结束流程获得不当收益。

奖励分配给相应轮次的规划或反思输出，并采用步级优势计算，使反馈更准确地作用于对应决策。第三阶段训练采样最多执行 4 轮；这是训练配置，不代表所有部署场景都必须使用相同轮数。

### 3.5 统一数据流水线

可靠的闭环不仅需要“输入图—目标图”，还需要知道每项操作对应什么区域，以及中间结果应该被接受、继续处理还是撤销。为此，GMO-E²DIT 构建了统一的数据合成流水线。

<div align="center">
  <img
    src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-13-14-18Mb101018A108eUVJN8M.png"
    alt="数据构建流程"
    width="70%"
  />
  <p align="center">
    <em>图 2：数据构建流程。先提取对象、文字、掩码、背景与布局，再重组出编辑样本，并生成与之对应的规划和反思监督。</em>
  </p>
</div>

**先拆解海报。** YOLOv10 定位商品和贴纸，基于 SAM2 的分割与抠图模块提取前景素材，PP-OCRv5 获取文字及布局，Flux2-klein-9B 恢复背景，Qwen3.5 将这些信息组织为包含 HTML 在内的结构化表示。

**再按编辑程序重组。** 添加、移动等几何操作直接作用于素材；文字、颜色、字体和样式等替换操作借助 HTML 中间表示，将属性修改与空间约束分开，生成精确对齐的源图和目标图。这里的 HTML 用于数据合成，不是推理时替代图像编辑器的渲染工具。

**最后生成对齐的监督。** 同一套结构化信息用于构造自然语言指令、区域计划和编辑训练对；部分完成或出现严重错误的中间状态，则用于训练三状态诊断及后续任务选择。数据因此同时回答了“要改什么”“怎样执行”和“做完之后如何判断”。

## 四、实验结果

### 4.1 评测设置与指标

**EComEditBench** 包含 1,000 个样本：500 个单操作样本，五类操作各 100 个；500 个多操作样本，其中双操作和三操作各 200 个，四操作 100 个。基准与训练数据在商品和编辑程序层面分离。

评测采用两种协议。模糊指令（Fuzzy）提供源图和用户式自然语言请求，考察从理解、定位到编辑的完整链路；精确指令（Precise）提供结构化区域级描述，主要考察定位信息已知时的局部执行能力。添加任务可按需要提供参考素材。

三个指标分别为：**IA（指令准确性）**，检查操作是否作用于正确对象和位置；**EF（编辑保真度）**，衡量编辑区域的语义正确性与视觉质量；**BP（非目标区域保留）**，检查不应修改的商品、文字和背景是否保持不变。

最终评测使用 Gemini-3 Pro，各方法采用相同提示与解析规则。每个维度按 1—10 分评分，再汇总为平均值。

### 4.2 核心指标：模糊指令下完成度领先，精确指令下执行优势更明显

<div align="center">
  <img
    src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-13-14-21hgu8vOSUxX6CsMB.png"
    alt="总体指标对比"
    width="70%"
  />
  <p align="center">
    <em>图 3：总体指标对比。上半部分为模糊指令，下半部分为精确指令，分数越高越好，粗体与下划线分别表示最佳和次佳结果。</em>
  </p>
</div>

在**模糊指令**下，GMO-E²DIT 的 IA、EF、BP 分别为 **8.66、8.25、8.87**，总体 IA 与 EF 最高，BP 第二。相较于 Qwen-Image-Edit-2511 和 FLUX2-klein-base-9B，整体提升较大；相较于最强闭源对照，总体 IA 比 Seedream 5.0 高 0.17 分，EF 比 Nano Banana 2 高 0.04 分，而 BP 仍低于 Nano Banana Pro 的 9.04。因此，这里的优势主要是更完整地落实指令，而非所有指标全面领先。

来源—目标关系敏感的任务尤其能体现该设计的价值。例如，模糊指令下交换操作的 IA 达到 **9.07**，高于 Seedream 5.0 的 8.07 和 Nano Banana 2 的 7.61。这与显式绑定操作和空间角色的设计相吻合。

在**精确指令**下，三个总体指标进一步达到 **9.82、9.62、9.85**，均为最高。移动与交换操作的 IA 分别达到 9.96 和 9.92，四操作组合的 IA 也达到 9.92。结果说明，在区域信息明确时，该框架能够较好地执行局部操作并保留其他内容。

两种协议之间的差异也提示，模糊意图理解和空间定位仍是完整流程中的重要难点。不过，两种设置改变了输入条件，不能把它们的分数差直接等同于某个单独模块的贡献。

### 4.3 效果对比

<div align="center">
  <img
    src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-13-14-33Kyjek330XGnfmu8c.png"
    alt="代表性编辑结果"
    width="70%"
  />
  <p align="center">
    <em>图 4：代表性编辑结果对比。前两行为精确指令，后两行为模糊指令；高亮区域标示该方法未充分满足指令的位置。</em>
  </p>
</div>

这组对比的重点不是哪张海报整体更好看，而是指定的删除、移动、交换和文字修改是否全部落实，以及商品主体和其他版式是否被误改。

例如，饮品海报同时要求交换顶部两块贴纸、删除多块指定贴纸，并将 “ONE DAY ONLY 9.9” 改成 “ONE WEEK ONLY 59”。另一个案例要求删除营销标签、把右下标签移到左下、将 “350mL/h” 改为 “400mL/h”，并修改指定文字的字体属性。

这些组合任务能直接暴露遗漏操作、来源与目标混淆以及非目标内容改变等问题。GMO-E²DIT 的结构化计划与局部执行机制，使任务能够被分解和检查，而不是只依赖一次生成是否恰好满足所有要求。

### 4.4 训练消融

| 配置 | IA ↑ | EF ↑ | BP ↑ |
|---|---:|---:|---:|
| 原始图像编辑器，未训练 | 5.160 | 4.530 | 6.650 |
| 图像编辑器＋模糊指令 SFT | 7.885 | 7.557 | 8.156 |
| 未训练的智能体＋已训练的掩码编辑器 | 6.883 | 6.463 | 8.082 |
| 智能体 SFT＋掩码编辑器 | 8.528 | 8.079 | 8.768 |
| 智能体 SFT＋GRPO＋掩码编辑器 | 8.618 | 8.200 | 8.801 |
| **完整三阶段训练** | **8.664** | **8.247** | **8.871** |

首先，任务专门的数据和监督非常重要：仅对编辑器做模糊指令 SFT，就能将 IA 从 5.160 提升到 7.885；接入未经训练的智能体，结果仍低于这一直接微调基线。**因此，关键不是“接一个 VLM”，而是让规划、定位和诊断适应具体编辑任务。**

其次，强化学习在监督学习基础上继续改善结果。多轮联合训练的收益在多操作任务上更明显：相较于智能体 SFT＋GRPO，多操作 IA 从 7.973 提升到 8.137，EF 从 7.482 提升到 7.682。完整训练的总体得分最高，但单操作 IA、EF 的最优值出现在阶段一 GRPO 之后，并不是每个分项都随训练阶段增加而单调提高。

### 4.5 多轮消融

为检验多轮机制，论文另设每张图包含 **7—10 个任务**的高复杂度场景。它不同于前述主基准，以下分数不应与主结果直接混用。

| 推理配置 | IA ↑ | EF ↑ | BP ↑ |
|---|---:|---:|---:|
| 阶段一智能体，单轮执行 | 6.89 | 5.98 | 7.86 |
| 阶段三智能体，单轮执行 | 7.04 | 6.23 | 8.14 |
| 阶段三智能体，固定轮数执行 | 7.21 | 6.37 | 8.08 |
| **阶段三智能体，自适应反思** | **7.29** | **6.47** | **8.42** |

固定轮数能够补做遗漏任务，提高 IA 和 EF，但 BP 从单轮的 8.14 降至 8.08，说明额外编辑也可能引入不必要的变化。自适应反思则在三个维度上均取得最高分：完成后及时停止，安全的部分结果继续使用，有害结果则回滚。

<div align="center">
  <img
    src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-13-14-39gNwOhJslnHaAgVK.png"
    alt="多轮执行示例"
    width="60%"
  />
  <p align="center">
    <em>图 5：多轮执行示例。上方展示单轮结果及错误标记，下方展示输入、中间结果和最终结果。</em>
  </p>
</div>

下方的中间结果可以理解为一份可继续处理的编辑状态：第一轮不必完成所有操作，但后续过程需要明确哪些结果可以保留、哪些要求还未实现。该图直观展示了分轮推进，不等同于完整呈现了一次实际回滚轨迹。

**多轮机制的价值不是“编辑越多次越好”，而是知道何时继续、何时停止，以及何时撤销。**

### 4.6 人工评测与适用边界

在 1,000 个模糊指令案例的两两人工比较中，GMO-E²DIT 在指令遵循上获得更高偏好：相对 Nano Banana Pro、Seedream 5.0 和 Wan2.7-Image-Pro，双方比例分别为 **36.3% 对 28.5%、40.4% 对 26.6%、46.6% 对 21.2%**。一致性维度也获得更多偏好，但优势大小取决于对照模型，例如对 Nano Banana Pro 仅为 27.5% 对 26.5%。

<div align="center">
  <img
    src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-14-10-37DLSh0VLcdwxqH7r.png"
    alt="模糊指令下人工评测结果"
    width="60%"
  />
  <p align="center">
    <em>图 6：模糊指令下人工评测结果。</em>
  </p>
</div>
方法仍有清晰的适用边界。系统依赖智能体的理解与反思能力，错误定位或状态判断可能影响整个执行过程；训练与评测主要来自合成或半合成电商海报，对复杂真实布局和字体的泛化仍受限制；多轮执行与回滚也会增加顺序推理次数，带来时延和计算开销。

### 4.7 总结

GMO-E²DIT 将结构化规划、操作感知的局部执行和三状态反思统一起来，并用对齐的数据监督与多轮强化学习连接各个环节。实验支持了这一思路在指令完成、编辑保真和复杂任务处理上的价值，同时表明可靠性仍依赖正确的状态判断与执行管理。

**这篇工作的核心见解是：可靠的图像编辑系统不仅要“会生成”，还要知道“要做什么、已经完成什么，以及出现错误后如何恢复”。**