黄浩洋_JoyAI-Image-Edit：让模型真正“理解空间编辑空间”.pdf

《黄浩洋_JoyAI-Image-Edit：让模型真正“理解空间编辑空间”.pdf》由会员分享，可在线阅读，更多相关《黄浩洋_JoyAI-Image-Edit：让模型真正“理解空间编辑空间”.pdf（44页珍藏版）》请在三个皮匠报告上搜索。

1、京东探索研究院京东探索研究院图像与多模态实验室图像与多模态实验室黄浩洋黄浩洋Part 01.Part 01.Part 02.Part 02.Part 03.Part 03.Part 04.Part 04.模型架构空间理解图像编辑与空间编辑应用场景前沿趋势：前沿趋势：“单一生成单一生成”迈向迈向“生成与理解一体化生成与理解一体化”前沿趋势：前沿趋势：“单一生成单一生成”迈向迈向“生成与理解一体化生成与理解一体化”Single-view QA:Extracts fine-grained queries from per-frame scene graphs Multi-view QA:Capita

2、lizes on the viewpoint-invariant nature of 3D boxes to synchronize objects across overlapping frames.空间理解数据构建空间理解数据构建Spatial Measurement(空间度量)Spatial Relationship(空间位置）Multi-view Consistency(多视角一致性)Camera Perception(相机感知）Scene-Aware Reasoning(场景感知推理)OpenSpatial-3MOpenSpatial-3MOpenSpatial-3MOpenSpat

3、ial-3M公开基准测试领跑同规模开源阵营关键指标媲美闭源Gemini 2.5 Pro等空间理解跻身顶尖水平空间理解跻身顶尖水平空间理解跻身顶尖水平空间理解跻身顶尖水平支持1080P高保真图像生成能力具备强大语义对齐与双语文本渲染能力多项公开文生图Benchmark达SOTA具备一定特色的多视角生成能力JoyAIJoyAI-Image-ImageJoyAIJoyAI-Image-Image 数据构建数据构建中国古典水墨与写意国风融合的诗意插画，主题围绕酬乐天扬州初逢席上见赠所表达的时光流转与人生感怀，整体氛围由压抑转向开阔与振奋，画面具有叙事层次与情绪递进，竖版构图，三层空间结构（前景/中景/

4、远景），整体留白充足，气韵流动。远景为巴山楚水意象：连绵山峦与江水相接，天空阴云低垂，色调偏冷的灰蓝与淡墨，营造凄凉与岁月感。中景表现时间流逝与变迁：一侧为破旧舟船停靠岸边，枯树与荒草点缀，象征过往沉寂；另一侧江面逐渐开阔，水流通透，远处可见多艘帆船顺流而行，象征“千帆过”；岸边树木由枯转盛，新芽与春意渐显。前景为人物意象：一位文人立于岸边或小舟之上，衣袍随风，姿态沉静，面向江水远方；人物不刻画具体五官，偏写意，强调情绪与意境。光影从左侧阴郁逐渐过渡到右侧明亮，形成由“凄凉”到“振奋”的视觉转折。画面中央或偏右留出干净空间，用于竖排书写诗句（行楷或手写书法风格）：“巴山楚水凄凉地，二十三年弃置

5、身。怀旧空吟闻笛赋，到乡翻似烂柯人。沉舟侧畔千帆过，病树前头万木春。今日听君歌一曲，暂凭杯酒长精神。”色调由冷灰蓝逐渐过渡到暖白与淡金，辅以少量春绿色点缀，体现由压抑到希望的转变。风格为水墨晕染结合细节写意，具有中国山水画与文人画气质，画面诗意深沉又逐渐开阔。JoyAIJoyAI-Image-ImageJoyAIJoyAI-Image-Image 多视角生成多视角生成支持17种单图/多图编辑能力编辑可保持主体一致性和结构稳定性通用编辑能力在公开榜单达到SoTA具备特色的空间编辑能力，空间编辑能力达到世界一流水平JoyAIJoyAI-Image-Edit-Image-Edit将画面中的白色小狗角

6、色改造成“京东速度”主题海报：让它戴上带有科技感的红色快递员头盔，脚下踩着悬浮快递箱，从明亮的京东红背景中冲刺而出，周围加入飞驰的物流轨迹、购物包裹、无人配送车和闪电特效，整体风格可爱又未来感，突出“又快又可靠”的京东特色，画面干净、品牌感强、海报级质感。海报标题是又快又可靠。JoyAIJoyAI-Image-Edit-Image-Edit标注团队针对不同模型在249道评测集上的结果完成盲评，涵盖人物形象调整、色彩调整、人像编辑、替换主体、风格转换、移除主体、背景替换等多个任务类型，覆盖语义跟随、一致性、自然度三个评价维度。其中JoyAI-Image-Edit的表现优于的表现优于Qwen-im