商品入画，文案生花：阿里妈妈推出淘宝星辰·图文海报2.0
一、概述您是否曾为电商海报设计耗时费力而烦恼？阿里妈妈最新推出的淘宝星辰·图文海报2.0（以下简称“图文海报2.0”）正能解决这一痛点！这是一个以商品图为参考前景，具备原生中文理解与渲染能力的智能图文海报生成系统。它在电商营销场景中实现了三大核心突破：
更懂设计的文字渲染：突破传统AIGC文字样式的局限，系统能灵活生成多样化的营销文字视觉风格。无论是字体、大小、颜色还是特效，都能精准呈现，让文案成为设计的点睛之笔。
更懂商品的场景融合：不再是简单的背景替换，而是深度理解商品属性与文案氛围，生成高度和谐、浑然一体的丰富场景。从时尚美妆到家居电器，商品自然融入海报，大幅提升画面质感。
更契合电商的生图模型：依托Qwen-Image等最新中文原生基础模型，针对电商场景优化，提供可靠绘图能力。
图文海报2.0生成结果，图上商品均为淘宝真实商品
二、背景想象一下，AI如何重塑电商营销？今年4月底，我们内部上线了图文海报1.0系统，探索利用AIGC技术实现营销海报的全自动化、像素级精准生成，并取得初步成效。但实践中发现，电商海报领域仍面临核心挑战：商品真实还原、中文字符精准呈现、版式布局灵动多变。
由于技术选型和数据壁垒，1.0系统在处理复杂中文语义和多样化文案排版方面有待完善。这促使我们思考：理想的电商海报AI生成系统，必须基于对中文有深度理解、具备强大文字生成能力的基础模型。我们首先自研了中文原生基础生图模型。尽管社区开源了文字表现更强的模型，但它们在电商场景未经验证，且无法直接使用商品图输入。即便后续支持图像编辑的Edit模型，也难以在保持商品一致性的同时提供丰富文字海报。为解决这些痛点，我们研发了图文海报2.0，一个兼容不同中文基础模型、专注电商图文生成的升级系统。
三、图文海报2.0系统图文海报2.0架构如图所示，核心由三大模块构成：创意生图专家、创意Prompt生成专家和营销文案专家。
创意生图专家: 作为执行单元，接收商品参考图和创意Prompt生成专家生成的Prompt，精准渲染出美观的图文海报。
创意Prompt生成专家: 融合电商知识与设计原则，根据商品外观特色和选定文案，规划海报布局、字体样式和元素排版，并将设计方案转化为结构化Prompt指令。
营销文案专家：以特定商品为输入，通过检索商品信息知识库，自动生成多条契合商品功能与特性的营销文案。
1. 创意生图专家
下面从数据建设、基础模型到应用模型，逐步介绍创意生图专家的构建过程。
1.1 数据建设--面向图文海报的数据飞轮
数据基建：视觉生成任务的成功离不开优质数据。我们与数据团队协作，构建了面向图文海报生成的“数据飞轮”。通过广泛调研商品海报设计规范，实现自动化数据清洗链路；同时与设计师合作，制定精品海报图像规范与打标流程。
通过自动化与人工精选协同，从海量数据中沉淀出亿级高质量通用图像和千万量级精品海报，覆盖通用设计、平面广告、电商图文等场景。为攻克生僻字、小尺寸文字等生成难题，还构建了数据合成链路作为补充。
海报图文 Caption 构建：为精准驱动生成，我们研发了PosterCaptioner模型，并设计专属图文描述范式，产出高质量训练数据。
精细化的描述范式：描述细粒度是关键，将文本属性拆解为行级和字符级属性。行级关注文本整体构图、布局排列；字符级深入字体大小、风格等细节。这套范式能提升模型对设计意图的理解，实现文字渲染精准可控。
可量化的评估体系：与未来生活实验室合作，建立PosterCaption Benchmark评测体系，采用自动化与人工评估双轨流程，将描述质量转化为具体分数。实践证明，Caption得分与生成效果强正相关，为模型迭代提供量化指导。
先进的模型构建：采用多阶段后训练策略优化性能。数据层面，从主体、场景等维度均衡采样，构建多样化ReCaption训练数据集。模型层面，将任务拆解为“文字内容识别”与“文本属性描述”子模块，运用GRPO等策略优化专家模型，提升文字识别和属性描述精度。
1.2 基础模型--更懂电商的生图模型
在Qwen-Image发布前，市面上缺少开源可用的支持中文理解与生成的生图模型。面对巨大算力需求，我们选择了轻量技术路径：
1）选择基座：选用开源表现较好的HiDream-Full模型作为初始权重。
2）改造输入：适配改造，使其能接收并理解QwenVL的特征输入。
3）专项优化：集中资源进行中文理解与生成任务的深度训练，构建核心基础模型。
模型结构如上图所示，使用connector桥接QwenVL和MMDiT，并通过OCR模型提取文字特征。训练分为三个阶段：
对齐阶段：让QwenVL模型替换T5并适配作为已有生图模型的文本编码器。
继续训练：提升模型对于中英双语理解、中英文字生成能力。
精调训练：提升整体生图、文字排版美观度。
原图
对齐
继续训练
精调训练
文字❌ 美观度❌
文字✅ 美观度❌
文字✅ 美观度✅
文字❌ 人物❌
文字❌ 人物❌
文字✅ 人物✅
Qwen-Image发布后，在中英文文本渲染方面确立SOTA标准，能稳定应对小字、多行等复杂文本场景。但电商海报设计目标与通用图形界面不同，核心是传递商品信息驱动消费。为增强这一能力，我们引入大规模电商场景数据集进行继续训练与强化学习，优化Qwen-Image在电商海报的专业能力。
经过继续训练，下方案例展示我们的文生图模型（Ours）与Qwen-Image在电商场景下的生成效果对比。可见，我们的模型在文字排版、文案描述和字号控制方面更精准优越。
原图
文案内容
Qwen-Image 生图
Ours 生图
... 顶部出现醒目大号标题文本“深睡眠荞麦护颈”，黑色实心填充，无衬线粗体 ...其正下方...“拉链二合一设计”，文字为纯白实心填充，中等粗细无衬线，字号约为主标题三分之一 ...
...对比柔和...一位东亚成年女性...发髻绾成半高髻...流苏自发髻垂落至肩上方，随微风轻摆。...一手屈肘于胸前执折扇...右侧竖排四字主标题“東京汴梁”...文字使用白色纯色填充...
...两字主标题“花呗”...前方叠放...“24”...银灰渐变填充并带高光与暗部阴影...呈三维透视效果...蓝块与主标题之间产生轻微遮挡关系...
在强化学习阶段，针对模型问题，我们基于改进的GRPO算法，使用多个奖励模型联合优化，进一步提升语义跟随、文字精度等效果。
w/o 后训练
w/ 后训练
语义跟随↑
...并排七只卡通鸭子由大到小迈步，鸭身白、喙脚橙，点缀三株极小绿草...字底斜穿一条柔黄荧光笔感不规则带状色块...
文字精度↑
“18款妆前 专业辣评”两行横排置于画面上半部中央，第一行“18”为超大号衬线体，浅卡其色实心填充，笔画粗壮；紧随的“款妆前”同色同体，字面略带立体阴影；第二行“专业辣评”纯白填充...“好用or踩雷”单行横排位于透明盒正前方，浅卡其色实心填充...
1.3 应用模型--图文创意生成模型
图文创意生图模型结构图
图文创意生成模型结构如上图所示，输入包含prompt、噪声和商品前景图。在文生图底模基础上，将商品前景图通过VAE编码作为额外输入信号，以保持商品细节。对于噪声和商品前景图，设计不同位置编码让模型区分输入来源。该方式兼容自研底模和Qwen-Image底模，只需调整商品前景图位置编码即可适配。
模型训练分为图生图任务适配、精调、强化学习三个阶段：
任务适配训练结果
精调训练结果
强化学习阶段：面向图文创意任务，在语义跟随、文字精度等奖励基础上，引入一致性奖励约束商品前景与原始图像的一致性。
任务适配阶段：为了让模型更好创作商品海报，我们运用大量现有商品图和设计海报进行初步训练。模型学会自动调整商品主体位置和尺寸，根据文字描述生成背景和文案，融合成和谐电商海报。
精调阶段：选用美学更出色的素材进行针对性训练，改善商品与背景融合效果，增添真实感光影细节。以下是两个阶段生成结果对比：
输入
RL前
RL后
文字精度↑
... 左上区域出现主标题“蹭到爽”...
文字可读性↑
-
商品一致性↑
2. 懂电商、懂设计的创意Prompt生成专家
我们设计了基于VLM的智能Prompt生成模型，能根据商品类目信息和视觉轮廓特点，生成匹配的背景Prompt。鉴于生图模型更强的指令遵循能力，该模型需精准理解商品前景信息和图上文案，生成突出商品卖点的场景描述；同时洞悉设计理念，确保背景文字风格、颜色与商品调性和谐，引导文案与商品形成巧妙互动。为训练此模型，我们调整了Prompt范式，规避易导致画面出错的元素。收集优质商品图训练，通过数据清洗与改写，构建更适合图文海报制作的训练数据。为进一步提升稳定性，引入偏好优化训练。
图文海报2.0
布局更合理
场景与卖点呼应
文字与商品和谐互动
场景与标题呼应，文字风格多样
文字风格多样
如上图所示，图文海报2.0中的prompt生成模型能更好规划文字与商品布局，提升画面和谐度。同时，基于商品核心卖点文案，生成更契合、专业的场景表达。以李宁跑步鞋为例，针对“一步轻盈”卖点，模型精准理解内涵，通过将鞋子置于云朵之上创意呈现，展现电商设计专业水准。
3. 营销文案专家
为解决初期文案质量不高、逻辑性欠佳问题，我们采用整体性策略，让模型一次性生成多条相互关联文案，确保内容连贯协调。这显著提高文案合格率，达到“基本可用”目标。为进一步优化营销素材投放表现，引入先进优化方法：系统从大量市场成功文案范例中学习。为新商品创作文案时，参考优秀范例，借鉴风格与创意，生成更具吸引力内容。我们希望通过这种方式，将成功经验规模化应用，提升用户点击与转化效果。
商品
baseline（平平无奇，不犯错）
基于RAG的成套文案生成
（更生动、更有吸引力）
‒ 馥佩净颜面膜
‒ 改善肌肤质地
‒ 亲肤细腻更舒适
‒
1抹见效 肌肤更水嫩
‒ 改善肌肤质地
‒ 亲肤细腻更舒适
‒ 福茗源铁观音
‒ 七泡有余香
‒ 叶底肥润绵软
‒
兰花清香 一饮回甘
‒ 七泡有余香
‒ 叶底肥润绵软
四、效果展示1. 内部业务效果
使用线上商品数据进行批量评测，一次抽卡的素材优质率相比上一代模型提升20个百分点，同时大幅降低不合格率。上线万相营造百变制图工具后，相比上一代模型和模板制图，图片粒度用户采纳率提升79.8%，以下是一些线上用户实际使用样例。
另外，【淘宝星辰图文海报2.0】已经应用于阿里妈妈营销业务场景规模化供给和覆盖，用于优化商品素材以及为商家自动制作新优质素材，解决图文海报智能创作视觉素材供给难题。经过投放实验验证，【淘宝星辰图文海报2.0】产出素材相比商家素材CTR+0.66%，以下是一些示例：
2. 外部效果横评
针对电商场景应用需求：给定商品图和文案内容生成图文海报。我们分别调用GPT-Image-1、SeedEdit-3.0、Qwen-Image-Edit模型进行人工盲评。调用方式为：
模型名称
调用方式
请求Prompt格式
GPT4o-Image-0415
使用API调用生图
"请为这张图里的商品生成一张电商海报。" + 生成的prompt内容
SeedEdit-3.0
使用API调用生图
"将图里的商品放到电商海报背景上。海报内容为：" + 图上文案内容
Qwen-Image-Edit
使用开源代码权重本地部署生图，官方编辑Rewritter（Qwen-vl-max）生成的prompt进行生图
"为这个商品制作一个电商海报，替换合适的背景展示出商品的特点，海报上写着文字内容：" + 图上文案内容
我们随机抽取淘宝商品库中上百张真实商品图，以“文字精度”与“整体效果”为维度，对“图文海报2.0”及其他模型进行GSB（Good - Same - Bad）人工盲评。评测结果显示，“图文海报2.0”表现优异。相比之下，GPT-Image与SeedEdit3.0稍逊一筹。我们推测，这可能因为这两个模型主要针对通用编辑任务训练，在图文创意特定任务上泛化能力有限。
下面是部分评测的可视化对比case：
输入
GPT
SeedEdit 3.0
Qwen-Image-Edit
图文海报2.0
["夕露金刚网纱门", "安心守护每一天"]
["TCL空调大1.5匹", "有空调需求的都在选"]
["法莱阿玛尼公文包", "包包太酷了！", "有品味"]
3. 更多应用--随手拍海报生成
除了生成电商风格海报，我们发现对于随手拍摄日常物品，增加自定义文案也能生成视觉效果不错的带字海报图。
输入图
输入文案
输出结果
“过时不候”
“阿里C区出一瓶饮料，只要1元”
“霸王茶姬”
“霸王茶姬坚持“以东方茶，会世界友为使命”，探访全球千年茶文化，打造CHAGEE茶式新生活，呈现“清爽低负担，控糖更健康”的现制东方好茶，以一杯现代东方茶，连接你我每一天”
相关问答
学生社团摄影宣传海报该怎样做?
海报受众对象的喜好,学生团体一定会是小姐姐,人气小哥哥等,年轻人也喜欢色彩的刺激…海报主题就可以以青春,热情为主…加以文字阐述团队优势等等…切忌复杂繁...
摄影展宣传海报文字怎么写-rae915的回答-懂得
主要的是看你的摄影展的主题和达到的要求,有了方向写起来也就方便了根据摄影展的内容来写吧。用精练的文字总结一下本次摄影活动的情况。再写写摄...
运动会的宣传海报怎样做-ZOL问答
如何制作运动会宣传海报为了吸引更多的观众参与运动会,制作一个精美的运动会宣传海报是非常重要的。现在,我将向您介绍如何制作一张完美的运动会宣传海报。1...
摄影展宣传的句子?
国家地理摄影展,“看照片,就是看世界”,眼界窄的自己,无法踏遍每寸土地,赏遍各处风景,但通过摄影师的镜头,便可以遇见世界的角落。国家地理经典影像大展...
怎么自己设计广告海报?怎么样做海报?-ZOL问答
怎么自己设计广告海报?怎么样做海报?设计讨论回答(7)qianliemao123做海报其实没那么难,关键几点记住了就行:1.主题要炸眼!让人一眼就知道是干啥的,比如...
宣传海报内容?
海报一般由标题、正文和落款三部分组成,在实际的使用中,有些内容可以少写或省略。(一)标题海报的标题写法较多,大体可以有以下一些形式:第一,...第三,可以...
经常在朋友圈看到i云保平台的宣传海报，代理人在这个平台真的可以赚到钱吗?
朋友!这个当然可以啦!i云保就是专门为代理人服务的展业获客平台嘛,代理人只管推广,各种产品资源和推广素材都可以在i云保上直接搜索到,你自己通过平台来推广...
海报宣传语?
10、放心选择,满意托付。11、沟通,合作,成功,共赢。12、助您赢在未来。13、因为有梦,我们不一样。14、广告没有沟通,好比牛马一起接吻。我的诚心,你的放...
在photoshop中绘制一张校园音乐节的宣传海报,并将制作好的文...
我来,请问如何联系你如果这个题目答案里有JPG就选JPG如果答案里有PSD那么也是对的JPG是制作完成以后出图印刷用的格式保存后不可修改而PSD是Photos...
手工宣传海报怎么做?
手工宣传海报制做方法:1、拿出你的彩色铅笔。手工制作海报会非常有趣,而且并没有什么死规矩需要遵守。跟着做,你一定可以制作出一张引人注目的海报:2、找一...
