京东多模态商品营销文案自动生成实践-李浩然AICon2021-lhr.pdf

1、京东多模态商品营销文案自动生成实践 李浩然 京东算法工程师自然语言生成技术与应用商品文案生成的技术挑战 文本多样性问题解决方案 文本忠实性问题解决方案文本流畅性问题解决方案总结和展望自然语言生成技术演变基于规则基于规则Penman(USC/ISI78)FOG(IEEE Expert94)1990s之前之前1990s2000s2015年年2017年年2019年年注意力机制注意力机制RNNsearch(ICLR15)AttNMT(EMNLP15)复制机制复制机制Pointer-Net(NIPS15)基于统计基于统计IBM models(COLING88)神经网络语言模型神经网络语言模型NNLM(N

2、IPS01)RNNLM(Interspeech10)预训练语言模型预训练语言模型MASS(ICML19)UniLM(NIPS19)噪声信道TS自注意力机制自注意力机制Transformer(NIPS17)可控文本生成可控文本生成输入增删输入文本调整文本结构/顺序词表禁用鼓励模型解码器/编码器初始化增加辅助任务模型框架优化可控商品文案生成商商品品信信息息商商品品文文案案大容量的设计不仅可以收纳碗筷，又能放下炒锅，为厨房节省空间。全包围的款式避免水和气的外漏，使用更省心。单臂7孔的喷淋能够强力冲刷残留污渍，让餐具达到无死角的清洁效果。可控商品文案生成品牌美的频率变频类型壁挂式商品知识图谱商品知识图

3、谱商详页文本商详页文本商品标题商品标题商品图片商品图片特性一级能效压缩机，节能省电颜色唯美绚丽白，点缀你的房间频率采用变频技术，快速制冷制热类型壁挂式空调，节省空间卖点卖点属性属性电机静音温度能效清洁送风操纵环保节能省电高效低耗要素要素要素词要素词商品营销短文商品营销短文这款美的壁挂式空调，唯美绚丽白，点缀你的房间。搭载一级能效压缩机，节能省电。智能温控系统让你享受舒适环境。输输出出模模型型卖卖点点与与要要素素输输入入编码器编码器文本编码器图片编码器解码器解码器受限解码复制机制集束搜索重集束搜索重排序模型排序模型预训练语预训练语言模型言模型抽取式自动抽取式自动摘要模型摘要模型可控商品文案生成京

4、东发现好货频道京东智能客服可控商品文案生成京东搭配购社交电商虚拟主播可控商品文案生成辅助创作平台1.输入商品ID2.生成营销短文3.卖点提取与分类5.卖点一键复制与编辑4.同类卖点短句展示自然语言生成技术与应用商品文案生成的技术挑战 文本多样性问题解决方案 文本忠实性问题解决方案文本流畅性问题解决方案总结和展望商品文案生成的技术挑战基本要求：看起来像人写的描述重要的内容流畅的表达尽量避免冗余信息进阶要求：多维度可控多样化的表达忠实于原商品近乎苛刻的流畅度要求自然语言生成技术与应用商品文案生成的技术挑战 文本多样性问题解决方案 文本忠实性问题解决方案文本流畅性问题解决方案总结和展望多样性控制多样

5、v.s.单调多样性控制多模态+商品要素多模态：理性的人注重功能感性的人注重外观商品要素：描述重要的要素流畅的要素表达避免冗余的要素信息空调电机静音温度外观清洁能效送风操纵质量环保节能省电高效低耗省钱要素类别要素词多样性控制多模态+商品要素多模态Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products.Haoran Li,Peng Yuan,Song Xu,Youzheng Wu,Xiaodong He,Bowen Zhou.AAAI 2020.多样性控制多模态+商品要素多模态Aspect-Aware Multim

6、odal Summarization for Chinese E-Commerce Products.Haoran Li,Peng Yuan,Song Xu,Youzheng Wu,Xiaodong He,Bowen Zhou.AAAI 2020.纯文本纯文本模型输出模型输出:时尚的两件套设计，省去搭配的烦恼，穿出不同种类的风格，选用优质的针织面料，手感细腻，具有良好的亲肤效果，穿着舒适不紧绷。多模态多模态模型输出模型输出：一款来自欧芮儿很时尚的套装，以橙色为主色调的条纹设计，靓丽吸睛，让你穿出不一样的时髦造型。针织的搭配，丰富视觉效果，凸显层次美感，木耳边的喇叭袖，增添潮流看点。结论结论：加