DATAFUN：微信搜一搜中的智能问答技术（35页）.pdf

1、微信搜一搜中的智能问答技术姓名 杨韬（腾讯TEG AI平台部）|01背景介绍背景介绍03基于文档的问答基于文档的问答02基于图谱的问答基于图谱的问答04未来展望未来展望目录目录 CONTENT背景介绍01|智能信息获取：从搜索到问答传统搜索只能返回TopK的网页，无法给出更精准的答案对用户：需要自己从网页中分析甄别答案，搜索体验较差传统搜索引擎只是去做“匹配”，NOT“理解”直接返回精准、可靠、便捷的答案对用户：帮助用户最快时间获取到答案，搜索体验好对内容方：答案首条置顶展示，可以获得更多曝光和流量传统网页搜索对问答型Query的局限:智能问答的优势：精准化query10 links人工分析整

2、理AnswerqueryAnswer12312搜索场景下的用户问答需求问题类型事实型(factoid)占比Query示例观点型(opinion)摘要型(abstract)列表型(list)15%64%15%6%短答案（实体短语）短答案（Yes/No）长答案（多句摘要）长答案（列表）单/多实体：刘德华的妻子中国四大名著时间/数字：曹操有几个儿子刘德华哪天出生的高铁可以逃票吗月经期可以吃榴莲吗张学友是水平座吗为什么会脑缺血苹果手机电池掉得快怎么办太阳能热水器工作原理按揭房抵押贷款办理流程有哪些银行修改密码有哪些步骤答案形式事实型短答案观点型短答案摘要型长答案列表型长答案答案知识来源数据源百科、豆瓣

3、等网站的结构化infobox质量高，易于获取和加工只覆盖头部知识，覆盖率不够来源一：结构化数据Q：易建联的身高：易建联的身高Q：谁发动了陈桥兵变：谁发动了陈桥兵变优点缺点数据源百科、公众号等互联网网页文本库知识覆盖面广文本质量参差不齐对专业领域知识的覆盖度和权威度不够来源二：非结构化-通用文本库优点缺点数据源专业领域的垂类站点的问答数据页面一般以（问题，段落）这样的问答对的形式存在知专业领域知识覆盖广、权威度高来源三：非结构化-专业垂类站点问答库优点Q：无间道：无间道1的导演是谁的导演是谁Q：胫骨骨折一般多久长骨痂：胫骨骨折一般多久长骨痂技术路线KBQA（基于图谱的问答）支持推理，可以解析复杂

4、查询扩展性强，能查询实体的各种属性优点关键技术图谱构建：schema自动构建、实体挖掘、关系抽取、开放信息抽取问题解析：实体链接、基于Semantic Parsing的方法、基于检索的方法DocQA（基于文档的问答）能解决一些KBQA难以解析回答的问题知识覆盖面广，能覆盖更多中长尾问题优点关键技术阅读理解（MRC）开放域问答（OpenQA）Q：姚明的老婆有多高：姚明的老婆有多高Q：谁发动了陈桥兵变：谁发动了陈桥兵变语义检索语义检索TopN文档文档阅读理解阅读理解Q：胫骨骨折一般多久长骨痂：胫骨骨折一般多久长骨痂语义解析语义解析查询查询基于图谱的问答02|什么是KBQA给定自然语言问题，通过对问

5、题进行语义理解和解析，进而利用知识库进行查询、推理得出答案问句姚明的老婆哪里出生的？语义语义解析解析语义表示语义匹配、语义匹配、查询、推查询、推理理上海难点开放领域知识库中存在量的歧义实体，如“长城”、“苹果”属性数量众多：4000+问法多样：同一个属性不同问法 VS 同一个问法针对不同的属性KBQA技术方案方案一：Information Retrieval-Based可端到端训练优点缺点将Query和候选答案表征为向量计算相似度可解释性和扩展性差难以处理限定、聚合等复杂类型query方案二：Semantic Parsing-Based可解释性强，符合图谱的显式推理过程优点缺点将Query解析

6、成可查询的结构化表示依赖高质量的解析算法KBQA整体流程Q：张艺谋的长城女主角是谁？实体链接实体链接关系识别关系识别Topic实体识别实体识别条件条件/约束识别约束识别查询推理查询推理Entity=张艺谋张艺谋,Type=导演导演Entity=长城长城,Type=电影电影问题/关系匹配Relation=主演主演Relation=作品作品Relation=角色角色关系得分实体重排序Subject=长城长城Subject=张艺谋张艺谋Condition:性别性别=女女景甜景甜彭于晏彭于晏张涵予张涵予实体链接从文本中识别出所有的实体mention，然后再把它们链接到相应的知识图谱上queryment