02-官维-以智能化评测赋能数据分析：DeepInsight自动化评测集生成与实践.pdf

1、演讲嘉宾：官维以智能化评测赋能数据分析以智能化评测赋能数据分析 DeepInsight自动化评测集生成与实践自动化评测集生成与实践0 1个人介绍个人介绍0 2背景介绍背景介绍0 3业界方案对比业界方案对比0 4方案设计及优势方案设计及优势0 5评测建设结果评测建设结果0 6迭代方向迭代方向0 1 个人介绍个人介绍1 个人介绍蚂蚁数据分析平台评测负责人，主导DI智能化的评测体系构建，及评测集开源项目建设。已获得1项国家专利授权，3篇专利申请中。官 维蚂蚁数据分析平台产品专家，负责DI数据准备，报表制作等核心模块的智能化产品建设。0 2 背景介绍背景介绍2 背景介绍AI+BI领域评测的现状与挑战智

2、能化评测的现状和特点蚂蚁复杂业务场景的特殊需求AI+BI的智能化建设推动了传统BI研发范式的全面升级。AI能力的代际世升级使得自然语言取数成为可能，不仅降低了数据查询的门槛，让非专业用户无需学习复杂的SQL语法也能直接获取所需数据。但查询结果准确性始终面临严峻挑战。介绍当前中文Text2SQL领域的评测现状和特点，介绍中/英领域评测的差异性和难点。介绍在企业应用场景下对于评测的特殊诉求。2.1 AI+BI领域的现状与挑战降低门槛：让非专业用户无需学习复杂的SQL语法也能直接获取所需数据提升效率：通过自然语言取数，降低了人工编写和调试SQL的时间，加速了数据获取和洞察的过程全面推进数据分析的民主

3、化推动了传统BI研发范式的全面升级BIAI+BI存在一定的使用门槛研发效率较低期望实际准确性低：分析结果的准确性和可信度面临严峻挑战2.2 中文智能化评测的特点中文Text-to-SQL资源稀缺中/英语言表达的差异性技术生态的局限性分词与语义理解英文有天然空格分隔单词，中文则需要先进行分词。分词准确性直接影响后续语义理解。表达习惯差异中文表达更灵活、含蓄，上下文依赖性强，可能存在省略。跨语言映射（Schema Linking）中文自然语言表达灵活多样，自然语言描述的业务问题往往隐含复杂逻辑，需要精准将中文词汇映射到正确的Schema上。底层代码、SQL数据、预训练语料以英文为主流，模型更“熟悉

4、”英文环境。CSpider（Spider的翻译版）、DuSQL等，但数量和要求均不能满足。预训练模型存在原生的英文优势例如：上海的怎么样？这类省略主语的问法，需要结合上下文理解。例如：数据库中的表名、列名可能是英文的（如 product_name），而用户用中文提问（如产品名）。这就需要系统建立中英文语义映射，准确将中文表述关联到数据库模式（Schema）上。2.3 蚂蚁复杂业务场景下的特殊需求真实企业场景数据集的非标性外部评测集命名的标准化，实际真实企业场景下的数据集和数据并不标准，往往存在大量“中式命名”和脏数据等。数据上下文理解的缺失真实场景的字段可能存在深层的业务关系和逻辑（如“订单金

5、额”和“实付金额”的计算依赖），极易生成语法正确但语义错误的查询。领域专业知识的壁垒在金融、医疗等专业领域，查询中可能包含大量专业术语和领域知识。模型缺乏这些知识会导致生成的查询出现偏差。因此，亟需一个能全面反映真实商业环境复杂度的评测集，来衡量企业真实场景下各个智能体的智能化水位。0 3 业界方案对比业界方案对比3.1 行业Text2SQL领域的评测集对比评测集名称发布年份主要特点问题数量数据库数量语言Spider2018跨域、简单SQL、多表10,181200英文SParC2019跨域、多轮对话、上下文相关4,298序列200英文CSpider2019Spider的中文翻译版10,1812

6、00中文DuSQL2020大规模、实用中文场景23,797200中文BIRD2023大规模数据库、含噪声、注重推理与执行效率12,75195英文Spider 2.02024Spider的全面升级版，强调外部知识、复杂推理和真实数据10,589521英文业界中/英文领域的Text2SQL评测集对比：3.2 当前业界评测集方案的局限性 例如：例如：SpiderSpider，BIRDBIRD，Spider 2.0Spider 2.0，中文领域的中文领域的高质量评测集较少。高质量评测集较少。数据库规模过小：企业级数据库通常有上千列，而数据库规模过小：企业级数据库通常有上千列，而SpiderSpider