陈叶超-多智能体驱动的企业级ChatBI 落地实践-Final.pdf

1、多智能体驱动的企业级ChatBI 落地实践陈叶超目录01020304喜马 ChatBI 背景和挑战喜马 ChatBI 产品与架构构建可持续进化 ChatBI未来展望和规划01喜马 ChatBI 背景和挑战ChatBI 研发背景用数门槛高：找数难、取数难、不会写 SQL数据不平权：业务团队排队等需求，需求响应慢、依赖数据产品和自助取数业务痛点数据消费效率低、数据价值得不到释放人力成本高、交付压力大需求被动、数据需求投诉后才知道重复取数，成就感低数据团队痛点大模型和智能体技术发展迭代快，能力进度显著传统 BI 加速向 BI+AI 转型Data+AI 发展趋势自然语言是最高效、最直接、最有价值需求表

2、达和反馈我们的观点喜马喜马 ChatBIChatBI 与与 ChatBIChatBI 商业化产品的核心差异商业化产品的核心差异项目开源&商业化产品自研喜马 ChatBI准确度测试下来没有符合预期产品数百列+多表：至少 85%以上，且能持续进步数据安全无法继承原有数据权限、不支持加密、脱敏安全合规存在挑战复用现有数据权限、支持敏感加密、脱敏安全合规智能选择数据&多表关联智能选择数据集基本不支持多表关联基本不支持、效果比较差自然语言提问情况下自动选择数据集支持多表关联多轮问答/追问有限支持支持开放、兼容开放性差模型、数据源、BI产品绑定自身智能体扩展开放向公司 Agent应用开放复用兼容当前Lak

3、ehouse架构能力可进化全链路追踪&反馈有限预设支持多数依赖模型微调、周期长效果差N/A可调优、可介入、且快速、实时查询速度、资源消耗、多维度的准确率分析等为什么要自研十万级别表，无法精准识别召回表召回难ChatBI 实际准确率较低准确率挑战大准确率评测难、无标准 SQL 答案评测难大模型幻觉不可避免、无中生有模型幻觉PChatBI四大核心挑战CDAChatBI 研发挑战02喜马 ChatBI 产品与架构ChatBI 产品形态示例数据ChatBI 产品架构智能问数agentSQLagentChatBI 桌面+移动端ChatBI 办公工作台联表查询多轮问答单表问答智能问数智能选数据集RAGMe

4、moryDB 查询语法检查权限校验智能评测agent反馈&日志追踪数据下载取数过程查询表/字段/值业务知识专业词汇时间规则样例学习SQL 方言学习Embedding 模型文本模型产品形态产品形态产品能力产品能力ToolsTools智能体能力智能体能力ContextContext 增强增强模型接入模型接入ChatBI MCPServerChatBI OpenAPI智能绘图取数解释意图识别agent智能选数据集agent智能改写agent用户理解agent数据集管理指标知识个性化Memory智能推荐MilvusStarRocksLakehouseDataData InfraInfraOneMeta

5、DataOps平台模型接入管理.数据标注ChatBI 产品演示视频03构建可持续进化的 ChatBIChatBI 全生命周期构建可持续进化的ChatBIChatBIChatBI 四大要素四大要素评测先行自动化可衡量的评测机制AI/人工标注评测反馈机制评测反馈机制按照核心职责拆分 AgentAgent 少而精，每个Agent 做到极致选择合适的LLM，且持续迭代多多 AgentAgent 协同协同按照业务域设计的高质量数据集精挑细选经过数据治理过的数据表精心维护的知识、规则、指标、语法等高质量数据集高质量数据集短记忆：短记忆：会员上下文理解，追问等长期记忆：长期记忆：历史用户提供的知识、用户偏好

6、推荐、个性化，冷启动/个性化推荐更精准用户理解和需求引擎用户理解和需求引擎个性化个性化 MemoryMemory和用户理解和用户理解评测难：无法衡量，就无法改进1评测的重要性评测的重要性点赞和点踩行不行？评测 SQL行不行？准确率低，用户易流如何知道做的好不好无法衡量，就无法改进2如何评测？如何评测？3点赞和点踩互动低更多反映对产品偏好关联准确率不置信点赞点赞/点踩点踩4标准测试集和企业知识以及数据实际不匹配无标准测试方法无标准测试方法5同一个问题不同SQL都是对的SQLSQL无标准答案无标准答案评测先行：无法衡量，就无法改进评测先行：无法衡量，就无法改进海量表召回的挑战1上下文受限上下文受限