谭杰轩-AI+大数据：打造新一代数据开发治理一体化平台.pdf

1、通明湖人工智能开发与应用大会Al+大数据：打造新一代数据开发治理一体化平台演讲人：谭杰轩腾讯云/资产大数据产品经理01010202030304040505目录大数据+AI前沿发展趋势趋势与痛点大数据+AI数据开发治理平台建设思路架构设计WeData一体化建设应用落地分享关键技术落地大数据+AI前沿发展趋势趋势与痛点大模型的机遇与挑战大模型大模型大模型发展的基础是数据挑战挑战。“幻觉”问题01数据不一致02数据安全问题03数据多样性不足04机遇机遇智能对智能对话话信息检信息检索索医疗健医疗健康康教育辅教育辅导导风险评风险评估估内容生内容生产产大数据与AI充分协同头部厂商纷纷推出不同解决方案，加速

2、大数据与AI的融合。Google Cloud AI Platform：提供端到端的机器学习服务，包括数据准备、模型训练、模型部署和监控。BigQuery：完全托管的数据仓库，支持大规模数据分析和机器学习集成。Azure Machine Learning：提供机器学习模型的开发、训练、部署和管理服务。Azure Synapse Analytics：集成了大数据和数据仓库功能，支持大规模数据处理和分析。Amazon SageMaker：提供全面的机器学习服务，包括数据准备、模型训练、部署和监控。AWS Glue：完全托管的ETL（提取、转换、加载）服务，支持数据准备和集成。Databricks U

3、nified Analytics Platform：基于Apache Spark的统一分析平台，支持大数据处理、数据科学和机器学习。Databricks MLflow：开源平台，支持机器学习模型的管理、部署和监控。大数据+AI一体化平台建设思路架构设计在数据链路上需要将大数据和AI进行整合，消除数据孤岛，共享数据，加速数据的协作价值和流通，加速企业数据价值释放。整合数据链路无论是技术上还是业务上，都需要保障数据一致性，统一元数据可以保障数据的发现和理解，从而提高数据一致性和准确性。统一元数据在应对新技术与新应用的浪潮中，为充分应对AI与大数据时代带来的挑战，平台亟需强化数据安全防护体系，全面升

4、级数据安全保障能力。保障数据安全大数据可以服务于AI，但AI本身也可以将先进的技术用到大数据平台上，从而提升智能化程度。提升智能程度Data+AI深度融合业务需求数据建模数据集成数据开发数据资产数据服务模型训练模型调参模型服务业务人员数据工程师数据科学家应用需要整合，包括：流程，数据，平台，工具大数据+AI数据链路整合统一元数据结构化数据非结构化数据数据湖存储元数据管理元数据管理BI分析数据科学人工智能12数据源多样性处理结构化，非结构化数据，如数据库，流媒体，图片等数据格式和标准不一致不同数据源和系统可能使用不同的数据格式和标准，导致元数据不一致。元数据采集和存储管理元数据需要不断采集，更新

5、，集中存储和管理。否则导致管理困难和数据孤岛问题。访问和共享元数据需要在不同系统和用户之间共享和访问，确保数据的一致性和可用性。341风险态势研判，持续收敛风险持续运营2安全审计，异常分析风险监测3访问控制，数据脱敏数据保护4资产清查数据资产发现及分类分级保障数据安全提升智能程度SQL纠错，SQL解释，注释生成。数据加工SQL生成，NL2SQL数据分析数据血缘分析，脚本智能生成数据编排智能问答，智能分类分级数据资产1AI为大数据平台提供智能化升级324WeData一体化建设应用落地关键技术介绍混元大模型腾讯云大数据产品全景图Ti-One智能钛机器智能钛机器学习平台学习平台数据开发治理平台数据开

6、发治理平台 WeDataElasticsearch云数据仓库云数据仓库 TCHouse数据湖数据湖计算计算 DLC 弹性弹性 MapReduce数据开发数据开发与治理与治理大数据基大数据基础引擎础引擎BI分析分析行业场景行业场景方案方案EKS/TKECOSCVMCHDFSCBS算力云原生算力云原生/存储云原生存储云原生IaaS腾讯云腾讯云BI存储与算力支撑腾讯腾讯大数据大数据处处理理套件套件TBDS公有云 1：1能力完全输送政务政务一网统管数据平台 金融金融智能风控决策分析互联网互联网智能增长实时推荐教育教育零售零售工业工业出行出行自动驾驶场景检测WeData（私有化私有化）腾讯云腾讯云BI（