Apache 郭炜-Apache基金会的10大DataOps开源项目v1.1.pdf

1、ApacheApache基金会的基金会的1010大大DataOpsDataOps开源项目开源项目Apache Software Foundation MemberApache Software Foundation Member郭炜郭炜个人简介个人简介Apache 基金会成员,Apache 孵化器导师ClickHouse 华人社区创始人，Apache Dolphin Scheduler PMC，Apache SeaTunnelPMC郭炜先生毕业于北京大学，现任中国通信学会开源技术委员会委员，中国软件行业协会智能应用服务分会副主任委员，全球中小企业创业联合会副会长，TGO鲲鹏会北京分会会长，虎啸

2、十年 杰出数字技术人物，中国开源社区最佳33人，中国2021年开源杰出人物郭炜先生曾任易观CTO，联想研究院大数据总监，万达电商数据部总经理，先后在中金、IBM、Teradata任大数据方重要职位，对大数据前沿研究做出卓越贡献。同时郭先生参与多个技术社区工作，Presto,Alluxio,Hbase等，是国内开源社区领军人物。目录目录DataOpsDataOps的缘起的缘起1010大大Apache DataOpsApache DataOps开源项目开源项目DataOps x DataOps x 大模型大模型DolphinScheduler DolphinScheduler 快速训练大模型快速训

3、练大模型SeaTunnelSeaTunnel帮助让帮助让ChatGPTChatGPT可以访问可以访问100100多种数据源多种数据源DataOpsDataOps的未来趋势的未来趋势第四次产业革命的前夕第四次产业革命的前夕IT IT智能化时代智能化时代业务自我迭代业务自我迭代业务驱动业务驱动IT IT智能化时代智能化时代Intellectualization人工智能、客户、员工人工智能、客户、员工铁三角铁三角智能模型、服务能力智能模型、服务能力DataOpsDataOps举例举例技术驱动技术驱动流程驱动流程驱动数据驱动数据驱动业务一体数据库业务一体数据库DbaseDbase、FoxbaseFox

4、base独立数据存储独立数据存储大数据时代大数据时代人工智能时代人工智能时代OracleOracle，TeradataTeradataInformaticaInformatica、BOBOHadoopHadoop、KettleKettle、AirflowAirflow、SqoopSqoopChatGPTChatGPT、FlyteFlyte、SeaTunnelSeaTunnelGartner曾经在2019年把IT技术分为了3个时代，而现在我们面临了第四个时代IT智能化时代从从DevOps DevOps 到到 DataOpsDataOps产生数据将数据存储在数据库中分析团队构建 ETL、报表和仪表

5、盘数据集整合到数据湖建立数据模型利用新数据进行预测预测结果呈现源业务数据库类型复杂源业务数据库类型复杂云数据仓库云数据仓库/湖选择复杂湖选择复杂多云管理环境复杂多云管理环境复杂使用场景使用场景可视化可视化机器学习机器学习安全安全营销营销搜索搜索金融金融消费人群消费人群数据科学家数据分析师业务人员人工智能人工智能 DataOps/MLOps工具链工具链多云环境下复杂的数据源多云环境下复杂的数据源/引擎引擎简单、高效、准确的数据供给简单、高效、准确的数据供给数据消费数据消费&AI数据消费增长数据消费增长传统数据处理工具链传统数据处理工具链/套件套件$50亿估值$24亿估值$5亿+估值大模型训练大模

6、型训练向量数据库向量数据库LLaMA云原生新兴云原生新兴 DataOps 工具链工具链/套套件件数据数据调度编排调度编排$3亿+$5亿+数据集成数据集成数据治理数据治理$53亿估值$5亿+估值数据转换数据转换$30亿$3亿+$15亿$42亿$15亿$15亿$56亿全球全球DataOpsDataOps发展发展趋势趋势从从BI BI到到AIAITransformationTransformationWarehousingWarehousingData IntegrationData IntegrationAnalysisAnalysisOrchestrationOrchestrationAIAIS