当前位置:首页 > 报告详情

使用 Databricks 实现数据管道现代化:IAS 之旅.pdf

上传人: 张** 编号:167636 2024-06-15 25页 1.58MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了Integral Ad Science公司如何通过迁移到Databricks平台来现代化其数据管道。Andy Guinther和Preethi Krishnan,作为公司的数据工程师,负责数据启用团队,详细阐述了数据管道的现代化策略和解决方案。 关键点如下: 1. Integral Ad Science是一个领先的全栈全球媒体测量和优化平台,每天全球范围内捕获2800亿次互动。 2. 公司拥有2100多家广告商和所有主要广告代理商及出版商。 3. 数据管道现代化的关键原则是数据网格,强调领域导向、去中心化的数据拥有权和架构。 4. 迁移到Databricks平台后,公司实现了数据的可发现性和可访问性,标准化了数据平台工具集,并提高了客户获取洞察的速度。 5. Databricks解决方案支持数据发现、数据治理、数据管道/建模、数据质量和数据集成等功能。 6. 迁移过程中,使用了一系列的Reusable Operators,如Broadcast Operator和Table Status Operator,来解决特定的挑战,如跨作业编排和跟踪表的状态。 7. 通过DDL / DML Migration Tool,实现了在不同环境中一致地管理架构变更。 8. Data Compare Operator用于大规模数据迁移中比较大量表,提供了清晰的格式化输出。 9. 使用模板仓库简化了技术栈的学习曲线,并支持CI / CD,同时确保了代码质量和技术文档的维护。 综上所述,Integral Ad Science通过迁移到Databricks平台,实施了一系列的数据管道现代化措施,优化了其数据处理和分析能力。
"如何通过Databricks实现数据管道的现代化?" "如何在迁移到Databricks后优化数据管道的架构?" "Databricks中的数据比较操作符如何帮助数据迁移?"
客服
商务合作
小程序
服务号
折叠