1、京东大数据技术白皮书京东大数据平台部出品 京东大数据平台部出品 顾问： 张晨 裴健 翁志 主要作者（排名不分先后） ： 赵国梁、刘荣明、李冬峰、冯玉敏、滕永铮、王哲涵 王永亮、王文生、李双义、刘业辉、白贤锋、王威 焦文健、张晓鑫、赵鹏、纪鸿焘、乔超、吴怡然 欢迎关注京云众创空间微信公众号获取更多最新报告 京东大数据技术白皮书 1 目 录 目 录 序言序言 . 3 前言前言 . 5 1 1 京东大数据的发展历程京东大数据的发展历程 . 8 2 2 京东大数据的技术体系京东大数据的技术体系 . 10 2.12.1 数据采集和预处理数据采集和预处理 . 10 2.22.2 流量数据采集流量数据采集

2、. 13 2.32.3 数据存储体系数据存储体系 . 22 2.42.4 离线计算环境离线计算环境 . 34 2.52.5 实时计算环境实时计算环境 . 37 2.62.6 机器学习环境机器学习环境 . 40 2.72.7 任务管理和调度任务管理和调度 . 43 2.82.8 资源监控和运维资源监控和运维 . 49 3 3 京东大数据的数据管理京东大数据的数据管理 . 54 3.13.1 数据架构设计数据架构设计 . 55 3.23.2 数据资产管理数据资产管理 . 57 3.33.3 统一指标体系统一指标体系 . 65 3.43.4 数据安全管理数据安全管理 . 66 3.53.5 数据服务

3、管理数据服务管理 . 68 4 4 京东大数据的数据产品京东大数据的数据产品 . 75 4.14.1 京东商智京东商智 . 75 4.24.2 智能营销智能营销 . 76 京东大数据技术白皮书 2 4.34.3 数据管家数据管家 . 77 4.44.4 祖冲之祖冲之 . 78 5 5 京东大数据的应用场景京东大数据的应用场景 . 80 5.15.1 营销领域营销领域 . 80 5.25.2 物流领域物流领域 . 81 5.35.3 供应链领域供应链领域 . 82 5.45.4 智能零售智能零售 . 85 5.55.5 金融业务创新金融业务创新 . 86 5.65.6 时尚创新时尚创新 . 88

4、 5.75.7 人工智能人工智能 . 89 6 6 京东大数据的合作生态京东大数据的合作生态 . 93 7 7 京东大数据的特点京东大数据的特点. 95 7.17.1 高可用和高性能高可用和高性能 . 95 7.27.2 一站式服务平台一站式服务平台 . 98 7.37.3 可靠的安全保障可靠的安全保障 . 99 8 8 京东大数据展望京东大数据展望 . 103 8.18.1 融合统一融合统一 . 103 8.28.2 开放合作开放合作 . 109 8.38.3 技术前瞻技术前瞻 . 110 结语结语 . 117 参考文献参考文献 . 118 京东大数据技术白皮书 3 序言序言 众所周知，大数

5、据是企业的基本生产资料，数据信息是企业宝贵的资产。不同于其他资产，数据资产主要在企业运营过程中产生，较易获取，但要持续积累、沉淀和做好管理却并不容易，这是一项长期且系统性的工程。 未经 “雕琢” 的数据是一组无序、混乱的数字，并不能给企业带来何种价值，从庞杂晦涩的数据中挖掘出“宝藏”充满着挑战，这需要将业务、技术与管理三者相互融合起来进行创新。 京东作为一家业内领先的互联网科技公司， 完整的产业链条带来了价值可沽的海量大数据， 丰富的业务场景也为技术发展提供了最佳创新土壤。 从认知、 探索到今天京东技术上的百花齐放，我们经历了最为艰苦的创新和付出。业务的复杂与多元化，数据的飞速增长，给我们带来

6、了很多棘手问题，但也使得大数据平台拥有更强大的能力， 形成了一套完整的技术体系和有效的数据管理方法，并在实践中得以验证和夯实。 京东大数据平台作为京东集团的数据中台， 支撑了京东无界零售的数据运营和创新。 京东大数据技术白皮书总结了大数据技术在京东的落地和成长， 分享了大数据技术体系和管理架构，阐述了大数据在京东的典型业务应用场景， 并对大数据的技术方向进行了展望，是一次对京东大数据平台的最全面解读，希望我们的实践和思考能给同行以启发和参考， 我们期待和业界一起推京东大数据技术白皮书 4 动国内大数据产业的进步和发展。 京东集团首席技术官 京东集团首席技术官 张晨 张晨 京东大数据技术白皮书