大数据之路:阿里巴巴大数据实践
内容介绍
在Alibaba集团内,数据人员面临的现实情况是:集团数据存储已经达到EB级别,部分单张表每天的数据记录数高达几千亿条;在2016年“双11购物狂欢节”的24小时中,支付金额达到了1207亿元人民币,支付峰值高达12万笔/秒,下单峰值达17.5万笔/秒,媒体直播大屏处理的总数据量高达百亿级别且所有数据都需要做到实时、准确地对外披露……巨大的信息量给数据采集、存储和计算都带来了极大的挑战。《大数据之路——Alibaba大数据实践》就是在此背景下完成的。本书中讲到的Alibaba大数据系统架构,就是为了满足不断变化的业务需求,同时实现系统的高度扩展性、灵活性以及数据展现的高性能而设计的。本书由Alibaba数据技术及产品部组织并完成写作,是Alibaba分享对大数据的认知,与生态伙伴共创数据智能的重要基石。相信本书中的实践和思考对同行会有很大的启发和借鉴意义。
目录
- 第1章 总述 1
- 第1篇 数据技术篇
- 第2章 日志采集 8
- 第3章 数据同步 29
- 第4章 离线数据开发 48
- 第5章 实时技术 68
- 第6章 数据服务 91
- 第7章 数据挖掘 116
- 第2篇 数据模型篇
- 第8章 大数据领域建模综述 130
- 第9章 阿里巴巴数据整合及管理体系 138
- 第10章 维度设计 159
- 第11章 事实表设计 190
- 第3篇 数据管理篇
- 第12章 元数据 236
- 第13章 计算管理 245
- 第14章 存储和成本管理 275
- 第15章 数据质量 285
- 第4篇 数据应用篇
- 第16章 数据应用 304
- 附录A 本书插图索引 320