随着大数据实时处理需求的强劲增长,Storm的出现填补了大数据处理生态系统的缺失,并被越来越多的公司所采用。阿里巴巴集团数据平台事业部商家数据业务部正是最早使用Storm的技术团队之一。
《Storm实战:构建大数据实时计算 》是一本系统并且具有实践指导意义的Storm工具书和参考书,对Storm整个技术体系进行了全面的讲解,不仅包括对基本概念、特性的介绍,也涵盖了一些原理说明。
实战性很强,各章节都提供了一些小案例,同时对于本地,以及集群环境的部署有详细介绍,易于理解,操作性强。
《Storm实战:构建大数据实时计算 》一共分为10章:第1章全面介绍了Storm的特性、能解决什么问题,以及和其他流计算系统的对比;第2章通过实际运行一个简单的例子,以及介绍本地环境和集群环境的搭建,让读者对Storm有了直观的认识;第3章深入讲解了Storm的基本概念,同时实现一个Topology运行;第4章和第5章阐述了Storm的并发度、可靠处理的特性;第6章~第8章详细而系统地讲解了几个高级特性:事务、DRPC和Trident;第9章以实例的方式讲解了Storm在实际业务场景中的应用;第10章总结了几个在大数据场景应用过程中遇到的经典问题,以及详细的排查过程。
目录
- 第1章 Storm基础
- 1.1 Storm能做什么
- 1.2 Storm特性
- 1.3 其他流计算系统
- 1.4 应用模式
- 第2章 Storm初体验
- 2.1 本地环境搭建
- 2.2 Storm集群
- 第3章 构建Topology
- 3.1 Storm基本概念
- 3.2 构建Topology
- 3.3 小结
- 第4章 Topology的并行度
- 4.1 并行元素
- 4.2 配置并行度
- 4.3 一个运行中Topology的例子
- 4.4 如何更新运行中的Topology的并行度
- 第5章 消息的可靠处理
- 5.1 简介
- 5.2 理解消息被完整处理
- 5.3 消息的生命周期
- 5.4 可靠相关的API
- 5.5 高效地实现tupletree
- 5.6 选择合适的可靠性级别
- 5.7 集群的各级容错
- 5.8 小结
- 第6章 一致性事务
- 6.1 简单设计一:强顺序流
- 6.2 简单设计二:强顺序batch流
- 6.3 CoordinateBolt的原理
- 6.4 TransactionalTopology
- 第7章 DRPC
- 7.1 StormDRPC
- 7.2 总体概述
- 7.3 LinearDRPCTopologyBuilder
- 7.4 本地模式DRPC
- 7.5 远程模式DRPC
- 7.6 一个复杂的例子
- 7.7 非线性DRPC拓扑
- 7.8 LinearDRPCTopologyBuilder工作过程
- 7.9 高级进阶
- 第8章 Trident的特性
- 8.1 理解Trident
- 8.2 结合多个Trident任务
- 8.3 消费和生产Field
- 8.4 State(状态保存)
- 8.5 TridentTopology的执行过程
- 8.6 总结
- 第9章 Storm实例
- 9.1 一个简单的实例
- 9.2 复杂一点的实例
- 9.3 其他
- 第10章 常见应用问题分析
- 10.1 性能问题排查与定位
- 10.2 系统中常见的问题与排查
- 10.3 业务问题的定位与排查