在大数据领域，Hadoop无疑是最炙手可热的技术。作为分布式系统架构，Hadoop具有高可靠性、高扩展性、高效性、高容错性和低成本的优点。然而随着数据体积越来越大，实时处理能力成为了许多机构需要面对的首要挑战。Hadoop是一个批处理系统，在实时计算处理方面显得十分乏力。storm是一个类似于Hadoop勺实时数据处理框架，也是一个非常有效的开源实时计算工具，通常被比作“实时的Hadoop”。
《大数据技术丛书：Storm实时数据处理》通过丰富的实例，系统讲解Storm的基础知识和实时数据处理的最佳实践方法，内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法、Storm与Hadoop的集成方法、实时机器学习、持续交付和如何在AWS上部署Storm。此外，《大数据技术丛书：Storm实时数据处理》旨在围绕Storm技术促进DevOps实践，使读者能够开发Storm解决方案，同时可靠地交付有价值的产品。
《大数据技术丛书：Storm实时数据处理》适合想学习实时处理技术或者想通过Storm实现实时处理方法的开发者阅读。
目录
- 译者序
- 前言
- 第1章 搭建开发环境
- 1.1 简介
- 1.2 搭建开发环境
- 1.3 分布式版本控制
- 1.4 创建“Hello World”Topology
- 1.5 创建Storm集群——配置机器
- 1.6 创建Storm集群——配置Storm
- 1.7 获取基本的点击率统计信息
- 1.8 对Bolt进行单元测试
- 1.9 实现集成测试
- 1.10 将产品部署到集群
- 第2章 日志流处理
- 2.1 简介
- 2.2 创建日志代理
- 2.3 创建日志Spout
- 2.4 基于规则的日志流分析
- 2.5 索引与持久化日志数据
- 2.6 统计与持久化日志统计信息
- 2.7 为日志流集群创建集成测试
- 2.8 创建日志分析面板
- 第3章 使用Trident计算单词重要度
- 3.1 简介
- 3.2 使用Twitter过滤器创建URL流
- 3.3 从文件中获取整洁的词流
- 3.4 计算每个单词的相对重要度
- 第4章 分布式远程过程调用
- 4.1 简介
- 4.2 通过DPRC实现所需处理流程
- 4.3 对Trident Topology进行集成测试
- 4.4 实现滚动窗口Topology
- 4.5 在集成测试中模拟时间
- 第5章 在不同语言中实现Topology
- 5.1 简介
- 5.2 在Qt中实现多语言协议
- 5.3 在Qt中实现SplitSentence Bolt
- 5.4 在Ruby中实现计数 Bolt
- 5.5 在Clojure中实现单词计数Topology
- 第6章 Storm与Hadoop集成
- 6.1 简介
- 6.2 在Hadoop中实现TF-IDF算法
- 6.3 持久化来自Storm的文件
- 6.4 集成批处理与实时视图
- 第7章 实时机器学习
- 7.1 简介
- 7.2 实现事务性Topology
- 7.3 在R中创建随机森林分类模型
- 7.4 基于随机森林的事务流业务分类
- 7.5 在R中创建关联规则模型
- 7.6 创建推荐引擎
- 7.7 实时在线机器学习
- 第8章 持续交付
- 8.1 简介
- 8.2 搭建CI服务器
- 8.3 搭建系统环境
- 8.4 定义交付流水线
- 8.5 实现自动化验收测试
- 第9章 在AWS上部署Storm
- 9.1 简介
- 9.2 使用Pallet在AWS上部署Storm
- 9.3 搭建虚拟私有云
-
9.4 使用Vagrant在虚拟私有云上部署Storm
