《Flume：构建高可用、可扩展的海量日志采集系统》从Flume 的基本概念和设计原理开始讲解，分别介绍了不同种类的组件、如何配置组件、如何运行Flume Agent 等。同时，分别讨论Source、Channel 和Sink 三种核心组件，不仅仅阐述每个组件的基本概念，而且结合实际的编程案例，深入、全面地介绍每个组件的详细用法，并且这部分内容也是整个Flume 框架的重中之重。之后，讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容，它们为Flume 提供灵活的扩展支持。最后，介绍了Flume 的高级使用，如何使用Flume 软件开发工具集（SDK）和Embedded Agent API，如何设计、部署和监控Flume 生产集群。
总而言之，《Flume：构建高可用、可扩展的海量日志采集系统》是一本理论结合实战，深度、广度兼备的海量日志采集系统的著作。
目录
- 译者序 v
- 序 xiii
- 前言 x
- 第1 章 认识Apache Hadoop 和Apache HBase 1
- 分布式文件系统HDFS 1
- HDFS 的数据格式 3
- 处理HDFS 中的数据 4
- Apache HBase 4
- 总结 5
- 参考文献 6
- 第2 章 用Apache Flume 处理流数据 7
- 我们需要Flume 7
- Flume 是否适合呢？ 9
- Flume Agent 内部原理 10
- 配置Flume Agent 13
- Flume Agent 之间的相互通信 17
- 复杂的流 17
- 复制数据到不同目的地 20
- 动态路由 21
- Flume 的无数据丢失保证，Channel 和事务 22
- Flume Channel 中的事务 23
- Agent 失败和数据丢失 25
- 批量的重要性 26
- 重复怎么样？ 27
- 运行Flume Agent 27
- 总结 29
- 参考文献 30
- 第3 章 源（Source） 31
- Source 的生命周期 31
- Sink-to-Source 通信 33
- Avro Source 34
- Thrift Source 37
- RPC Sources 的失败处理 39
- HTTP Source 40
- 针对HTTP Source 写处理程序* 42
- Spooling Directory Source 47
- 使用Deserializers 读取自定义格式* 50
- Spooling Directory Source 性能55
- Syslog Source 55
- Exec Source 59
- JMS Source 61
- 转换JMS 消息为Flume 事件* 63
- 编写自定义Source* 65
- Event-Driven Source 和Pollable Source 66
- 总结 73
- 参考文献 73
- 第4 章 Channel 75
- 事务工作流 76
- Flume 自带的Channel 78
- Memory Channel 78
- File Channel 80
- 总结 86
- 参考文献 86
- 第5 章 Sink 87
- Sink 的生命周期 88
- 优化Sink 的性能 89
- 写入到HDFS ：HDFS Sink 89
- 理解Bucket 90
- 配置HDFS Sink 93
- 使用序列化器控制数据格式* 100
- HBase Sink 106
- 用序列化器将Flume 事件转换成HBase Put 和Increment* 108
- RPC Sink 113
- Avro Sink 113
- Thrift Sink 115
- Morphline Solr Sink 116
- Elastic Search Sink 119
- 自定义数据格式* 121
- 其他Sink ：Null Sink、Rolling File Sink 和Logger Sink 124
- 编写自定义Sink* 125
- 总结 129
- 参考文献 129
- 第6 章 拦截器、Channel 选择器、Sink 组和
- Sink 处理器 131
- 拦截器 131
- 时间戳拦截器 132
- 主机拦截器 133
- 静态拦截器 133
- 正则过滤拦截器 134
- Morphline 拦截器 135
- UUID 拦截器 136
- 编写拦截器* 137
- Channel 选择器 140
- 复制Channel 选择器 140
- 多路复用Channel 选择器 141
- 自定义Channel 选择器* 144
- Sink 组和Sink 处理器 146
- Load-Balancing Sink 处理器 148
- Failover Sink 处理器 151
- 总结 153
- 参考文献 154
- 第7 章 发送数据到Flume* 155
- 构建Flume 事件 155
- Flume 客户端SDK 156
- 创建Flume RPC 客户端 157
- RPC 客户端接口 157
- 所有RPC 客户端的公共配置参数 158
- 默认RPC 客户端 165
- Load-Balancing RPC 客户端 168
- Failover RPC 客户端 171
- Thrift RPC 客户端 172
- 嵌入式Agent 173
- 配置嵌入式Agent 175
- log4j Appender 180
- Load-Balancing log4j Appender 181
- 总结 182
- 参考文献 183
- 第8 章 规划、部署和监控Flume 185
- 规划一个Flume 部署 185
- 修复时间 185
- 我的Flume Channel 需要多少容量？ 186
- 多少层？ 186
- 通过跨数据中心链接发送数据 188
- 层分片 190
- 部署Flume 191
- 部署自定义代码 191
- 监控Flume 193
- 从自定义组件报告度量 196
- 总结 196
- 参考文献 196
- 索引 197
