Kafka入门与实践 PDF 高质量版

Kafka*初是由LinkedIn企业开发的信息系统软件，如今已变成Apache的开源系统项目。初期版本号的Kafka关键是做为一个分布式系统、可系统分区和具备团本的信息系统软件，伴随着版本号的持续迭代更新，在0.10.x版本号以后Kafka已变成一个分布式系统流数据处理方法服务平台，非常是KafkaStreams的出現，促使Kafka热对流数据处理方法变得越来越简易。Kafka发展趋势迄今已具有许多 特点，如分布式系统、高货运量、低延迟时间、高质量可扩展性、高容错性等，也更是因为Kafka具有这种特点，使Kafka在大数据处理、系统日志搜集、实时监控系统、线下数据分析等应用领域都被普遍应用。这书內容依照从抽象性到实际、从点后线再到面的学习培训思维方式开展编辑，循序渐进、理论研究紧密结合地对Kafka开展了解读和解析。分析Kafka保持基本原理时，Kafka关键部件各成一节；解读Kafka操作过程及运用实践活动时，从简易实际操作扩展到高級运用。本书的各章中间沒有较强的相互依赖，阅读者能够 从在其中一切一章开始阅读。这书虽合适做为新手入门书藉，但其主题鲜明又无失深层，既深层次分析了Kafka关键基本原理，又偏重于操作过程实战演练。阅读文章这书阅读者不但能够 把握怎样运用Kafka，更关键的是可以掌握Kafka特性提升和Kafka有关作用更新改造层面的方式和基础理论。这书是根据Kafka的0.10.1.1版本号撰写的。

目录

• 第1章　Kafka简介 1
• 1.1　Kafka背景 1
• 1.2　Kafka基本结构 2
• 1.3　Kafka基本概念 2
• 1.4　Kafka设计概述 6
• 1.4.1　Kafka设计动机 6
• 1.4.2　Kafka特性 6
• 1.4.3　Kafka应用场景 8
• 1.5　本书导读 9
• 1.6　小结 9
• 第2章　Kafka安装配置 11
• 2.1　基础环境配置 11
• 2.1.1　JDK安装配置 11
• 2.1.2　SSH安装配置 13
• 2.1.3　ZooKeeper环境 15
• 2.2　Kafka单机环境部署 18
• 2.2.1　Windows环境安装Kafka 19
• 2.2.2　Linux环境安装Kafka 19
• 2.3　Kafka伪分布式环境部署 21
• 2.4　Kafka集群环境部署 22
• 2.5　Kafka Manager安装 22
• 2.6　Kafka源码编译 25
• 2.6.1　Scala安装配置 25
• 2.6.2　Gradle安装配置 26
• 2.6.3　Kafka源码编译 26
• 2.6.4　Kafka导入Eclipse 30
• 2.7　小结 31
• 第3章　Kafka核心组件 33
• 3.1　延迟操作组件 33
• 3.1.1　DelayedOperation 33
• 3.1.2　DelayedOperationPurgatory 35
• 3.1.3　DelayedProduce 36
• 3.1.4　DelayedFetch 38
• 3.1.5　DelayedJoin 38
• 3.1.6　DelayedHeartbeat 39
• 3.1.7　DelayedCreateTopics 40
• 3.2　控制器 40
• 3.2.1　控制器初始化 41
• 3.2.2　控制器选举过程 46
• 3.2.3　故障转移 48
• 3.2.4　代理上线与下线 49
• 3.2.5　主题管理 51
• 3.2.6　分区管理 54
• 3.3　协调器 58
• 3.3.1　消费者协调器 58
• 3.3.2　组协调器 60
• 3.4　网络通信服务 64
• 3.4.1　Acceptor 65
• 3.4.2　Processor 66
• 3.4.3　RequestChannel 68
• 3.4.4　SocketServer启动过程 69
• 3.5　日志管理器 70
• 3.5.1　Kafka日志结构 70
• 3.5.2　日志管理器启动过程 77
• 3.5.3　日志加载及恢复 79
• 3.5.4　日志清理 80
• 3.6　副本管理器 84
• 3.6.1　分区 86
• 3.6.2　副本 88
• 3.6.3　副本管理器启动过程 89
• 3.6.4　副本过期检查 90
• 3.6.5　追加消息 92
• 3.6.6　拉取消息 95
• 3.6.7　副本同步过程 97
• 3.6.8　副本角色转换 99
• 3.6.9　关闭副本 101
• 3.7　Handler 103
• 3.8　动态配置管理器 104
• 3.9　代理健康检测 106
• 3.10　Kafka内部监控 107
• 3.11　小结 110
• 第4章　Kafka核心流程分析 111
• 4.1　KafkaServer启动流程分析 111
• 4.2　创建主题流程分析 115
• 4.2.1　客户端创建主题 115
• 4.2.2　分区副本分配 117
• 4.3　生产者 121
• 4.3.1　Eclipse运行生产者源码 121
• 4.3.2　生产者重要配置说明 123
• 4.3.3　OldProducer执行流程 124
• 4.3.4　KafkaProducer实现原理 127
• 4.4　消费者 140
• 4.4.1　旧版消费者 140
• 4.4.2　KafkaConsumer初始化 140
• 4.4.3　消费订阅 144
• 4.4.4　消费消息 145
• 4.4.5　消费偏移量提交 149
• 4.4.6　心跳探测 150
• 4.4.7　分区数与消费者线程的关系 151
• 4.4.8　消费者平衡过程 153
• 4.5　小结 154
• 第5章　Kafka基本操作实战 155
• 5.1　KafkaServer管理 155
• 5.1.1　启动Kafka单个节点 155
• 5.1.2　启动Kafka集群 159
• 5.1.3　关闭Kafka单个节点 160
• 5.1.4　关闭Kafka集群 161
• 5.2　主题管理 162
• 5.2.1　创建主题 162
• 5.2.2　删除主题 164
• 5.2.3　查看主题 165
• 5.2.4　修改主题 166
• 5.3　生产者基本操作 168
• 5.3.1　启动生产者 168
• 5.3.2　创建主题 169
• 5.3.3　查看消息 170
• 5.3.4　生产者性能测试工具 170
• 5.4　消费者基本操作 174
• 5.4.1　消费消息 174
• 5.4.2　单播与多播 179
• 5.4.3　查看消费偏移量 181
• 5.4.4　消费者性能测试工具 183
• 5.5　配置管理 183
• 5.5.1　主题级别配置 184
• 5.5.2　代理级别设置 185
• 5.5.3　客户端/用户级别配置 187
• 5.6　分区操作 188
• 5.6.1　分区Leader平衡 188
• 5.6.2　分区迁移 190
• 5.6.3　增加分区 194
• 5.6.4　增加副本 195
• 5.7　连接器基本操作 198
• 5.7.1　独立模式 198
• 5.7.2　REST风格API应用 201
• 5.7.3　分布式模式 204
• 5.8　Kafka Manager应用 209
• 5.9　Kafka安全机制 211
• 5.9.1　利用SASL/PLAIN进行身份认证 212
• 5.9.2　权限控制 215
• 5.10　镜像操作 218
• 5.11　小结 219
• 第6章　Kafka API编程实战 221
• 6.1　主题管理 222
• 6.1.1　创建主题 222
• 6.1.2　修改主题级别配置 223
• 6.1.3　增加分区 224
• 6.1.4　分区副本重分配 224
• 6.1.5　删除主题 225
• 6.2　生产者API应用 225
• 6.2.1　单线程生产者 226
• 6.2.2　多线程生产者 231
• 6.3　消费者API应用 233
• 6.3.1　旧版消费者API应用 233
• 6.3.2　新版消费者API应用 239
• 6.4　自定义组件实现 247
• 6.4.1　分区器 247
• 6.4.2　序列化与反序列化 249
• 6.5　Spring与Kafka整合应用 257
• 6.5.1　生产者 259
• 6.5.2　消费者 263
• 6.6　小结 266
• 第7章　Kafka Streams 267
• 7.1　Kafka Streams简介 267
• 7.2　Kafka Streams基本概念 268
• 7.2.1　流 268
• 7.2.2　流处理器 268
• 7.2.3　处理器拓扑 268
• 7.2.4　时间 269
• 7.2.5　状态 270
• 7.2.6　KStream和KTable 270
• 7.2.7　窗口 271
• 7.3　Kafka Streams API介绍 272
• 7.3.1　KStream与KTable 272
• 7.3.2　窗口操作 274
• 7.3.3　连接操作 275
• 7.3.4　变换操作 277
• 7.3.5　聚合操作 279
• 7.4　接口恶意访问自动检测 281
• 7.4.1　应用描述 281
• 7.4.2　具体实现 282
• 7.5　小结 285
• 第8章　Kafka数据采集应用 287
• 8.1　Log4j集成Kafka应用 287
• 8.1.1　应用描述 287
• 8.1.2　具体实现 287
• 8.2　Kafka与Flume整合应用 289
• 8.2.1　Flume简介 290
• 8.2.2　Flume与Kafka比较 291
• 8.2.3　Flume的安装配置 291
• 8.2.4　Flume采集日志写入Kafka 293
• 8.3　Kafka与Flume和HDFS整合应用 294
• 8.3.1　Hadoop安装配置 295
• 8.3.2　Flume采集Kafka消息写入HDFS 298
• 8.4　小结 301
• 第9章　Kafka与ELK整合应用 303
• 9.1　ELK环境搭建 304
• 9.1.1　Elasticsearch安装配置 304
• 9.1.2　Logstash安装配置 307
• 9.1.3　Kibana安装配置 308
• 9.2　Kafka与Logstash整合 309
• 9.2.1　Logstash收集日志到Kafka 309
• 9.2.2　Logstash从Kafka消费日志 310
• 9.3　日志采集分析系统 312
• 9.3.1　Flume采集日志配置 312
• 9.3.2　Logstash拉取日志配置 313
• 9.3.3　Kibana日志展示 314
• 9.4　服务器性能监控系统 315
• 9.4.1　Metricbeat安装 316
• 9.4.2　采集信息存储到Elasticsearch 316
• 9.4.3　加载beats-dashboards 318
• 9.4.4　服务器性能监控系统具体实现 318
• 9.5　小结 321
• 第10章　Kafka与Spark整合应用 323
• 10.1　Spark简介 323
• 10.2　Spark基本操作 324
• 10.2.1　Spark安装 325
• 10.2.2　Spark shell应用 326
• 10.2.3　spark-submit提交作业 327
• 10.3　Spark在智能投顾领域应用 328
• 10.3.1　应用描述 328
• 10.3.2　具体实现 329
• 10.4　热搜词统计 334
• 10.4.1　应用描述 334
• 10.4.2　具体实现 335
• 10.5　小结 340