读群体 :这书合适用户包含:高等院校老师学生及公司中从业分布式计算的工程师职称、系统架构师及技术性管理人员等。
“授人以鱼比不上授之以渔”,这书是创作者以这般初衷写出的,关键参照当今流行分布式系统即时测算架构Storm的每日任务派发和Spark Streaming的Mini-Batch布置观念,及其最底层保持技术性,开源系统了创作者研发的轻巧分布式系统即时测算架构——Light_drtc,而且重中之重详细介绍布置观念和有关保持技术性(Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES/SolrCloud、Thrift、Avro、Jetty),最终从工程项目视角向大伙儿详细介绍详细的智能推荐系统软件,并案例详细介绍Light_drtc在客户画像自动更新的运用。这书叙述通俗易懂,期待用户了解分布式系统即时测算的保持基本原理,并迅速入门处理具体难题。
目录
- 专家力荐
- 前言
- 第1章 分布式实时计算框架介绍
- 1.1 分布式计算Hadoop
- 1.2 分布式实时计算
- 1.2.1 Spark Streaming
- 1.2.2 Storm
- 1.2.3 其他框架
- 1.3 为什么自研
- 1.4 总结
- 第2章 light_drtc简介及使用说明
- 2.1 light_drtc框架简介
- 2.2 light_drtc代码结构
- 2.3 light_drtc重要配置项
- 2.4 light_drtc和Storm比较
- 2.5 light_drtc使用说明
- 2.5.1 ACN(AN和CN整合)作为独立服务
- 2.5.2 CN、AN作为独立服务
- 2.5.3 任务计算JN
- 2.6 总结
- 第3章 light_drtc核心技术实现
- 3.1 light_drtc技术架构
- 3.2 light_drtc计算框架设计思想
- 3.2.1 CN设计思想
- 3.2.2 AN多主模式设计思想
- 3.2.3 JN设计思想
- 3.3 light_drtc核心技术的实现
- 3.3.1 实时收集数据CN
- 3.3.2 任务协调管理AN
- 3.3.3 任务计算JN
- 3.4 总结
- 第4章 消息队列MQ
- 4.1 消息队列使用场景
- 4.2 消息队列原理
- 4.2.1 MQ使用流程
- 4.2.2 MQ基本概念
- 4.2.3 MQ通信模式
- 4.2.4 目前知名MQ比较
- 4.3 MQ消费状态监控
- 4.3.1 KafkaOffsetMonitor介绍
- 4.3.2 KafkaOffsetMonitor部署
- 4.4 RabbitMQ和Kafka的基本使用
- 4.4.1 RabbitMQ读写实例
- 4.4.2 Kafka读写实例
- 4.5 总结
- 第5章 内存数据库Redis3.0及SSDB
- 5.1 Redis相关介绍
- 5.1.1 Redis3.0集群架构
- 5.1.2 Redis3.0集群选举与容错
- 5.1.3 SSDB简介
- 5.2 Redis3.0集群搭建
- 5.2.1 集群所依赖的Ruby环境
- 5.2.2 Redis集群创建
- 5.2.3 Redis集群验证
- 5.2.4 SSDB简单部署
- 5.3 Redis管理及使用
- 5.3.1 Redis基本使用
- 5.3.2 Redis管理
- 5.4 Redis客户端应用
- 5.4.1 Redis3.0客户端
- 5.4.2 SSDB客户端
- 5.5 本地缓存Guava Cache
- 5.5.1 认识Guava Cache
- 5.5.2 Guava Cache使用
- 5.5.3 Java客户端使用
- 5.6 总结
- 第6章 NoSQL:MongoDB3.0和HBase1.0
- 6.1 MongoDB3.0和HBase1.0新特性
- 6.1.1 MongoDB3.0新特性
- 6.1.2 HBase1.0新特性
- 6.1.3 MongoDB和HBase比较
- 6.2 MongoDB3.0集群和索引
- 6.2.1 MongoDB3.0集群
- 6.2.2 Mongo索引介绍
- 6.3 HBase底层实现介绍
- 6.3.1 HBase相关Hadoop体系
- 6.3.2 HBase系统架构
- 6.4 Mongo和HBase客户端使用
- 6.4.1 Mongo客户端
- 6.4.2 HBase客户端
- 6.5 总结
- 第7章 全文检索:ElasticSearch2.x
- 7.1 认识ElasticSearch和Solr
- 7.1.1 ElasticSearch和Solr基本介绍
- 7.1.2 ES基本概念
- 7.1.3 ES和SolrCloud集群结构
- 7.1.4 ES使用案例
- 7.2 ES和Solr比较分析
- 7.2.1 ES和Solr发展比较
- 7.2.2 ES和Solr综合比较
- 7.3 ES集群介绍
- 7.3.1 插件安装
- 7.3.2 中文分词安装
- 7.3.3 ES2.X集群节点类型
- 7.3.4 ES配置事项
- 7.4 ES客户端使用
- 7.4.1 ES客户端连接
- 7.4.2 ES基本操作
- 7.4.3 ES高级使用
- 7.5 ES在自研框架中的作用
- 7.6 总结
- 第8章 微服务架构通信——RPC和Web Service
- 8.1 微服务架构由来
- 8.1.1 微服务与SOA比较
- 8.1.2 微服务架构的优缺点
- 8.1.3 微服务雪崩效应的防范
- 8.2 RPC介绍及实践
- 8.2.1 Thrift/Nifty介绍
- 8.2.2 Avro介绍
- 8.2.3 Dubbo/Dubbox介绍
- 8.2.4 GRPC/ProtoBuf介绍
- 8.2.5 ZeroC ICE
- 8.3 Web Service介绍及实践
- 8.3.1 SOAP和Rest
- 8.3.2 JWS(JDK自身实现Web Service)
- 8.3.3 Jetty:嵌入式Servlet容器
- 8.3.4 基于Spring MVC
- 8.3.5 其他Web Service框架
- 8.4 总结
- 第9章 综合实例:新闻推荐中的用户画像近实时更新
- 9.1 个性化推荐系统组成
- 9.1.1 用户行为收集
- 9.1.2 行为日志解析
- 9.1.3 常用推荐算法
- 9.1.4 用户画像数据仓库
- 9.1.5 元数据索引库
- 9.1.6 用户推荐服务
- 9.2 新闻推荐中用户画像近实时更新设计
- 9.2.1 新闻推荐中用户画像构成
- 9.2.2 新闻推荐中用户画像标签数据字典
- 9.2.3 新闻推荐用户画像实时更新流程
- 9.3 新闻推荐用户画像近实时更新技术实现
- 9.3.1 Storm接入Kafka实时计算实例
- 9.3.2 Spark Streaming 接入Kafka实时计算实例
- 9.3.3 Light_drtc接入Kafka
- 9.3.4 用户画像实时更新核心实现
- 9.4 总结