Spark内核机制解析及性能调优致力于Spark内核的深入解析,带领读者掌握Spark内核的各个关键知识点。具体内容由详细讲述RDD提供的功能以及内部实现的机制开始,通过源码引导读者深入理解Spark的集群部署的内部机制、Spark内部调度的机制、Executor的内部机制、Shuffle的内部机制,进而讲述Tungsten的内部机制,接着又进一步深入分析了SparkStreaming的内部机制。本书的后部分,是任何Spark应用者都非常关注的Spark性能调优的内容。本书可以使读者对Spark内核有更深入彻底的理解,从而实现对Spark系统深度调优、Spark生产环境下故障的定位和排除、Spark的二次开发和系统高级运维。本书的每章开篇均有重点介绍以引导读者有目的有重点的阅读或查阅。
本书适合于对大数据开发有兴趣的在校学生。同时,对有分布式计算框架应用经验的人员,本书也可以作为Spark源码解析的参考书籍。
目录
- 第1章RDD功能解析
- 第2章RDD的运行机制
- 第3章部署模式(Deploy)解析
- 第4章Spark调度器(Scheduler)运行机制
- 第5章执行器(Executor)
- 第6章Spark的存储模块(Storage)
- 第7章Shuffle机制
- 第8章钨丝计划(Project Tungsten)
- 第9章性能优化