对于UCBerkeleyAMPLab开放源码类HadoopMapReduce来说,ApacheSpark是一个通用并行框架,是一个快速、通用的计算引擎,设计用于大规模数据处理。
spark是目前最流行的统一的批流大数据处理平台。自2014年发布1.2版以来,Spark已成为大数据领域中必不可少的计算组件,近年来Spark发展迅速,社区也十分活跃。Spark已经形成了自己的生态圈,主要包括SparkSQL批量/交互式查询、SparkStreaming流计算、GraphX和MLlib提供的常用图形计算和机器学习算法。
截至目前,Spark 最新发布版本为 2.4.3。
本文来自近期的一次 Spark 内部分享,内容主要包括 Spark RDD 的重点介绍, 以及 Spark 核心模块 DAGScheduler、TaskScheduler、BlockManager 等讲解,内容充实。如下
- Spark简介及总体流程
- Spark核心模块的实现
- Spark应用库
- Spark与Hadoop的区别与联系
- Spark应用