Hadoop生态系统及其版本演化 内容节选
以《互联网日志分析系统》这一大数据应用案例为主线,依次介绍相关的大数据技术,涉及数据收集、储存,数据分析以及可视化,最终会形成一个完整的大数据项目。每个公司都要自己的日记分析系统,大部分系统跟日志分析系统是沾边的。也许相关的周边系统,互联网公司对人才的需求,其中一半是日志相关的需求,日志分析,涉及到分布式的所有系统,包括数据收集、存储,数据分析以及可视化,我们课程紧紧围绕这些模块进行的,以目前最新版的hadoop稳定版2.7.3作为基础,同时兼介绍3.0的特性,只要是2.0以上版本,这个课程所介绍的都适用的。深入浅出介绍Hadoop生态系统原理及应用,包括Hadoop各组件(Flume/HDSF/YARN/Hive/Presto)基本原理、使用方法、实战经验以及在线演示。
基础要求:
1.Linux基础,java语言基础(java是大数据语言,大数据相关的一定要学习java);
2. 项目构建工具,maven一定要知道,学习java的话,maven一定是知道的,
3.集成开发工具eclipse要知道怎么用,intellij idea 也行,一般用eclips4.代码管理工具git,所有代码放在git上,最好git怎么用?