当前位置：主页 > 技术文档 > Azkaban 下载

Azkaban操作指南高清版

更新：2020-10-13 09:21:54
大小：3.6 MB
热度：914
审核：关嘉纳
类别：技术文章
格式：PDF

资源介绍
相关推荐

最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强，总结下真个操作过程。在总结整个操作过程之前先简单描述下工作流调度系统的优势。

1、工作流调度系统的优势

一个完整的数据分析系统通常都是由大量任务单元组成：

shell脚本程序，java程序，mapreduce程序、hive脚本等

各任务单元之间存在时间先后及前后依赖关系

为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

通过Hadoop先将原始数据同步到HDFS上；

借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；

需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；

将明细数据进行复杂的统计分析，得到结果报表信息；

需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

以上整个流程组成了我们的一个job，如果采用传统的linux定时任务去处理这个流程的话，存在一个巨大的隐患，job失败率很高，流程无法控制，没有预警机制。所以类似的这种工作流调度器的工具就应运而生！

资源下载

资源下载地址1：https://pan.baidu.com/s/1N8fmoIvP_Cli5dYK4Z6OVA

网友留言

燕舒云 2020-10-13 10:10:13

Azkaban Hadoop批处理调度器

Azkaban是个简单的批处理调度器，用来构建和运行Hadoop作业或其他脱机过程。

特性：

兼容所有版本的 Hadoop

基于 Web 的易用 UI

简单的 Web 和 HTTP 工作流上传

项目工作空间

工作流调度

模块化和插件化

支持认证和授权

可跟踪用户行为

失败和成功时的邮件提醒

SLA 警告和自动终止

失败作业的重试

汲桑朵 2020-10-13 10:08:29

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

1. 安装

准备工作

azkaban-web-server-2.5.0.tar.gz
azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz

其中，azkaban-web-server-2.5.0.tar.gz是服务器，azkaban-executor-server-2.5.0.tar.gz是执行服务器，azkaban-sql-script-2.5.0.tar.gz是执行的sql脚本。

2. mysql创建表

分别把他们解压安装后。我们还需要在mysql中创建数据库，然后运行azkaban提供的sql脚本来创建azkaban所需要的表。

mysql -uroot -p
mysql> create database azkaban;
mysql> use azkaban;
Database changed
mysql> source /home/fantj/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;
mysql> show tables;
+------------------------+
| Tables_in_azkaban      |
+------------------------+
| active_executing_flows |
| active_sla             |
| execution_flows        |
| execution_jobs         |
| execution_logs         |
| project_events         |
| project_files          |
| project_flows          |
| project_permissions    |
| project_properties     |
| project_versions       |
| projects               |
| properties             |
| schedules              |
| triggers               |
+------------------------+
15 rows in set (0.00 sec)