azkaban编译以及安装(调度系统)

编译源码

下载azkaban源码

git clone https://github.com/azkaban/azkaban.git

jdk要求是1.8以上版本

export JAVA_HOME=/home/work/app/presto-admin/package/jdk1.8.0_74

export PATH=$JAVA_HOME/bin:$PATH

编译

# Build Azkaban

./gradlew build

# Clean the build

./gradlew clean

# Build and install distributions

./gradlew installDist

# Run tests

./gradlew test

# Build without running tests

./gradlew build -x tes

安装

安装包路径

ls azkaban/azkaban-solo-server/build/distributions


azkaban-solo-server-3.33.0-25-g3318803.tar.gz

azkaban-solo-server-3.33.0-25-g3318803.zip

解压

tar -zxvf azkaban-solo-server-3.33.0-25-g3318803.tar.gz

采用默认数据库启动

启动的时候要在azkaban的根部下启动

cd azkaban-solo-server-3.33.0-25-g3318803

启动
./bin/azkaban-solo-start.sh &

停止

./bin/azkaban-solo-shutdown.sh

登录控制台

默认端口是8081

用户名:azkban

密码:azkaban

配置mysql数据库

修改conf/azkaban.properties

修改数据库类型,将之前的h2改成mysql

vi conf/azkaban.properties


#database.type=h2#h2.path=./h2#h2.create.tables=true# Velocity dev mode



database.type=mysql

mysql.port=3306

mysql.host=localhost

mysql.database=azkaban

mysql.user=azkaban

mysql.password=123456

mysql.numconnections=100

创建数据库,表以及用户

创建用户以及数据库

CREATE DATABASE azkaban;

CREATE USER 'azkaban'@'%' IDENTIFIED BY '123456';

GRANT ALL ON azkaban.* to 'azkaban'@'localhost' IDENTIFIED BY '123456';

GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

初始化表结构

建表语句在编译后的如下路径:

azkaban/azkaban-db/build/sql/create-all-sql-3.33.0-25-g3318803.sql


mysql> source /home/work/app/azkaban/azkaban-db/build/sql/create-all-sql-3.33.0-25-g3318803.sql;

ERROR 1060 (42S21): Duplicate column name 'resource_id'

Duplicate column name ‘resource_id’这个错误是执行如下语句产生的:

ALTER TABLE project_versions ADD resource_id VARCHAR(512);

但是表resource_id中已经有resource_id这个字段,也是醉醉的

启动

SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;

CREATE DATABASE azkaban DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

grant select,insert,update,delete on azkaban.* to azkaban@'%' identified by 'azkaban';

mysql> source /opt/azkaban/azkaban/azkaban-db/build/sql/create-all-sql-3.52.0-5-g2cc9479.sql 加载所有的表，不然后续azkaban web无法使用。

azkaban文档https://azkaban.readthedocs.io/en/latest/getStarted.html

参考文档：

https://blog.csdn.net/woloqun/article/details/77247332