二Azkabanインストール配置
8807 ワード
2.1インストール前準備1)Azkaban Webサーバ、Azkaban実行サーバ、Azkabanのsql実行スクリプトおよびMySQLインストールパッケージをbigdata 111仮想マシン/opt/softwareディレクトリの下1)azkaban-web-server-2.5.00にコピーする.tar.gz 2)azkaban-executor-server-2.5.0.tar.gz 3)azkaban-sql-script-2.5.0.tar.gz 4)mysql-libs.zip 2)AzkabanデータベースとしてMysqlを選択した.Azkabanは、Azkabanの設定を容易にし、サービスの信頼性を向上させるために、いくつかのMysql接続強化機能を確立したからである.2.2 Azkaban 1のインストール)/opt/module/ディレクトリの下にazkabanディレクトリを作成する[itstar@bigdata111 module]$ mkdir azkaban
2)azkaban-web-server-2.5.0を解凍する.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gzから/opt/module/azkabanディレクトリの下[itstar@bigdata111 software]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz -C/opt/module/azkaban/
[itstar@bigdata111 software]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C/opt/module/azkaban/
[itstar@bigdata111 software]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C/opt/module/azkaban/
3)解凍したファイルの名前を変更[itstar@bigdata111 azkaban] mv azkaban-executor-2.5.0/executor
4)azkabanスクリプトインポートmysqlに入り、azkabanデータベースを作成し、解凍したスクリプトをazkabanデータベースにインポートします.
注:sourceのかかと.sqlファイルは、一括処理に用いる.sqlファイルのsql文.2.3鍵ライブラリを生成するKeytoolはjavaデータ証明書の管理ツールであり、ユーザーが自分の公開/秘密鍵ペアおよび関連証明書を管理できるようにする.-keystoreは鍵ライブラリの名前と場所を指定する(生成された各種情報は.keystoreファイルにない)-genkeyはユーザーホームディレクトリにデフォルトファイル「.keystore」-aliasを作成して私たちに生成する.keystoreは別名を指名する.デフォルトがmykey-keyalg指定鍵であるアルゴリズムRSA/DSAデフォルトがDSA 1である場合)keystoreのパスワードおよび対応する情報を生成する鍵ライブラリ[itstar@bigdata111azkaban]$keytool-keystore keystore-alias jetty-genkey-keyalg RSA入力キーストアパスワード:00000再入力新しいパスワード:00000名前と姓は何ですか?[Unknown]:組織名は何ですか.[Unknown]:組織名は何ですか.[Unknown]:あなたの都市または地域名は何ですか.[Unknown]:あなたのいる省/市/自治区の名前は何ですか.[Unknown]:この単位の2文字の国/地域コードは何ですか.[Unknown]:CN=Unknown,OU=Unknown,O=Unknown,L=Unknown,ST=Unknown,C=Unknownは正しいですか?[いいえ]:y
入力したキーパスワード00000(キーストアのパスワードと同じ場合は、車に戻る):新しいパスワードを再入力:00000注意:キーストアのパスワードは少なくとも6文字でなければなりません.純数字やアルファベット、数字とアルファベットの組み合わせなど、キーストアのパスワードと同じであることが望ましいので、記憶しやすい2)keystoreをazkaban webサーバのルートディレクトリにコピーします.
2.4時間同期構成サーバノード上のタイムゾーン1)タイムゾーンプロファイルAsia/shanghaiが/usr/share/zoneinfo/このディレクトリの下に存在しない場合は[itstar@bigdata111 azkaban]$ tzselect Please identify a location so that time zone rules can be set correctly. Please select a continent or ocean. Africa Americas Antarctica Arctic Ocean Asia Atlantic Ocean Australia Europe Indian Ocean Pacific Ocean none - I want to specify the time zone using the Posix TZ format.
? 5
Please select a country. Afghanistan 18) Israel 35) Palestine Armenia 19) Japan 36) Philippines Azerbaijan 20) Jordan 37) Qatar Bahrain 21) Kazakhstan 38) Russia Bangladesh 22) Korea (North) 39) Saudi Arabia Bhutan 23) Korea (South) 40) Singapore Brunei 24) Kuwait 41) Sri Lanka Cambodia 25) Kyrgyzstan 42) Syria China 26) Laos 43) Taiwan Cyprus 27) Lebanon 44) Tajikistan East Timor 28) Macau 45) Thailand Georgia 29) Malaysia 46) Turkmenistan Hong Kong 30) Mongolia 47) United Arab Emirates India 31) Myanmar (Burma) 48) Uzbekistan Indonesia 32) Nepal 49) Vietnam Iran 33) Oman 50) Yemen Iraq 34) Pakistan
? 9
Please select one of the following time zone regions. Beijing Time Xinjiang Time
? 1
The following information has been given:
Therefore TZ='Asia/Shanghai' will be used. Local time is now: Thu Oct 18 16:24:23 CST 2018. Universal Time is now: Thu Oct 18 08:24:23 UTC 2018. Is the above information OK? Yes No
? 1
You can make this change permanent for yourself by appending the line TZ='Asia/Shanghai'; export TZ to the file '.profile' in your home directory; then log out and log in again.
Here is that TZ value again,this time on standard output so that you can use the/usr/bin/tzselect command in shell scripts:Asia/shanghai 2)このタイムゾーンファイルをコピーし、システムのローカルタイムゾーン構成を上書きする
3)クラスタ時間同期(三つのウィンドウに同時に送る)
2.5プロファイル2.5.1 Webサーバ構成1)azkaban Webサーバインストールディレクトリconfディレクトリに入りazkabanを開く.propertiesファイル[itstar@bigdata111 conf] vi azkaban.properties 2)azkabanを以下のように変更する.propertiesファイル.
Azkaban Personalization Settings
サーバUI名、サーバ上に表示される名前
azkaban.name=Test
説明
azkaban.label=My Local Azkaban
UI色
azkaban.color=#FF3601 azkaban.default.servlet.path=/index
デフォルトのWebサーバは、Webファイルを格納するディレクトリ(6行目)
web.resource.dir=/opt/module/azkaban/server/web/
デフォルトタイムゾーンは、アジア/上海のデフォルトに変更されました(7行目)
default.timezone.id=Asia/Shanghai
Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
ユーザ権限管理デフォルトクラス(絶対パス)(11行)
user.manager.xml.file=/opt/module/azkaban/server/conf/azkaban-users.xml
Loader for projects
Globalプロファイルの場所(絶対パス)(14行)
executor.global.properties=/opt/module/azkaban/executor/conf/global.properties azkaban.project.dir=projects
データベースのタイプ
database.type=mysql
ポート番号
mysql.port=3306
データベース接続IP(19行目)
mysql.host=bigdata111
データベース・インスタンス名
mysql.database=azkaban
データベース・ユーザー名(19行-22行)
mysql.user=root
データベースのパスワード
mysql.password=000000
最大接続数
mysql.numconnections=100
Velocity dev mode
velocity.dev.mode=false
Azkaban Jetty server properties.
Jettyサーバーのプロパティ
最大スレッド数
jetty.maxThreads=25
Jetty SSLポート
jetty.ssl.port=8443
Jettyポート
jetty.port=8081
SSLファイル名(絶対パス)(32行-36行)
jetty.keystore=/opt/module/azkaban/server/keystore
SSLファイルのパスワード
jetty.password=000000
Jettyマスターパスワードはkeystoreファイルと同じです
jetty.keypassword=000000
SSLファイル名(絶対パス)
jetty.truststore=/opt/module/azkaban/server/keystore
SSLファイルのパスワード
jetty.trustpassword=000000
Azkaban Executor settings
executor.port=12321
mail settings
mail.sender= mail.host= job.failure.email= job.success.email=
lockdown.create.projects=false Pwd cache.directory=cache 3)webサーバユーザはazkaban webサーバインストールディレクトリconfディレクトリに配置する、以下の構成に従ってazkaban-usersを変更する.xmlファイル、管理者ユーザーを追加します.
2.5.2実行サーバ構成1)実行サーバインストールディレクトリconfに入りazkabanを開く.properties
2)azkabanを以下のように変更する.propertiesファイル.
2.6 executorサーバを起動executorサーバディレクトリの下で起動コマンドを実行する
2.7 webサーバを起動azkaban webサーバディレクトリの下で起動コマンドを実行する
注意:executorを実行してからwebを実行し、Webサーバが見つからないために実行器の起動に失敗しないようにします.jpsビュープロセス[itstar@bigdata111server]$jps 3601 AzkabanExecutorServer 5880 Jps 3661 AzkabanWebServer起動完了後、ブラウザ(Googleブラウザの使用を推奨)にhttp://サーバIPアドレス:8443を入力するとazkabanサービスにアクセスできます.ログインにazkaban-usersと入力します.xmlファイルに新しく追加したユーザー名とパスワード、すなわちadminとadminをクリックし、loginをクリックします.
2)azkaban-web-server-2.5.0を解凍する.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gzから/opt/module/azkabanディレクトリの下[itstar@bigdata111 software]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz -C/opt/module/azkaban/
[itstar@bigdata111 software]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C/opt/module/azkaban/
[itstar@bigdata111 software]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C/opt/module/azkaban/
3)解凍したファイルの名前を変更[itstar@bigdata111 azkaban] mv azkaban-executor-2.5.0/executor
4)azkabanスクリプトインポートmysqlに入り、azkabanデータベースを作成し、解凍したスクリプトをazkabanデータベースにインポートします.
[itstar@bigdata111 azkaban]$ mysql -uroot -p000000
mysql> create database azkaban;
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
注:sourceのかかと.sqlファイルは、一括処理に用いる.sqlファイルのsql文.2.3鍵ライブラリを生成するKeytoolはjavaデータ証明書の管理ツールであり、ユーザーが自分の公開/秘密鍵ペアおよび関連証明書を管理できるようにする.-keystoreは鍵ライブラリの名前と場所を指定する(生成された各種情報は.keystoreファイルにない)-genkeyはユーザーホームディレクトリにデフォルトファイル「.keystore」-aliasを作成して私たちに生成する.keystoreは別名を指名する.デフォルトがmykey-keyalg指定鍵であるアルゴリズムRSA/DSAデフォルトがDSA 1である場合)keystoreのパスワードおよび対応する情報を生成する鍵ライブラリ[itstar@bigdata111azkaban]$keytool-keystore keystore-alias jetty-genkey-keyalg RSA入力キーストアパスワード:00000再入力新しいパスワード:00000名前と姓は何ですか?[Unknown]:組織名は何ですか.[Unknown]:組織名は何ですか.[Unknown]:あなたの都市または地域名は何ですか.[Unknown]:あなたのいる省/市/自治区の名前は何ですか.[Unknown]:この単位の2文字の国/地域コードは何ですか.[Unknown]:CN=Unknown,OU=Unknown,O=Unknown,L=Unknown,ST=Unknown,C=Unknownは正しいですか?[いいえ]:y
入力したキーパスワード00000(キーストアのパスワードと同じ場合は、車に戻る):新しいパスワードを再入力:00000注意:キーストアのパスワードは少なくとも6文字でなければなりません.純数字やアルファベット、数字とアルファベットの組み合わせなど、キーストアのパスワードと同じであることが望ましいので、記憶しやすい2)keystoreをazkaban webサーバのルートディレクトリにコピーします.
[itstar@bigdata111 azkaban]$ mv keystore /opt/module/azkaban/server/
2.4時間同期構成サーバノード上のタイムゾーン1)タイムゾーンプロファイルAsia/shanghaiが/usr/share/zoneinfo/このディレクトリの下に存在しない場合は[itstar@bigdata111 azkaban]$ tzselect Please identify a location so that time zone rules can be set correctly. Please select a continent or ocean.
? 5
Please select a country.
? 9
Please select one of the following time zone regions.
? 1
The following information has been given:
China
Beijing Time
Therefore TZ='Asia/Shanghai' will be used. Local time is now: Thu Oct 18 16:24:23 CST 2018. Universal Time is now: Thu Oct 18 08:24:23 UTC 2018. Is the above information OK?
? 1
You can make this change permanent for yourself by appending the line TZ='Asia/Shanghai'; export TZ to the file '.profile' in your home directory; then log out and log in again.
Here is that TZ value again,this time on standard output so that you can use the/usr/bin/tzselect command in shell scripts:Asia/shanghai 2)このタイムゾーンファイルをコピーし、システムのローカルタイムゾーン構成を上書きする
[itstar@bigdata111 azkaban]$ cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3)クラスタ時間同期(三つのウィンドウに同時に送る)
[itstar@bigdata111 azkaban]$ sudo date -s '2019-05-20 20:39:30'
2.5プロファイル2.5.1 Webサーバ構成1)azkaban Webサーバインストールディレクトリconfディレクトリに入りazkabanを開く.propertiesファイル[itstar@bigdata111 conf] vi azkaban.properties 2)azkabanを以下のように変更する.propertiesファイル.
Azkaban Personalization Settings
サーバUI名、サーバ上に表示される名前
azkaban.name=Test
説明
azkaban.label=My Local Azkaban
UI色
azkaban.color=#FF3601 azkaban.default.servlet.path=/index
デフォルトのWebサーバは、Webファイルを格納するディレクトリ(6行目)
web.resource.dir=/opt/module/azkaban/server/web/
デフォルトタイムゾーンは、アジア/上海のデフォルトに変更されました(7行目)
default.timezone.id=Asia/Shanghai
Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
ユーザ権限管理デフォルトクラス(絶対パス)(11行)
user.manager.xml.file=/opt/module/azkaban/server/conf/azkaban-users.xml
Loader for projects
Globalプロファイルの場所(絶対パス)(14行)
executor.global.properties=/opt/module/azkaban/executor/conf/global.properties azkaban.project.dir=projects
データベースのタイプ
database.type=mysql
ポート番号
mysql.port=3306
データベース接続IP(19行目)
mysql.host=bigdata111
データベース・インスタンス名
mysql.database=azkaban
データベース・ユーザー名(19行-22行)
mysql.user=root
データベースのパスワード
mysql.password=000000
最大接続数
mysql.numconnections=100
Velocity dev mode
velocity.dev.mode=false
Azkaban Jetty server properties.
Jettyサーバーのプロパティ
最大スレッド数
jetty.maxThreads=25
Jetty SSLポート
jetty.ssl.port=8443
Jettyポート
jetty.port=8081
SSLファイル名(絶対パス)(32行-36行)
jetty.keystore=/opt/module/azkaban/server/keystore
SSLファイルのパスワード
jetty.password=000000
Jettyマスターパスワードはkeystoreファイルと同じです
jetty.keypassword=000000
SSLファイル名(絶対パス)
jetty.truststore=/opt/module/azkaban/server/keystore
SSLファイルのパスワード
jetty.trustpassword=000000
Azkaban Executor settings
executor.port=12321
mail settings
mail.sender= mail.host= job.failure.email= job.success.email=
lockdown.create.projects=false Pwd cache.directory=cache 3)webサーバユーザはazkaban webサーバインストールディレクトリconfディレクトリに配置する、以下の構成に従ってazkaban-usersを変更する.xmlファイル、管理者ユーザーを追加します.
[root@bigdata111 conf]# pwd
/opt/module/azkaban/server/conf
[itstar@bigdata111 conf]$ vi azkaban-users.xml
2.5.2実行サーバ構成1)実行サーバインストールディレクトリconfに入りazkabanを開く.properties
[itstar@bigdata111 conf]$ pwd
/opt/module/azkaban/executor/conf
[itstar@bigdata111 conf]$ vim azkaban.properties
2)azkabanを以下のように変更する.propertiesファイル.
#Azkaban
#
default.timezone.id=Asia/Shanghai
# Azkaban JobTypes Plugins
#jobtype
azkaban.jobtype.plugin.dir=plugins/jobtypes
#Loader for projects
executor.global.properties=/opt/module/azkaban/executor/conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=bigdata111
mysql.database=azkaban
mysql.user=root
mysql.password=000000
mysql.numconnections=100
# Azkaban Executor settings
#
executor.maxThreads=50
# ( , web )
executor.port=12321
#
executor.flow.threads=30
2.6 executorサーバを起動executorサーバディレクトリの下で起動コマンドを実行する
[itstar@bigdata111 executor]$ pwd
/opt/module/azkaban/executor
[itstar@bigdata111 executor]$ bin/azkaban-executor-start.sh
2.7 webサーバを起動azkaban webサーバディレクトリの下で起動コマンドを実行する
[itstar@bigdata111 server]$ pwd
/opt/module/azkaban/server
[itstar@bigdata111 server]$ bin/azkaban-web-start.sh
注意:executorを実行してからwebを実行し、Webサーバが見つからないために実行器の起動に失敗しないようにします.jpsビュープロセス[itstar@bigdata111server]$jps 3601 AzkabanExecutorServer 5880 Jps 3661 AzkabanWebServer起動完了後、ブラウザ(Googleブラウザの使用を推奨)にhttp://サーバIPアドレス:8443を入力するとazkabanサービスにアクセスできます.ログインにazkaban-usersと入力します.xmlファイルに新しく追加したユーザー名とパスワード、すなわちadminとadminをクリックし、loginをクリックします.