Airflowを簡単にインストール

📌 Airflowのインストール

Airflowをローカル環境で簡単にインストールし、WebServerに配置します.

1)仮想環境の作成と実行

操作を実行する前に、その操作に属するパッケージをインストールするための仮想環境を作成することをお勧めします.

pyenv、virtualenvによる仮想環境の作成方法

# python version, 가상환경 이름은 원하는대로 생성
$ pyenv virtualenv {python-version} {가상환경이름}

# 예시
$ pyenv virtualenv 3.8.6 venv-test-airflow

# 가상환경 실행
$ pyenv activate venv-test-airflow

python 3で仮想環境

を作成する方法

# 가상환경 생성
$ python3 -m venv venv-test-airflow

# 가상환경 실행
$ source venv-test-airflow/bin/activate

2）Arflowを取り付ける

仮想環境を実行したらAirflowをインストールします.

$ pip install apache-airflow

3）データベースの初期化

Airflowのデフォルトではsqliteが使用されます.
次のコマンドを実行すると、自分のホームディレクトリに作成されたairflowフォルダが表示されます.

$ airflow db init

4）ユーザーアカウントの作成

Airflow Webサーバを使用するにはアカウントが必要です.

# 계정 생성 명령어 (\ 앞에 띄어쓰기 있어야함)
$ airflow users create \ 
> --username {Login_ID} \
> --firstname {First_NAME} \ 
> --lastname {Last_NAME} \
> --role Admin \              # 해당 부분은 고정
> --password {Password} \
> --email {Email}

# 한줄 명령어
$ airflow users create --username {Login_ID} --firstname {First_NAME} --lastname {Last_NAME} --role Admin --password {Password} --email {Email}

5）Webサーバのオフセット

WebServerを分離しましょう.

# 기본 port = 8080
$ airflow webserver --port 8080

# 이 명령어로 해도 됨.
$ airflow webserver 

コマンドを実行すると、次の画像のように表示され、実行されます.Host部から見ると0.0.0.0:8080であり、気流フォルダにairflow-webserver.pidファイルが生成される.catコマンドでファイルを表示すると、以下の画像基準57313の値が含まれます.

6）スケジューラの実行

Webserverが起動した場合は、その端末を保持し、新しい端末でschedulerを実行します.

$ airflow scheduler

📌 結果

1）Webサーバ実行画面

localhost:8080リンクでアクセスすると、次のページが表示され、4番目に作成されたアカウントにログインします.

では、下の画像のようにDAGを作成していないので、DAGがたくさん存在するのを見ることができます.

2）Example DAGSの削除

DAGを別々にクリックしてコードを表示できるので、気になる人は、これらの例を必要としない人はサンプルDAGを表示することができます.まずAirflowが設定されているairflow.cfgファイルがあるかどうかを確認します.

# airflow 경로로 이동
$ cd ~/airflow

# airflow.cfg 있는지 확인
$ ls airflog.cfg
> airflow.cfg

airflow/airflow.cfgファイルが存在し、ファイルを開いてずっと下を見るとload_examples部分が存在し、True -> Falseに変更されます.

load_examples = Falseに変更してAirflow Webサーバを再リフレッシュすると、次の画像のようにExample DAGSはすべて消えてしまいます.(リフレッシュ後もExmaple DAGSが保持されている場合は、ailflow schedulerを実行する端末を開き、ctrl+cで終了し、ailflow schedulerを再実行します)

📌 の最後の部分

Airflowをローカル環境に簡単にインストールし、Webサーバに分割します.しかし、これは基礎的な部分にすぎず、後でアップグレードを続けます.次の記事が発表される前に、airflow.cfgの文書の中にどんな内容があるかを見てみると、役に立つはずです.
<コメントリンク>

http://airflow.apache.org/docs/apache-airflow/stable/start/local.html