Oozie shell script action
1990 ワード
本稿では,実際の操作でoozieを用いてタスクスケジューリングを行い,actionでPythonスクリプトを呼び出す.
workflow.xmlの構成は次のとおりです.
ここで注意しなければならないのはpyファイルではimportまたはfromを使用できます...importはPythonシステムからpyファイルをインポートするが、自分で書いたpyファイルについてはtest.pyではインポートが実行できません.この問題はまだ解決策が見つかりません.
workflow.xmlの構成は次のとおりです.
${jobTracker}
${nameNode}
mapred.job.queue.name
${queueName}
test.py
test.py
[email protected]
[email protected]
Email notifications for ${wf:id()}
The wf ${wf:id()} successfully completed.
Python action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
job.propertiesファイルの構成は次のとおりです.nameNode=hdfs://test:8020
jobTracker=test:8050
queueName=default
examplesRoot=oozie
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/user/hdfs/${examplesRoot}
oozie.wf.rerun.failnodes=false
start=2016-09-01T01:34Z
end=2016-09-01T08:45Z
timezone=UTC
frequency=*/30 * * * *
ここで注意しなければならないのはpyファイルではimportまたはfromを使用できます...importはPythonシステムからpyファイルをインポートするが、自分で書いたpyファイルについてはtest.pyではインポートが実行できません.この問題はまだ解決策が見つかりません.