Oozie shell script action

1990 ワード

本稿では,実際の操作でoozieを用いてタスクスケジューリングを行い,actionでPythonスクリプトを呼び出す.
workflow.xmlの構成は次のとおりです.

    
    
    
    
        
            ${jobTracker}
            ${nameNode}
            
                
                    mapred.job.queue.name
                    ${queueName}
                
            
            test.py
            test.py
        
        
        
    

        
    
        
            [email protected]
            [email protected]
            Email notifications for ${wf:id()}
            The wf ${wf:id()} successfully completed.
        
        
        
    
    
    
        Python action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
    
    
    
job.propertiesファイルの構成は次のとおりです.
nameNode=hdfs://test:8020
jobTracker=test:8050
queueName=default
examplesRoot=oozie

oozie.use.system.libpath=true

oozie.wf.application.path=${nameNode}/user/hdfs/${examplesRoot}

oozie.wf.rerun.failnodes=false

start=2016-09-01T01:34Z
end=2016-09-01T08:45Z
timezone=UTC
frequency=*/30 * * * *

ここで注意しなければならないのはpyファイルではimportまたはfromを使用できます...importはPythonシステムからpyファイルをインポートするが、自分で書いたpyファイルについてはtest.pyではインポートが実行できません.この問題はまだ解決策が見つかりません.