pythonスクリプトmapreduceプログラムの迅速な実行
847 ワード
コマンドラインの下でmapreduceプログラムを実行する場合は、長い文字列、ファイルの入力パス、出力パスなどを入力する必要があります.
簡単なpythonスクリプトで、不要な手間を省き、後でmapreduceプログラムを実行するときは、少し変更するだけです.runjob.pyスクリプトの内容は次のとおりです.
次に、このファイルに実行可能な権限を付与します.
chmod 775 runjob.py//現在のユーザーと現在のユーザーが属するグループには、読み取り、書き込み、実行の権限があり、他のユーザーには読み取り、書き込みの権限があります.
簡単なpythonスクリプトで、不要な手間を省き、後でmapreduceプログラムを実行するときは、少し変更するだけです.runjob.pyスクリプトの内容は次のとおりです.
#!/usr/bin/python
import os
cmd = 'hadoop jar examples.jar org.apache.hadoop.myexamples.WordCount hdfs://NameNode:9000/user/cloud/input/cite1.txt hdfs://NameNode:9000/user/cloud/output008'
os.system(cmd)
次に、このファイルに実行可能な権限を付与します.
chmod 775 runjob.py//現在のユーザーと現在のユーザーが属するグループには、読み取り、書き込み、実行の権限があり、他のユーザーには読み取り、書き込みの権限があります.