pythonスクリプトmapreduceプログラムの迅速な実行

847 ワード

コマンドラインの下でmapreduceプログラムを実行する場合は、長い文字列、ファイルの入力パス、出力パスなどを入力する必要があります.
簡単なpythonスクリプトで、不要な手間を省き、後でmapreduceプログラムを実行するときは、少し変更するだけです.runjob.pyスクリプトの内容は次のとおりです.
#!/usr/bin/python

import os
cmd = 'hadoop jar examples.jar org.apache.hadoop.myexamples.WordCount hdfs://NameNode:9000/user/cloud/input/cite1.txt hdfs://NameNode:9000/user/cloud/output008'
os.system(cmd)

次に、このファイルに実行可能な権限を付与します.
  chmod 775 runjob.py//現在のユーザーと現在のユーザーが属するグループには、読み取り、書き込み、実行の権限があり、他のユーザーには読み取り、書き込みの権限があります.