HDFSコマンド


*hadoop/binフォルダでコマンドを実行(hdfs shellを使用)
ディスク容量の表示
  • hオプション:読みやすい
  • $ ./hdfs dfs -df [-h] {path}
    ディレクトリの使用状況の表示
  • hオプション:読みやすい
  • sオプション:サブディレクトリ
  • を含むディレクトリ自体の使用状況を確認します.
    $ ./hdfs dfs -du [-h] [-s] {directory_path}
    ディレクトリファイルリストの表示
  • Rオプション:サブディレクトリを含む完全なファイルリストを表示する
  • $ ./hdfs dfs -ls [-R] {directory_path}
    ファイルの内容の表示
    $ ./hdfs dfs -cat {file_path}
    hdfsフォルダの作成
  • pオプション:親パスフォルダに
  • を一度に作成
    $ ./hdfs dfs -mkdir [-p] {folder_path}
    hdfsでファイルをコピーする
    $ ./hdfs dfs -cp {source_path} {copy_path}
    ローカルファイルをhdfsにアップロードする
    $ ./hdfs dfs -put {local_path} {source_path}
    $ ./hdfs dfs -copyFromLocal {local_path} {source_path}
    hdfsファイルをローカルでダウンロード
    $ ./hdfs dfs -get {source_path} {local_path}
    $ ./hdfs dfs -copyToLocal {local_path} {source_path}
    hdfsファイルの削除
    $ ./hdfs dfs -rm {file_path}
    hdfsディレクトリの削除
  • ディレクトリからファイルを削除
    $ ./hdfs dfs -rm -r {directory_path}
  • ディレクトリにファイル/ディレクトリがある場合は、X
  • を削除する.
    $ ./hdfs dfs -rmdir {directory_path}
    hdfs上でファイルを移動する
    $ ./hdfs dfs -mv {source_path} {destination_path}
    HDfsバランス
  • バランサを用いるクラスタ内のデータブロックを分散し、各データノードが同様の割合でデータ
  • を得ることができるようにする.
  • しきい値オプション:
  • データノードごとのディスク分散の調整
  • イコライザを実行する前に、クラスタに大きな負担(バイト単位)をかけないように帯域幅を調整する必要があります.
  • nohup + &を実行し、終了することなくバックグラウンドでバランスを実行
    $ ./hdfs dfsadmin -setBalancerBandwitdh 52428800 #50mb
    $ nohup ./hdfs balancer -threshold 2 &