Cloudera Manager で HDFSのディレクトリのクォータを一括設定する
HDFSのディレクトリにはクォータを設定することができる。
この機能により、ユーザごとの容量を制限することができるが、素のHadoopだとコマンドを一つ一つ入力しなければならず、面倒な作業である。
Cloudera Managerを使えば、HDFSのディレクトリクォータを一括設定できる。
環境
- Cloudera Manager 5.7 (注: 要 Enterprise 版)
技術説明
Apache HDFS のクォータ機能
Apache HDFS のクォータ機能
HDFSでは、ディレクトリ単位にクォータを制限することができる。
このクォータはファイル数単位、あるいは容量単位で指定することができる。
HDFSでコマンド実行する場合は以下のように実行する。
$ hdfs dfsadmin [-setQuota <N> | -setSpaceQuota <N> [byte] ] [dir1 dir2 ...]
詳細はApache Hadoop のクォータのページを参照のこと。
Cloudera Manager におけるクォータ機能
上記の通りHadoop単体でもクォータの設定はできるが、一括設定をするにはディレクトリ名を一つ一つ並べなければならない。
また、一度設定したクォータの状況を確認するのも一苦労である。
Cloudera Managerにはクォータの一括設定などを行う便利機能が備わっているので、これを使うことで簡単にクォータの設定・管理を行うことができる。
設定方法
クラスタ → レポート → Directory Usage とクリックしていく。
設定したいディレクトリにチェックを入れ、 選択内容に対するアクション から クォータの管理 を選択する。
ファイル数の制限とディスクスペースの制限の設定を行い、保存すれば完了である。
Author And Source
この問題について(Cloudera Manager で HDFSのディレクトリのクォータを一括設定する), 我々は、より多くの情報をここで見つけました https://qiita.com/shiumachi/items/3b2793dbf942f165aed0著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .