hadoopアップグレード
1756 ワード
1.dfsadmin-upgradeProgress statusを実行して、バックアップが存在するかどうかを確認します.最初のアップグレードであればバックアップが存在しないことを確認します(Hadoopをアップグレードする前に、バックアップが存在する場合はfinalizeを終了する必要があります).
2.dfsをバックアップする.namenode.dirはファイルをダウンロードし、hdfsのファイルディレクトリのメタデータ情報をバックアップします.
3.すべてのノードbin/stop-allを停止する.sh
4.すべてのノードにhadoopを再配置し、confフォルダの下のすべてのファイルを置換します(既存のhadoop-0.19.1をhadoop-0.19.1-oldverstionに変更し、hadoop-0.19.2.tar.gzを解凍して0.19.2のconfファイルを0.19.1のconfフォルダに置換します).
そしてhadoop-siteを修正する.xmlのパス指定が正しいかどうか
5.bin/start-dfsを使用する.sh-upgradeによるアップグレード(DFSが1つのバージョンから別のバージョンにアップグレードされた場合、NameNodeとDataNodeで使用されるファイルフォーマットが変更される可能性があります.初めて新しいバージョンを使用した場合は、HDFSバージョンを変更するようHadoopに伝えてください.そうしないと、新しいバージョンは効果がありません)
6.アップグレード状況とアップグレード問題の処理を監視する
アップグレードを開始すると、
bin/hadoop dfsadmin -upgradeProgress
コマンドを使用して、バージョンアップの状況を表示します.
もちろん使えます
bin/hadoop dfsadmin -upgradeProgress details
に表示されます.
アップグレードプロセスがブロックされている場合は、
bin/hadoop dfsadmin -upgradeProgress force
アップグレードを強制して実行し続けます(このコマンドを使用する場合は、慎重に考慮してください).
HDFSのアップグレードが完了すると、Hadoopは古いバージョンの情報を保持しています.
HDFSのダウングレード操作を容易にすることができます.
bin/start-dfsを用いることができる.sh-rollbackは、ダウングレード操作を実行します.
7.既存のhdfsのファイルディレクトリのメタデータ情報とアップグレードの違いを比較します.
8.アップグレードが完了し、Hadoopは一度に1つのバージョンのバックアップしか保存しません.新しいバージョンが実行されてから数日後も問題が発生しない場合は、実行してから問題なくアップグレードの終了操作を実行できます.
bin/hadoop dfsadmin -finalizeUpgrade
コマンドは古いバージョンのバックアップをシステムから削除しました.削除するとrollbackコマンドは無効になります.
2.dfsをバックアップする.namenode.dirはファイルをダウンロードし、hdfsのファイルディレクトリのメタデータ情報をバックアップします.
bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log
bin/hadoop dfs -lsr / > dfs-v-old-lsr-1.log
bin/hadoop dfsadmin -report > dfs-v-old-report-1.log
3.すべてのノードbin/stop-allを停止する.sh
4.すべてのノードにhadoopを再配置し、confフォルダの下のすべてのファイルを置換します(既存のhadoop-0.19.1をhadoop-0.19.1-oldverstionに変更し、hadoop-0.19.2.tar.gzを解凍して0.19.2のconfファイルを0.19.1のconfフォルダに置換します).
そしてhadoop-siteを修正する.xmlのパス指定が正しいかどうか
5.bin/start-dfsを使用する.sh-upgradeによるアップグレード(DFSが1つのバージョンから別のバージョンにアップグレードされた場合、NameNodeとDataNodeで使用されるファイルフォーマットが変更される可能性があります.初めて新しいバージョンを使用した場合は、HDFSバージョンを変更するようHadoopに伝えてください.そうしないと、新しいバージョンは効果がありません)
6.アップグレード状況とアップグレード問題の処理を監視する
アップグレードを開始すると、
bin/hadoop dfsadmin -upgradeProgress
コマンドを使用して、バージョンアップの状況を表示します.
もちろん使えます
bin/hadoop dfsadmin -upgradeProgress details
に表示されます.
アップグレードプロセスがブロックされている場合は、
bin/hadoop dfsadmin -upgradeProgress force
アップグレードを強制して実行し続けます(このコマンドを使用する場合は、慎重に考慮してください).
HDFSのアップグレードが完了すると、Hadoopは古いバージョンの情報を保持しています.
HDFSのダウングレード操作を容易にすることができます.
bin/start-dfsを用いることができる.sh-rollbackは、ダウングレード操作を実行します.
7.既存のhdfsのファイルディレクトリのメタデータ情報とアップグレードの違いを比較します.
8.アップグレードが完了し、Hadoopは一度に1つのバージョンのバックアップしか保存しません.新しいバージョンが実行されてから数日後も問題が発生しない場合は、実行してから問題なくアップグレードの終了操作を実行できます.
bin/hadoop dfsadmin -finalizeUpgrade
コマンドは古いバージョンのバックアップをシステムから削除しました.削除するとrollbackコマンドは無効になります.