kylinバックアップメタデータ(不要なデータを消去する方法)

回転:https://blog.csdn.net/jiangshouzhuang/article/details/51290239Kylinは、cube descriptions and instances、projects、inverted index description and instances、jobs、tables and dictionariesを含むすべてのメタデータを階層ファイルシステムとして組織します.
しかしながら、Kylinは、通常のファイルシステムではなくHBAseを使用してストレージを行う.
Kylinのプロファイルkylinからpropertiesで次のように表示されます.

## The metadata store in hbase
kylin.metadata.url=kylin_metadata@hbase

Kylinを表すメタデータがHBAseに保存されているkylin_metadataテーブルにあります.Kylinのメタデータのバックアップ

./bin/metastore.sh backup

メタデータがローカルディレクトリKYLIN_にバックアップされます.HOME/metadata_backpsの下で、ディレクトリの名前のフォーマットは:KYLIN_HOME/meta_backups/meta_year_month_day_hour_minute_secondたとえば私のKylinのホームディレクトリは/var/lib/kylin/kylinで、バックアップデータのディレクトリは:

/var/lib/kylin/kylin/meta_backups/meta_2016_05_01_11_50_32

目次を見てみましょう.

[kylin@SZB-L0023777kylin]$ cd /var/lib/kylin/kylin/meta_backups/meta_2016_05_01_11_50_32

[kylin@SZB-L0023777meta_2016_05_01_11_50_32]$ ll

total 44

drwxrwxr-x 2 kylin kylin 4096 May  1 11:50 cube

drwxrwxr-x 2 kylin kylin 4096 May  1 11:50 cube_desc

drwxrwxr-x 4 kylin kylin 4096 May  1 11:50 cube_statistics

drwxrwxr-x 6 kylin kylin 4096 May  1 11:50 dict

drwxrwxr-x 2 kylin kylin 4096 May  1 11:50 execute

drwxrwxr-x 2 kylin kylin 4096 May  1 11:50 execute_output

drwxrwxr-x 2 kylin kylin 4096 May  1 11:50 model_desc

drwxrwxr-x 2 kylin kylin 4096 May  1 11:50 project

drwxrwxr-x 2 kylin kylin 4096 May  1 11:50 table

drwxrwxr-x 2 kylin kylin 4096 May  1 11:50 table_exd

drwxrwxr-x 5 kylin kylin 4096 May  1 11:50 table_snapshot

リカバリメタデータKylinメタデータが停止した場合、以前にバックアップしたデータを使用してリカバリできます:1.まずresetの現在のKylinのメタデータストレージは、HBAseに格納されているすべてのKylinメタデータをクリーンアップし、その前にバックアップが行われていることを確認します.

./bin/metastore.sh reset

次に、バックアップされたメタデータをKylinのメタデータ

にアップロードする.

./bin/metastore.sh restore $KYLIN_HOME/meta_backups/meta_xxxx_xx_xx_xx_xx_xx

Kylinメタデータから不要なリソースをクリーンアップ
時間が経つにつれて、辞書やテーブルのスナップショットなどのリソースが不要になりました(cubeのsegmentは削除されたり統合されたりしました)が、彼らは依然としてスペースを占めています.不要なメタデータを検索およびクリーンアップするには、次のコマンドを実行します.

まず、チェックを実行します.これは安全な操作で、何も変更されません.

./bin/metastore.sh clean

削除する必要があるリソースを羅列する

次に、上記のコマンドに「-delete true」パラメータを追加すると、不要なリソースがクリーンアップされます.このコマンド操作の前に、Kylinメタデータ:

をバックアップする必要があります.

./bin/metastore.sh clean --delete true