redis keyサイズを分析するいくつかの方法

6923 ワード
redis keyサイズ メモリの分散 nosql
redisがキャッシュとして使用される場合、keyのサイズ分布を理解したい場合や、どのkeyが占める空間が大きいかを知りたい場合があります.本論文では,いくつかの方法を提供した.
一.bigKeys
これはredis-cliが持参したコマンドです.redis全体をスキャンし、大きなkeyを探します.例:
redis-cli -h b.redis -p 1959 --bigkeys

出力:
# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).

[00.00%] Biggest hash   found so far 's_9329222' with 3 fields
[00.00%] Biggest string found so far 'url_http://mini.eastday.com/mobile/170722090206890.html?qid=sgllq&ch=east_sogou_push&pushid=13' with 8 bytes
[00.00%] Biggest string found so far 'foo' with 40 bytes
[00.00%] Biggest hash   found so far 's_9329084' with 4 fields
[00.23%] Biggest zset   found so far 'region_hot_   ' with 625 members
[00.23%] Biggest zset   found so far 'region_hot_   ' with 914 members
[00.47%] Biggest string found so far 'top_notice_list' with 135193 bytes
[00.73%] Biggest zset   found so far 'region_hot_  ' with 2092 members
[01.90%] Biggest hash   found so far 'uno_facet_2018-12-20' with 59 fields
[11.87%] Biggest zset   found so far 'region_hot_  ' with 2233 members
[27.05%] Biggest set    found so far 'blacklist_set_key' with 31832 members
[73.87%] Biggest string found so far 'PUSH_NEWS' with 3104237 bytes
[86.18%] Biggest zset   found so far 'region_hot_  ' with 2688 members

-------- summary -------

Sampled 4263 keys in the keyspace!
Total key length in bytes is 174847 (avg len 41.02)

Biggest string found 'PUSH_NEWS' has 3104237 bytes
Biggest    set found 'blacklist_set_key' has 31832 members
Biggest   hash found 'uno_facet_2018-12-20' has 59 fields
Biggest   zset found 'region_hot_  ' has 2688 members

1616 strings with 3771161 bytes (37.91% of keys, avg size 2333.64)
0 lists with 0 items (00.00% of keys, avg size 0.00)
1 sets with 31832 members (00.02% of keys, avg size 31832.00)
2353 hashs with 7792 fields (55.20% of keys, avg size 3.31)
293 zsets with 333670 members (06.87% of keys, avg size 1138.81)

説明:
  • このコマンドはscan方式でkeyを統計するので、redisがブロックされる心配はありません.
  • 出力は大きく2つの部分に分かれており、summaryの上の部分は、スキャンのプロセスを示しているだけです.summaryセクションでは、各データ構造の中で最大のKeyが与えられます.
  • が統計した最大keyはstringタイプのみがバイト長を基準としている.List,set,zsetなどはいずれも要素の個数を測定基準としており,その占めるメモリが一定以上であることは説明できない.したがって、キーが主にstringタイプで存在する場合は、この方法が適しています.

    • bigkeysの詳細については、ここを参照してください.
    二.debug object key
    redisのコマンドで、keyシーケンス化後の長さを表示できます.例:
       redis       

b.redis:1959> hmset myhash k1 v1 k2 v2 k3 v3
OK
b.redis:1959> debug object myhash
Value at:0x7f005c6920a0 refcount:1 encoding:ziplist serializedlength:36 lru:3341677 lru_seconds_idle:2

    出力されたアイテムの説明:
  • Value at:keyのメモリアドレス
  • refcount:参照回数
  • encoding:符号化タイプ
  • serializedlength:シーケンス化長さ
  • lru_seconds_idle:空き時間refcount,encoding,lru_についてseconds_idleのより詳細な説明はここを参照してください.

    • いくつか注意すべき問題
  • serializedlengthはkeyがシーケンス化された長さであり(redisはkeyをrdbファイルに保存する際にこのアルゴリズムを使用した)、keyのメモリ内の真の長さではない.これはjson_に配列されているようですEncode後の長さは、メモリ内の真の長さとは異なります.しかし,その側面は1つのkeyの長さを反応させ,2つのkeyの大きさを比較するのに用いることができる.
  • serializedlengthは、文字列をいくつかの可能な圧縮を行います.文字列の圧縮比が特に高い場合は、比較時に問題が発生します.例えば、
    • b.redis:1959> set str1 aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
OK
b.redis:1959> set str2 abcdefghijklmnopqrstuvwxyz1234
OK
b.redis:1959> debug object str1
Value at:0x7f007c035b80 refcount:1 encoding:embstr serializedlength:12 lru:3342615 lru_seconds_idle:13
b.redis:1959> debug object str2
Value at:0x7f00654df400 refcount:1 encoding:embstr serializedlength:31 lru:3342622 lru_seconds_idle:7

    両方の文字列の実際の長さは30ですが、str 1のserializedlengthは12、str 2は31です.
  • redisの公式ドキュメントは、serializedlengthの計算のコストが比較的高いため、クライアントでこのコマンドを使用することを特に推奨していません.だから統計するkeyが多いと、この方法には向いていません.

    • 三.redis rdb tools
    これはredis rdb fileの分析ツールで、rdb fileに基づいてメモリレポートを生成できます.
    3.1インストール
    python 2が必要です.4以上のバージョンとpip.
    pip install rdbtools

    3.2メモリレポートの生成
    まずrdbファイルが必要です.構成でrdbをオンにすると、redisはrdbファイルを自動的に生成します.ない場合は、bgsaveを手動で実行できます.オンラインマシンであれば、実行時にマシン負荷などの問題を考慮します.rdbファイルを手に入れると、メモリレポートを生成できます.コマンドは次のとおりです.
    rdb -c memory file

    例:
    rdb -c memory /tmp/dump.rdb 
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,hash,data:index_flow_yingshi,10492,hashtable,1,8992,2019-01-14T08:20:10.236000
0,hash,data:index_movie,22068,hashtable,7,2896,2019-01-14T07:29:19.685000
0,string,block:index_module_novel,8296,string,7694,7694,2019-01-13T00:27:46.128000
0,string,block:index_bottom_baike_aikan,8296,string,7632,7632,2019-01-14T02:27:11.850000
0,string,block:index_bottom_tools,5224,string,4549,4549,2019-01-13T01:02:09.171000
0,string,block:index_module_travel,7272,string,6408,6408,2019-01-13T00:43:39.478000
...

    db,データ型,key,サイズ,符号化などの多列情報を出力した.分析データについては、shellを使ってもいいし、csvに保存してexcelでソートしたり、dbに保存したりして、どのように並べばいいかを考えたりすることができます.
    最大N個のキーさえ分かれば、-lオプションを使用できます.例:
    [@sjs_73_171 ~]$ rdb -c memory -l 3 /tmp/dump.rdb  
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,hash,city_tong,724236,hashtable,3113,216,2019-01-14T01:10:59.407000
0,hash,iplocsearch,406292,hashtable,383,180190,2019-01-30T05:37:56.082000
0,hash,weather_tong3,583844,hashtable,319,1658,2019-01-07T10:22:33.742000

    3.3個々のキーの表示
    単一のkeyで使用されるメモリをクエリーするだけでrdb fileに依存する必要がない場合は、redis-memory-for-keyコマンドを使用します.例:
    [@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 myhash
Key                             myhash
Bytes                           83
Type                            hash
Encoding                        ziplist
Number of Elements              3
Length of Largest Element       2

[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str1
Key                             str1
Bytes                           80
Type                            string

[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str2
Key                             str2
Bytes                           80
Type                            string

    3.4その他
  • ツールで得られたメモリ値は、著者らの説明を参照してください.“Why doesn’t reported memory match actual memory used?”
  • ツールはrdb fileのkeyおよびvalueを解析することによって、このkvのメモリ内のサイズを逆算出する.計算にはデータ型の影響,key自体の長さの影響,メモリ割り当てなど多様な要因を十分に考慮した.得られたサイズは実際の値ではありませんが、keyサイズの比較に使用することは完全に可能です.
  • rdbの機能はこれだけでなく、kvをjson形式に導くこともできるし、正規表現でkeyの一部だけをエクスポートすることもでき、より多くの使用方法では
    • を表示することができる.
    rdb --help

    gitのヘルプドキュメントも表示できます.
    四.まとめ
  • 最大keyをざっと見たいならbigKeysを使えます.
  • クエリーのkeyが多くなければ、keyの圧縮比に明らかな差はなく、debug object keyを使用できます.
  • ツールをインストールしてもかまいません.redis rdb toolsが最適なようです.
    • HBase scan timerange
    Oracle ref cursorの使用