Redisソース研究のデータ淘汰メカニズム

9043 ワード

本文は主にRedisのいくつかのデータ淘汰メカニズムを紹介する.
I、神の視点
Redisはメモリ型データベースであるため、ユーザが最大使用メモリサイズmaxmemoryを設定できるようにし、メモリが限られている場合、メモリの緊張を減らすために、メモリデータセットサイズが一定値に上昇すると、データ淘汰メカニズムが実施される.
Redisは以下のいくつかのデータ淘汰戦略を提供した:1、volatile-lru:期限切れのデータセットを設定して最低使用のデータを淘汰する;2、volatile-ttl:設定期限切れのデータセットから期限切れのデータを淘汰する(期限切れに最も近い);3、volatile-random:設定期限切れのデータセットからランダムにデータを選択して淘汰する.4、allkeys-lru:すべてのデータセットから使用が最も少ないデータを選択する.5、allkeys-random:すべてのデータセットから任意にデータを選択して淘汰する.6、no-envicition:淘汰しない;
II、LRUデータ淘汰
1、redisServerにlruカウンタserver.lrulockが保存されており、定期的に更新されます.これはserver.unixtimeに基づいて計算されます.
// redisServer    lru    
/*src/redis.h/redisServer*/
struct redisServer {
...
unsigned lruclock:22; /* Clock incrementing every minute, for LRU */
...
};  

2、LRUデータ淘汰メカニズムは、データセットからランダムにいくつかのキー値ペアを選択し、その中のlru最大のキー値ペアを取り出して淘汰する.
III、TTLデータ淘汰
1、TTL淘汰メカニズムは、有効期限redisDB.expires表からランダムにいくつかのキー値ペアを選択し、その中でttlが最大のキー値ペアを取り出して淘汰する.
IV、淘汰発生
1、Redisサーバーは1つの命令を実行していないで、いずれもメモリを検出して、データの淘汰を行う必要があるかどうかを判断します:
//     
/*src/redis.cprocessCommand*/
int processCommand(redisClient *c) {
        ......
        //     
        /* Handle the maxmemory directive.
        **
        First we try to free some memory if possible (if there are volatile
        * keys in the dataset). If there are not the only thing we can do
        * is returning an error. */
        if (server.maxmemory) {
                int retval = freeMemoryIfNeeded();
        if ((c->cmd->flags & REDIS_CMD_DENYOOM) && retval == REDIS_ERR) {
                flagTransaction(c);
                addReply(c, shared.oomerr);
                return REDIS_OK;
        }
    }
    ......
}  

2、ここでは主にfreeMemoryIfNeeded関数を呼び出し、完全なデータ淘汰メカニズムを完成した.
int freeMemoryIfNeeded(void) {
    size_t mem_used, mem_tofree, mem_freed;
    int slaves = listLength(server.slaves);

    /* Remove the size of slaves output buffers and AOF buffer from the
     * count of used memory. */
    //     Redis          ,               :
    // 1)             
    // 2)AOF       
    mem_used = zmalloc_used_memory();
    if (slaves) {
        listIter li;
        listNode *ln;

        listRewind(server.slaves,&li);
        while((ln = listNext(&li))) {
            redisClient *slave = listNodeValue(ln);
            unsigned long obuf_bytes = getClientOutputBufferMemoryUsage(slave);
            if (obuf_bytes > mem_used)
                mem_used = 0;
            else
                mem_used -= obuf_bytes;
        }
    }
    if (server.aof_state != REDIS_AOF_OFF) {
        mem_used -= sdslen(server.aof_buf);
        mem_used -= aofRewriteBufferSize();
    }

    /* Check if we are over the memory limit. */
    //                 maxmemory   ,           
    if (mem_used <= server.maxmemory) return REDIS_OK;

    //         maxmemory   ,   maxmemory       ,      
    if (server.maxmemory_policy == REDIS_MAXMEMORY_NO_EVICTION)
        return REDIS_ERR; /* We need to free memory, but policy forbids. */

    /* Compute how much memory we need to free. */
    //              
    mem_tofree = mem_used - server.maxmemory;

    //               0
    mem_freed = 0;

    //    maxmemory   ,
    //     ,                
    while (mem_freed < mem_tofree) {
        int j, k, keys_freed = 0;

        //       
        for (j = 0; j < server.dbnum; j++) {
            long bestval = 0; /* just to prevent warning */
            sds bestkey = NULL;
            dictEntry *de;
            redisDb *db = server.db+j;
            dict *dict;

            if (server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_LRU ||
                server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_RANDOM)
            {
                //       allkeys-lru    allkeys-random 
                //               
                dict = server.db[j].dict;
            } else {
                //       volatile-lru 、 volatile-random    volatile-ttl 
                //                   
                dict = server.db[j].expires;
            }

            //      
            if (dictSize(dict) == 0) continue;

            /* volatile-random and allkeys-random policy */
            //           ,             
            if (server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_RANDOM ||
                server.maxmemory_policy == REDIS_MAXMEMORY_VOLATILE_RANDOM)
            {
                de = dictGetRandomKey(dict);
                bestkey = dictGetKey(de);
            }

            /* volatile-lru and allkeys-lru policy */
            //        LRU   ,
            //       sample      IDLE         
            else if (server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_LRU ||
                server.maxmemory_policy == REDIS_MAXMEMORY_VOLATILE_LRU)
            {
                struct evictionPoolEntry *pool = db->eviction_pool;

                while(bestkey == NULL) {
                    //        
                    evictionPoolPopulate(dict, db->dict, db->eviction_pool);
                    /* Go backward from best to worst element to evict. */
                    for (k = REDIS_EVICTION_POOL_SIZE-1; k >= 0; k--) {
                        if (pool[k].key == NULL) continue;
                        de = dictFind(dict,pool[k].key);

                        /* Remove the entry from the pool. */
                        sdsfree(pool[k].key);
                        /* Shift all elements on its right to left. */
                        memmove(pool+k,pool+k+1,
                            sizeof(pool[0])*(REDIS_EVICTION_POOL_SIZE-k-1));
                        /* Clear the element on the right which is empty
                         * since we shifted one position to the left.  */
                        pool[REDIS_EVICTION_POOL_SIZE-1].key = NULL;
                        pool[REDIS_EVICTION_POOL_SIZE-1].idle = 0;

                        /* If the key exists, is our pick. Otherwise it is
                         * a ghost and we need to try the next element. */
                        if (de) {
                            bestkey = dictGetKey(de);
                            break;
                        } else {
                            /* Ghost... */
                            continue;
                        }
                    }
                }
            }

            /* volatile-ttl */
            //     volatile-ttl ,    sample                    
            else if (server.maxmemory_policy == REDIS_MAXMEMORY_VOLATILE_TTL) {
                for (k = 0; k < server.maxmemory_samples; k++) {
                    sds thiskey;
                    long thisval;

                    de = dictGetRandomKey(dict);
                    thiskey = dictGetKey(de);
                    thisval = (long) dictGetVal(de);

                    /* Expire sooner (minor expire unix timestamp) is better
                     * candidate for deletion */
                    if (bestkey == NULL || thisval < bestval) {
                        bestkey = thiskey;
                        bestval = thisval;
                    }
                }
            }

            /* Finally remove the selected key. */
            //        
            if (bestkey) {
                long long delta;

                robj *keyobj = createStringObject(bestkey,sdslen(bestkey));
                propagateExpire(db,keyobj);
                /* We compute the amount of memory freed by dbDelete() alone.
                 * It is possible that actually the memory needed to propagate
                 * the DEL in AOF and replication link is greater than the one
                 * we are freeing removing the key, but we can't account for
                 * that otherwise we would never exit the loop.
                 *
                 * AOF and Output buffer memory will be freed eventually so
                 * we only care about memory used by the key space. */
                //              
                delta = (long long) zmalloc_used_memory();
                dbDelete(db,keyobj);
                delta -= (long long) zmalloc_used_memory();
                mem_freed += delta;
                
                //           
                server.stat_evictedkeys++;

                notifyKeyspaceEvent(REDIS_NOTIFY_EVICTED, "evicted",
                    keyobj, db->id);
                decrRefCount(keyobj);
                keys_freed++;

                /* When the memory to free starts to be big enough, we may
                 * start spending so much time here that is impossible to
                 * deliver data to the slaves fast enough, so we force the
                 * transmission here inside the loop. */
                if (slaves) flushSlavesOutputBuffers();
            }
        }

        if (!keys_freed) return REDIS_ERR; /* nothing to free... */
    }

    return REDIS_OK;
}

【参考】[1]『Redis設計と実現』[2]『Redisソースログ』