技术开发 频道

深入理解Redis主键失效原理及实现机制

  【代码段四】

if(aeCreateTimeEvent(server.el, 1, serverCron, NULL, NULL) == AE_ERR) {
        redisPanic("
create time event failed");
        
exit(1);
}

  【代码段五】给出了函数 activeExpireCycle 的实现及其详细描述,其主要实现原理就是遍历处理 Redis 服务器中每个数据库的 expires 字典表中,从中尝试着随机抽样 REDIS_EXPIRELOOKUPS_PER_CRON(默认值为10)个设置了失效时间的主键,检查它们是否已经失效并删除掉失效的主键,如果失效的主键个数占本次抽样个数的比例超过25%,Redis 会认为当前数据库中的失效主键依然很多,所以它会继续进行下一轮的随机抽样和删除,直到刚才的比例低于25%才停止对当前数据库的处理,转向下一个数据库。这里我们需要注意的是,activeExpireCycle 函数不会试图一次性处理Redis中的所有数据库,而是最多只处理 REDIS_DBCRON_DBS_PER_CALL(默认值为16),此外 activeExpireCycle 函数还有处理时间上的限制,不是想执行多久就执行多久,凡此种种都只有一个目的,那就是避免失效主键删除占用过多的CPU资源。【代码段五】有对 activeExpireCycle 所有代码的详细描述,从中可以了解该函数的具体实现方法。

  【代码段五】

void activeExpireCycle(void) {
    
//因为每次调用activeExpireCycle函数不会一次性检查所有Redis数据库,所以需要记录下
    
//每次函数调用处理的最后一个Redis数据库的编号,这样下次调用activeExpireCycle函数
    
//还可以从这个数据库开始继续处理,这就是current_db被声明为static的原因,而另外一
    
//个变量timelimit_exit是为了记录上一次调用activeExpireCycle函数的执行时间是否达
    
//到时间限制了,所以也需要声明为static
    static unsigned
int current_db = 0;
    static
int timelimit_exit = 0;
    unsigned
int j, iteration = 0;
    
//每次调用activeExpireCycle函数处理的Redis数据库个数为REDIS_DBCRON_DBS_PER_CALL
    unsigned
int dbs_per_call = REDIS_DBCRON_DBS_PER_CALL;
    
long long start = ustime(), timelimit;
    
//如果当前Redis服务器中的数据库个数小于REDIS_DBCRON_DBS_PER_CALL,则处理全部数据库,
    
//如果上一次调用activeExpireCycle函数的执行时间达到了时间限制,说明失效主键较多,也
    
//会选择处理全部数据库
    
if (dbs_per_call > server.dbnum || timelimit_exit)
        dbs_per_call
= server.dbnum;
    
//执行activeExpireCycle函数的最长时间(以微秒计),其中REDIS_EXPIRELOOKUPS_TIME_PERC
    
//是单位时间内能够分配给activeExpireCycle函数执行的CPU时间比例,默认值为25,server.hz
    
//即为一秒内activeExpireCycle的调用次数,所以这个计算公式更明白的写法应该是这样的,即
    (
1000000 * (REDIS_EXPIRELOOKUPS_TIME_PERC / 100)) / server.hz
    timelimit
= 1000000*REDIS_EXPIRELOOKUPS_TIME_PERC/server.hz/100;
    timelimit_exit
= 0;
    
if (timelimit <= 0) timelimit = 1;
    
//遍历处理每个Redis数据库中的失效数据
    
for (j = 0; j < dbs_per_call; j++) {
        
int expired;
        redisDb
*db = server.db+(current_db % server.dbnum);
        
//此处立刻就将current_db加一,这样可以保证即使这次无法在时间限制内删除完所有当前
        
//数据库中的失效主键,下一次调用activeExpireCycle一样会从下一个数据库开始处理,
        
//从而保证每个数据库都有被处理的机会
        current_db
++;
        
//开始处理当前数据库中的失效主键
        do {
            unsigned
long num, slots;
            
long long now;
            
//如果expires字典表大小为0,说明该数据库中没有设置失效时间的主键,直接检查下
            
//一数据库
            
if ((num = dictSize(db->expires)) == 0) break;
            slots
= dictSlots(db->expires);
            now
= mstime();
            
//如果expires字典表不为空,但是其填充率不足1%,那么随机选择主键进行检查的代价
            
//会很高,所以这里直接检查下一数据库
            
if (num && slots > DICT_HT_INITIAL_SIZE &&
                (num
*100/slots < 1)) break;
            expired
= 0;
            
//如果expires字典表中的entry个数不足以达到抽样个数,则选择全部key作为抽样样本
            
if (num > REDIS_EXPIRELOOKUPS_PER_CRON)
                num
= REDIS_EXPIRELOOKUPS_PER_CRON;
            
while (num--) {
                dictEntry *de;
                
long long t;
                
//随机获取一个设置了失效时间的主键,检查其是否已经失效
                
if ((de = dictGetRandomKey(db->expires)) == NULL) break;
                t
= dictGetSignedIntegerVal(de);
                
if (now > t) {
                    
//发现该主键确实已经失效,删除该主键
                    sds
key = dictGetKey(de);
                    robj
*keyobj = createStringObject(key,sdslen(key));
                    
//同样要在删除前广播该主键的失效信息
                    propagateExpire(db,keyobj);
                    dbDelete(db,keyobj);
                    decrRefCount(keyobj);
                    expired
++;
                    server.stat_expiredkeys
++;
                }
            }
            
//每进行一次抽样删除后对iteration加一,每16次抽样删除后检查本次执行时间是否
            
//已经达到时间限制,如果已达到时间限制,则记录本次执行达到时间限制并退出
            iteration
++;
            
if ((iteration & 0xf) == 0 &&
                (ustime()
-start) > timelimit)
            {
                timelimit_exit
= 1;
                
return;
            }
        
//如果失效的主键数占抽样数的百分比大于25%,则继续抽样删除过程
        }
while (expired > REDIS_EXPIRELOOKUPS_PER_CRON/4);
    }
}

  三、Memcached 删除失效主键的方法与 Redis 有何异同?

  首先,Memcached 在删除失效主键时也是采用的消极方法,即 Memcached 内部也不会监视主键是否失效,而是在通过 Get 访问主键时才会检查其是否已经失效。其次,Memcached 与 Redis 在主键失效机制上的最大不同是,Memcached 不会像 Redis 那样真正地去删除失效的主键,而只是简单地将失效主键占用的空间回收。这样当有新的数据写入到系统中时,Memcached 会优先使用那些失效主键的空间。如果失效主键的空间用光了,Memcached 还可以通过 LRU 机制来回收那些长期得不到访问的空间,因此 Memcached 并不需要像 Redis 中那样的周期性删除操作,这也是由 Memcached 使用的内存管理机制决定的。同时,这里需要指出的是 Redis 在出现 OOM 时同样可以通过配置 maxmemory-policy 这个参数来决定是否采用 LRU 机制来回收内存空间(感谢@Jonathan_Dai 同学在《Redis的LRU机制》中对原文的指正)。

  四、Redis 的主键失效机制会不会影响系统性能?

  通过以上对 Redis 主键失效机制的介绍,我们知道虽然 Redis 会定期地检查设置了失效时间的主键并删除已经失效的主键,但是通过对每次处理数据库个数的限制、activeExpireCycle 函数在一秒钟内执行次数的限制、分配给 activeExpireCycle 函数CPU时间的限制、继续删除主键的失效主键数百分比的限制,Redis 已经大大降低了主键失效机制对系统整体性能的影响,但是如果在实际应用中出现大量主键在短时间内同时失效的情况还是会使得系统的响应能力降低,所以这种情况无疑应该避免。

2
相关文章