分散キャッシュ・セキュリティ・アプリケーション(redis透過性の問題)

4262 ワード
分散キャッシュ 分散アーキテクチャ
キャッシュの透過
キャッシュスルーとは?キャッシュにはデータが存在せず、データベースにも存在しないデータ.新しいリクエスト(ハッカーの悪意のある攻撃など):https://item.jd.com/6729892714444444.html商品が存在しない)を検索すると、データベースが検索され続け、データベース・サービスが停止する可能性があります.
Null値はソリューションを返します.
データベースがデータをクエリできない場合、Null値をキャッシュしたオブジェクトが返されます.
ブロンフィルタ
Null値スキームに問題があることは明らかです.クエリ符号化にデータが存在しない場合、その後、この番号のデータが追加されると、このデータは永遠に検出されません.ブロンフィルタ(性能の問題は心配しないで、自分で資料を調べることができます)、例えば商品のすべてのIdをブロンフィルタに追加し、後続のアクセスはbloomブロンフィルタを経て存在するかどうかを判断し、存在しない場合は直接戻ります.そうしないと放行します.以下にbloomフィルタのredis実装を示す.
bloom.filter.expectedInsertions=10000000
bloom.filter.fpp=0.001F
//   Java   
@ConfigurationProperties("bloom.filter")
@Component
public class RedisBloomFilter {
    private static final String BLOOM_NAME = "bf.name";
    //     
    @Getter @Setter
    private long expectedInsertions;
    //      
    @Getter @Setter
    private double fpp;
    //bit    
     @Getter @Setter
    private long numBits;
    //hash    
    @Getter @Setter
    private int numHashFunctions;
    @Autowired
    private RedisTemplate redisTemplate;

    @PostConstruct
    public void init(){
        this.numBits = optimalNumOfBits(expectedInsertions, fpp);
        this.numHashFunctions = optimalNumOfHashFunctions(expectedInsertions, numBits);
    }

    /**
     *   bit    
     * @return
     */
    private long optimalNumOfBits(long n, double p){
        if (p == 0){
            p = Double.MIN_VALUE;
        }
        return (long)(-n * Math.log(p) / (Math.log(2) * Math.log(2)));
    }
    /**
     *   hash    
     * @return
     */
    private int optimalNumOfHashFunctions(long n, long m){
        return Math.max(1, (int)Math.round((double)m / n * Math.log(2)));
    }

    /**
     *   keys        
     * @param key
     * @return
     */
    public boolean isExist(String key){
        long[] indexs = getIndexs(key);
        List list = redisTemplate.executePipelined(new RedisCallback() {
            @Nullable
            @Override
            public Object doInRedis(RedisConnection connection) throws DataAccessException{
                connection.openPipeline();
                for (long index: indexs){
                    //       
                    connection.getBit(BLOOM_NAME.getBytes(), index);
                }
                connection.close();
                return null;
            }
        });
        return !list.contains(false);
    }

    /**
     *  key  redis bitmap
     * @param key
     */
    public void put(String key){
        long[] indexs = getIndexs(key);
        redisTemplate.executePipelined(new RedisCallback() {
            @Nullable
            @Override
            public Object doInRedis(RedisConnection connection) throws DataAccessException{
                connection.openPipeline();
                for (long index: indexs){
                    //       
                    connection.setBit(BLOOM_NAME.getBytes(), index, true);
                }
                connection.close();
                return null;
            }
        });
    }

    /**
     *   key  bitmap   
     * @param key
     * @return
     */
    private long[] getIndexs(String key){
        long hash1 = hash(key);
        long hash2 = hash1 >>> 16;
        long[] result = new long[numHashFunctions];
        for (int i = 0; i < numHashFunctions; i++){
            long combineHash = hash1 + i * hash2;
            if (combineHash < 0){
                combineHash = ~combineHash;
            }
            result[i] = combineHash % numBits;
        }
        return result;
    }
}

実戦応用
    /*
     *      ，     ID       ，      ID        
     *   ：          ，              
     */
    @PostConstruct
    public void init(){
        List products = productService.findAll();
        products.forEach(p->{
            redisBloomFilter.put(String.valueOf(p.getProductId()));
        });
    }

//             ，       
 public Product getProductById(Long productId){
       log.debug("      id:{}", productId);
        //       【    】
       if (!redisBloomFilter.isExist(String.valueOf(productId))){
            return null;
        }
     .......
  }
Spring-data-redis拡張実装時効設定
C言語前処理指令まとめ