日平均数十億の請求!京東評価システム大量データストレージ高利用可能設計

7892 ワード

https://dbaplus.cn/news-21-613-1.html https://blog.csdn.net/weixin_34268169/article/details/87293207
テキストリンク:http://www.jianshu.com/p/b65ed1613b0f


 システム データストレージ 
 ： ， ，2010 ， 、 、 。
 ， ， ， ， 。
 、 、 、 。
 
 mysql， ， 、 ， ， mysql ， 、 、 ， 、 、 。 ， ：
 ID ；
 ， ；
 ， 、 ， 。
 、 ， ， ， 、 。
 
 mongodb、hbase， nosql mysql， mysql ， msyql， ； nosql 。 cassandra、mongodb nosql ，cassandra ， mongodb ， ， ，mongo cassandra， ， mongodb。mongodb ， 。
 、 、 ，hbase ， 、 、 。 hbase， ID Rowkey， ， ID ， ， ID mysql ， ， 。
 
 。 ， 、 、 ， mysql ID ， 。 ， ， ， userId ， ， 。 ， ， ， ， ， ， ， 、 、 ， solr（ ）/elasticsearch（ ） 。
 ， 、 ， 。 solr/elasticsearch ， Lucene ， (solr4.0 solr cloud )， 、 、 、 ， 、 ， 、 ， 。
 ， ， ， ， ， ， ， 。
 ， ID ， ， ， 。 ， ， ， ， 。
 ， 。
  ， 、 。 ， ， sql group ， ， 1 5 ， ， mysql group 。 solr ， ， 。 ：


 ， ID ， ID mysql、Hbase ， 。









 ， ， 、 、 ， solr/elasticsearch ， elasticsearch。
 elasticsearch。
 
 ， mysql、 ， ， redis， ， ， ， 、 。
 ， ， ：
 ， ， ；
 ， redis ， ； nginx+lua ， ， ， ；
 ， ， ， redis ， ；
 ， ， ； key 、 、 ， 。
 
 ， 。 ， 。 ：









mysql ， ， ， 。
 ， 、 ， ， ， 。
 ， ， ， ， ， 。 ：









hbase ， ， ， hbase ， mongo， hbase 。
 ， 3 ， 。 ， 。
Redis ， ， ， ， 。 ， ， 。 ， 。
 
 ， 。 ， ， 、 ， ， 、 、 。