impalaが出会った穴

記事のリンクhttp://www.bbgo.xyz/accounts/...
1、なるべくinvalidate metadataを使わないで、できるだけREFRESH TABLE_を使います。NAME2、セットAPPX_COUNT_DISTINCT=trueとndv関数は同じで、全部ただの推定値です。

Impala SQL                    DISTINCT
 ：select count(distinct id),count(distinct uid) from table;     
impala     ndv      set APPX_COUNT_DISTINCT=true   。          

3、impalaは中国語の結果を含んでファイルに保存します。

  impala-shell -i hadoop07 -B -q 'select " " from dual' -o result.txt
     
    /data/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/bin/../lib/impala-shell/impala_shell.py
  
# coding=utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

    ：
query = self.imp_client.create_beeswax_query("select %s" % args,self.set_query_options)
 
 query = self.imp_client.create_beeswax_query("select %s" % (args.encode('utf-8')),self.set_query_options)

4、impalaメモリ制限問題、メモリクエリタスクを超えたら殺されます。

         ：
1、                 
2、         ，  impala        ，               ，           compute stat   ，  impala                      
Memory Limit Exceeded
Query(f14d4983f27e4bc9:aef735d6523a7eb7) Limit: Consumption=7.51 GB

5、impala not inは0で、

       not in           0 ，       
       in      null  
 PS：impala        

6、cdh impalaはLlamaサービスのピットを追加します。

        Llama     /yarn/nm/usercache/      ，  hive mr     ，   yarn           ，              ，        

7、Impala computte stats

      ，               ，    compute status    sleep 5s