Kylinのcube作成は成功したがBuildは失敗した
2958 ワード
Cube buildの過程で以下の間違いを報告した.
解決方法Kylin 1.6のバージョンと前のバージョンのプロファイルのkylin.hdfs.working.dirのデフォルト値に'/'が少なくなりました
1.5 kylin.hdfs.working.dir=/kylin
1.6 kylin.hdfs.working.dir=kylin
Create and distribute table, cmd:
hive -e "SET dfs.replication=2;
SET hive.exec.compress.output=true;
SET hive.auto.convert.join.noconditionaltask=true;
SET hive.auto.convert.join.noconditionaltask.size=100000000;
SET mapreduce.output.fileoutputformat.compress.type=BLOCK;
SET mapreduce.job.split.metainfo.maxsize=-1;
USE default;
DROP TABLE IF EXISTS kylin_intermediate_AdminLog_Cube_c88677e0_a322_49eb_932c_fb4987a7d881;
CREATE EXTERNAL TABLE IF NOT EXISTS kylin_intermediate_AdminLog_Cube_c88677e0_a322_49eb_932c_fb4987a7d881
(
DEFAULT_ADMINLOG_ID string
,DEFAULT_ADMINLOG_USERNAME string
,DEFAULT_ADMINLOG_COSTTIME string
,DEFAULT_ADMINLOG_POSTTYPE string
,DEFAULT_ADMINLOG_TIME string
)
STORED AS SEQUENCEFILE
LOCATION '/kylin/kylin_metadata/kylin-4a6d2961-a380-426c-97ae-0c012e548bd2/kylin_intermediate_AdminLog_Cube_c88677e0_a322_49eb_932c_fb4987a7d881';
SET dfs.replication=2;
SET hive.exec.compress.output=true;
SET hive.auto.convert.join.noconditionaltask=true;
SET hive.auto.convert.join.noconditionaltask.size=100000000;
SET mapreduce.output.fileoutputformat.compress.type=BLOCK;
SET mapreduce.job.split.metainfo.maxsize=-1;
INSERT OVERWRITE TABLE kylin_intermediate_AdminLog_Cube_c88677e0_a322_49eb_932c_fb4987a7d881 SELECT
ADMINLOG.ID
,ADMINLOG.USERNAME
,ADMINLOG.COSTTIME
,ADMINLOG.POSTTYPE
,ADMINLOG.TIME
FROM DEFAULT.ADMINLOG as ADMINLOG
WHERE (ADMINLOG.TIME >= '2017-05-16' AND ADMINLOG.TIME < '2017-05-26')
;
"
Logging initialized using configuration in file:/home/grid/apache-hive-1.2.1-bin/conf/hive-log4j.properties
解決方法Kylin 1.6のバージョンと前のバージョンのプロファイルのkylin.hdfs.working.dirのデフォルト値に'/'が少なくなりました
1.5 kylin.hdfs.working.dir=/kylin
1.6 kylin.hdfs.working.dir=kylin