hive実装マルチセパレータ
3543 ワード
hiveマルチセパレータテーブルの作成
一、外観をテストする：
create EXTERNAL --
table tmp.deli_tmp_0117
(
z1 string,
z2 string
) partitioned by (pt string comment 'YYYYMM')
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' --
WITH SERDEPROPERTIES ("field.delim"="ALGO") --
LOCATION 'hdfs:///user/data/aaa' -- ( ： )
にあるhdfs:///user/data/aaa下にbbbbディレクトリbbb下に読み込むファイルtestを格納
ファイルの内容
君ALGO
ステップ2:
-パーティションの追加:alter table tmp.deli_tmp_0117 add partition (pt='bbbb') location '/user/data/aaa/bbbb'
~~~sql
--
select * FROM tmp.deli_tmp_0117 where pt='bbbb'
二、内部表:--
create table tmp.deli_tmp_0117_mer
(
z1 string,
z2 string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' --
WITH SERDEPROPERTIES ("field.delim"="ALGO")
-パイロットデータload data inpath '/user/data/aaa/test' into table tmp.deli_tmp_0117_mer
create EXTERNAL --
table tmp.deli_tmp_0117
(
z1 string,
z2 string
) partitioned by (pt string comment 'YYYYMM')
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' --
WITH SERDEPROPERTIES ("field.delim"="ALGO") --
LOCATION 'hdfs:///user/data/aaa' -- ( ： )
alter table tmp.deli_tmp_0117 add partition (pt='bbbb') location '/user/data/aaa/bbbb'
~~~sql
--
select * FROM tmp.deli_tmp_0117 where pt='bbbb'
--
create table tmp.deli_tmp_0117_mer
(
z1 string,
z2 string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' --
WITH SERDEPROPERTIES ("field.delim"="ALGO")
load data inpath '/user/data/aaa/test' into table tmp.deli_tmp_0117_mer