HiveデータインポートMysql

1268 ワード

1.Hiveでテーブルのストレージパスを表示する:show create table tablename2.hdfsで経路をLinuxローカルにコピーします.
    sudo -u user hadoop fs -get  /.../part-00000  /localpath/part-00000

3.コピーしたデータをMysqlにインポートする:
    mysql -h host -u user -P 3321 -D db -ppassword --default-character-set=utf8 --local-infile=1 -e "LOAD DATA LOCAL INFILE '/localpath/part-00000' INTO TABLE longtrip_search_info(column_name)"

column_nameはカンマで区切られます.
また、複数日データをインポートする場合は、ステップ2で-getを-getmergeに置き換えることができます(-getmerge:パスの下のファイルを1つのファイルにマージしてコピーします)