Hadoopの——SQOOPノート

1284 ワード

JAVA Hadoop 雲の計算 Hadoop生態 Java

       :http://blog.csdn.net/l1028386804/article/details/46517039

SQOOPはデータを導入してエクスポートするためのものです. (1)MySQL、OracleなどのデータベースのデータをHFS、Hive、HBaseに導入する
(2)HFS、Hive、HBaseのデータをMySQL、Oracleなどのデータベースにエクスポートする
1.データをmysqlからhdfsに導入する(デフォルトは/user/)

 sqoop import --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  --null-string '**'  -m 1 --append  --hive-import

 sqoop import --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  --null-string '**'  -m 1 --append  --hive-import  --check-column 'TBL_ID' --incremental append --last-value 6

2.hdfsからmysqlにデータを導出する

  sqoop export --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'

3.作業、運転作業に設定する

  sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  --null-string '**'  -m 1 --append  --hive-import

4.導入してエクスポートする事務は、Mapperタスク単位です.

package.json---解析