SqoopのAppendとLastmodified

LastmodifiedとAppendモードの違い:Appendモードでは更新データが処理されず、Lastmodifiedモードでは
Appendはダイナミックな追加をサポートします.変更はサポートされていません.

sqoop import \
--connect jdbc:mysql://192.168.164.25:3306/stock \
--username root \
--password 111111 \
--query "select id,name from person_all where \$CONDITIONS" \
--target-dir /user/root/person_all \
--split-by id \
-m 1 \
--check-column id \
--incremental append \
--last-value 4
Id  4  
     

構文解析:sqoop import:SQOOPコマンド、リレーショナル・データベースの導関数からHadoop-check-column:インクリメンタル・データをチェックする列-incremental append:インクリメンタル・モードに設定-last-value:ソース・データのすべての-last valueより大きい値がHadoopにインポートされます
Lastmodifiedはデータを修正したり増加したりすることができます

sqoop import \
--connect jdbc:mysql://192.168.164.25:3306/test \
--username root \
--password 111111 \
--query "select id,name,time from t1 where \$CONDITIONS" \
--target-dir /user/root/person_all \
--split-by id \
-m 1 \
--check-column time \
--incremental lastmodified \
--merge-key Id \
--last-value "2015-08-25 03:12:46"

構文解析:sqoop import:SQOOPコマンド、リレーショナル・データベースの導関数からHadoop-check-column:timestamp列-incremental lastmodified:最終変更モードに設定-merge-key:一意のプライマリ・キー-last-value:最終時間より大きいすべてのデータが更新されます