SPARKの簡単な操作

1、ローカルからhdfsにファイルをアップロードする

hdfs dfs -put  ~/Downloads/tac

フォルダの削除

hdfs dfs -rm -r ./tac
 cd /usr/local/dbtaobao/dataset
//    user_log.csv   1 
sed -i '1d' user_log.csv //1d     1 ，  ，3d     3 ，nd     n 
 //    head         5   ，            
head -5 user_log.csv

2、trajectoryテーブルの作成

  


 CREATE EXTERNAL TABLE dbtac.trajectory(vme_id STRING,gps_time STRING,work_state INT,ultrasonic_station INT,limit_switch_state INT,work_deep INT,longtitude DOUBLE,latitude DOUBLE,elevation INT,speed INT, course_direction INT)
   ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE ;


 load data inpath '/dbtac/tac/S901100003_2015.csv' into table trajectory;
LOAD DATA LOCAL INPATH '/win/test/test10.csv' INTO TABLE trajectory;

 load data inpath '/dbtac/tac/*.csv' into table trajectory;

DROP TABLE IF EXISTS trajectory;