hive、mysql、sparksql比較

主に実験によって三者の速度を比較した.データ生成Pythonコード

import csv
import random
import pymysql

if __name__ == "__main__":
    def getOneTraj():
        vme_id = 'S90110000' + str(random.randint(2, 9))
        gps_time = '2015-08-' + str(random.randint(10, 30)) + ' 09:29:11'
        work_state = str(random.randint(0, 1))
        ultrasonic_station = str(random.randint(0, 1))
        limit_switch_state = str(random.randint(0, 1))
        work_deep = str(random.randint(0, 1000))
        longtitude = str(random.uniform(60, 90))
        latitude = str(random.uniform(30, 60))
        elevation = str(random.uniform(0, 1160))
        speed = str(random.uniform(0, 60))
        course_direction = str(random.randint(0, 599))
        str1 = vme_id + '\t' + gps_time + '\t' + work_state + '\t' + ultrasonic_station + '\t' + limit_switch_state + '\t' + work_deep + '\t' + longtitude + '\t' + latitude + '\t' + elevation + '\t' + speed + '\t' + course_direction + '
'
        return str1


    count = 10
    for i  in [4000,4000,4000,4000,4000,4000,4000,4000,4000,4000]:
        fileName = 'test'+str(count)+'.csv'
        count = count + 1
        f = open(fileName, 'w')
        print(i)
        for k in range(0,i):
            str1=''
            for j in range(0,10000):
                str1 = str1+ getOneTraj()
            f.write(str1)
        f.close()

パフォーマンス評価sql文

select count(*)  from trajectory;
select  count(*)  from trajectory  group by vme_id  ;

1、mysql検索速度のテスト

#   
CREATE DATABASE dbtac;
USE dbtac;

CREATE TABLE trajectory  (vme_id varchar(100),gps_time varchar(100),work_state  INT,ultrasonic_station  INT,limit_switch_state  INT,work_deep INT,longtitude DOUBLE,latitude DOUBLE,elevation INT,speed INT, course_direction INT);

#      
insert into trajectory values('sdd','21',1,1,1,1,1,1,1,1,1);

mysqlはcsvを直接インポートできますが、Ubuntuシステムには権限の問題が多く、何度も試しても成功しないので、方法を使います.Pythonプログラミングを使用してpymysqlからmysqlにデータを追加

import pymysql
import random
import datetime   
print('   mysql   ...')
conn = pymysql.connect("localhost","root","123","dbtac")
print('    !')
cursor = conn.cursor()
values=[]  
for i in range(400):  #     400 ，    4    
    values=[] 
    now=datetime.datetime.now()
    for j in range(1000000):# 100w        ，        
        vme_id = 'S90110000' + str(random.randint(2, 9))
        gps_time = '2015-08-' + str(random.randint(10, 30)) + ' 09:29:11'
        work_state = (random.randint(0, 1))
        ultrasonic_station = (random.randint(0, 1))
        limit_switch_state = (random.randint(0, 1))
        work_deep = (random.randint(0, 900))
        longtitude = (random.uniform(60, 90))
        latitude = (random.uniform(30, 60))
        elevation = (random.uniform(0, 1160))
        speed = (random.uniform(0, 60))
        course_direction = (random.randint(0, 599))                
        value=(vme_id,gps_time,work_state,ultrasonic_station,limit_switch_state,work_deep,longtitude,latitude,elevation,speed,course_direction)  
        values.append(value)
    end=datetime.datetime.now()
    print('get the number: ')
    print ((end - now))
    now=datetime.datetime.now()
    cursor.executemany("insert into trajectory values(%s,%s,%s, %s, %s, %s, %s,%s,%s, %s, %s)",values)  
    conn.commit()
    end=datetime.datetime.now()
    print('insert:')
    print (( end-now))  
cursor.close()  
conn.close()  
quit()

注意:mysqlデータベースに4億件のデータ(約40 G)を追加するのは遅いので、12時間以上かかります.解決方法:Python端末を複数実行し、上記のプログラムを同時に実行するには、iの値を変更する必要があります.
2.spark-sql

#  Hadoop  
start-all.sh  
#  spark   
start-master.sh
start-slaves.sh

#  spark-sql  
spark-sql --master spark://master:7077  --driver-cores 8  --driver-java-options "-Dspark.driver.port=4050"  --conf spark.sql.warehouse.dir = hdfs://master:9000/user/hive/warehouse   --master yarn


#              spark-sql
spark-sql

参照:クラスタ上でsparkを実行する
Hadoopクラスタの実行状況のWebサイトの表示http://localhost:50070/sparkクラスタの運用状況のWebサイトの表示http://master:8080/
spark-sqlに入ってから運転

CREATE DATABASE dbtac; 
use dbtac;

DROP TABLE IF EXISTS trajectory;
#          
truncate table trajectory;

CREATE  TABLE dbtac.trajectory(vme_id STRING,gps_time STRING,work_state INT,ultrasonic_station INT,limit_switch_state INT,work_deep INT,longtitude DOUBLE,latitude DOUBLE,elevation INT,speed INT, course_direction INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE ;

#    hdfs        
load data inpath 'hdfs://Master:9000/dbtac/test/test10.csv'   into table trajectory;

#              
LOAD DATA LOCAL INPATH '/win/test/test10.csv' INTO TABLE trajectory;

パフォーマンスの表示

select count(*) from trajectory where work_deep>40;
select count(*) from trajectory where work_deep>40 and speed >20;

一定数のレコードを削除

delete from trajectory limit 100000；

3、 hive
hdfsにファイルをアップロード

hdfs dfs -mkdir /dbtac
hdfs dfs -put /usr/local/dbtac/tac  /dbtac
hdfs dfs -ls  /dbtac/tac

hdfs dfs -rm -r  /dbtac  #  dbtac   

hiveの起動

cd /usr/local/hive
./bin/hive

hiveコマンドに進む

CREATE DATABASE dbtac; 
use dbtac;#   dbtac   

DROP TABLE IF EXISTS trajectory;
#     
 CREATE EXTERNAL TABLE dbtac.trajectory(vme_id STRING,gps_time STRING,work_state INT,ultrasonic_station INT,limit_switch_state INT,work_deep INT,longtitude DOUBLE,latitude DOUBLE,elevation INT,speed INT, course_direction INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE ;

#  hdfs    
load data inpath 'hdfs://Master:9000/user/hive/warehouse/dbtac.db/trajectory/test.csv'   into table trajectory;

その他
Windows上の共有ディレクトリをUbuntuにロードし、Windowsのデータを共有する方法

sudo apt-get install cifs-utils
sudo mkdir  /win
 sudo mount -t cifs  -o username=xiaojing,password=xxx  //192.168.17.122/mydata  /win