safegraphデータ洗浄-2020-06-08-weekly-patterns.csv

古いバージョンのデータ、すでに廃棄して、新しいデータは超大きいCSVを数個の1 Gより小さい小さい小さい小さいファイルに分割して、平均してファイルごとに80万本のデータがあります
2020-06-08-weekly-patterns.csvは例:ファイルサイズ4.37 GB、コンテンツ期間20200608-20200615.合計25フィールド、mysql上の統計は3819825データ、pandas上の統計は3819697データで、WPSが開くと1048576データしか見えません.通常の環境でpythonを使用するpandasのロードには60秒以上かかります.sublime text 3で体感を開くには20秒~40秒かかります.WPSを使用して体感をロードするには40秒以上かかり、類似のサイズまたは数十万個のデータのcsvを複数開くと、WPSは正常に開くことができず、ローラを下にスクロールすると画面が詰まります.MySQLデータベースサービスを利用すると、データベースはノートにインストールされ、標準的な構成を使用します.つまり、開発環境に従ってデータベースを構成すると、データベースの実行時のメモリ消費量が低くなり、Navicat v 11を使用します.0インポートcsvファイルには長い時間がかかり、現在50分で226万件のデータが処理されています.進捗バーの59%を占めています.

#           ：
INSERT INTO `safegraph`.`2020-06-08-weekly-patterns` (`safegraph_place_id`, `location_name`, `street_address`, `city`, `region`, `postal_code`, `iso_country_code`, `safegraph_brand_ids`, `brands`, `date_range_start`, `date_range_end`, `raw_visit_counts`, `raw_visitor_counts`, `visits_by_day`, `visits_by_each_hour`, `poi_cbg`, `visitor_home_cbgs`, `visitor_daytime_cbgs`, `visitor_country_of_origin`, `distance_from_home`, `median_dwell`, `bucketed_dwell_times`, `related_same_day_brand`, `related_same_week_brand`, `device_type`) VALUES ('sg:0f732233b4f146b09ce2398e02063b47', 'The Art of Shaving', '55 W 49th St', 'New York', 'NY', '10112', 'US', 'SG_BRAND_2b2de6e5e806bd0b', 'The Art of Shaving', '2020-06-08T00:00:00-04:00', '2020-06-15T00:00:00-04:00', '22', '17', '[5,3,4,6,2,0,2]', '[1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,1,0,0,0,0,0,1,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,1,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,2,1,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1]', '360610104001', '{\"340390349002\":4,\"360610022014\":4,\"340130158003\":4}', '{\"340390348004\":4}', '{\"US\":16}', '12214', '73.5', '{\"<5\":0,\"5-20\":6,\"21-60\":4,\"61-240\":9,\">240\":3}', '{\"Cole Haan\":25,\"Build A Bear Workshop\":25}', '{\"sweetgreen\":23,\"Sports Clubs Network\":18,\"Subway\":14,\"by CHLOE\":12,\"Hale and Hearty\":12,\"LOFT\":12,\"Build A Bear Workshop\":12,\"Bed Bath & Beyond\":12,\"Dunkin\'\":10,\"Wendy\'s\":9,\"Starbucks\":7,\"Topshop\":6,\"Haru Sushi\":6,\"Melt Shop\":6,\"Amazon Go\":6,\"Godiva\":6,\"Cole Haan\":6,\"LEGO\":6,\"Del Frisco\'s Grille\":6,\"ALDO\":6}', '{\"android\":7,\"ios\":11}');

データに現在表示されている問題:

WPSフィルタリングとpandasコマンドcountにより、一部のデータに乱符号化とずれの問題、すなわちlocation_があることが分かった.nameはlocation_name+文字化けし+street_addressのデータは、他のデータ全体が左に1列並んでおり、一部の問題データから中国の店舗やレストランが多く見られ、英語国家プロジェクトグループが整理したデータであるため、これらの問題は中華料理店の名前に中国語が関係している可能性がある.

navicatでデータをインポートするとmysqlにsafegraph_place_idは同じで、内容は同じデータであるがpandasによる条件照会の結果、このような現象は存在しないことが分かった

.

df1=df[df["safegraph_place_id"].str.contains("sg:0f732233b4f146b09ce2398e02063b47")]#    [1 rows x 25 columns]

python−pandasを除いては他の方法のロード速度が遅すぎるが、可視化処理が可能であり、pandasは60秒毎に読み取りを行ってから処理するしかないという利点がある.SOLVE:df1=df[df[“safegraph_place_id”].str.contains(「sg:0 f 732233 b 4 f 146 b 09 ce 2398 e 02063 b 47」)は、jupyter notebookでpythonコードをステップ的に実行し、クエリーごとに異なる変数名を使用すると、60秒待つたびに超大csvファイル

をロードする必要はありません.
そこでjupyter notebook+pythonでデータ洗浄を行うことにしました

import pandas as pd
import time
fileLocation='D:/2020-06-08-weekly-patterns.csv'
timee=time.process_time()


df=pd.read_csv(fileLocation)
print(time.process_time()-timee)
timee=time.process_time()
df1=df[df["safegraph_place_id"].str.contains("sg:0f732233b4f146b09ce2398e02063b47")]
print(time.process_time()-timee)
timee=time.process_time()
#           .csv  
# now = time.strftime("%Y-%m-%d-%H_%M_%S",time.localtime(time.time())) 
# fname="D:/safegraph_CSV/weekly-patterns"+now+".csv"
# df1.to_csv(fname)
print(df1)

未完待続...