複数ファイルを一括読み込み&縦に結合(DataFrame)
0:はじめに
業務のデータ分析をする際に、複数のファイルを扱うことはありませんか?
例えば、1年分のデータを(2019_01.csv,2019_02.csv, .. .. ,2019_12.csv)と12個のファイルを用意される場合を考えて見てください。
一つずつ読み込み・結合するのは面倒くさいですよね。。
ここで便利なコードを紹介します。
(今回はカレントディレクトリに複数ファイルがある場合を想定します。他のディレクトリにある場合は、各々で引数に指定のディレクトリを当てはめて下さい。)
1:カレントディレクトリを取得
import os
#カレントディレクトリ取得
current_dir = os.getcwd()
current_dir
#以下のような形でカレントディレクトリを取得できます
>>> /Users/user_name/Date_science
#カレントディレクトリ内部のフォルダを取得
os.listdir(current_dir)
#以下のような形でカレントディレクトリ内の全ファイルを取得できます
>>>["2019_01.csv","2019_02.csv","2019_03.csv","2019_04.csv",....,"2019_12.csv"]
2:パスとファイル名を結合
tbl_order_file = os.path.join(current_dir,"2019_*.csv")
tbl_order_file
#ファイル名の「〜月」に当たる部分に「ワイルドカードの*」を指定することで、指定したファイルだけを表示できる。
#詳しくは3で。
>>>/Users/user_name/Date_science/2019_*.csv
3:指定ファイルを抽出
#globモジュールでは、引数に指定されたパターンにマッチするファイルパス名を取得することができる
import glob
tbl_order_files = glob.glob(tbl_order_file)
tbl_order_files
#以下のような形で指定ファイルを一括操作出来ました。
>>>['/Users/user_name/Date_science/2019_01.csv',
'/Users/user_name/Date_science/2019_02.csv',
'/Users/user_name/Date_science/2019_03.csv',
..................,
..................,
'/Users/user_name/Date_science/2019_12.csv']
4:データフレーム結合
all_df = pd.DataFrame()
for file in tbl_order_files:
all_df = pd.read_csv(file)
print(f"{file}:{len(order_data)}")
all_df = pd.concat([all_df, order_data],ignore_index = True)
#以下のような形で「どのファイルを」・「データ数」を出力させながら、データフレームを縦に結合させることが出来ます。
>>>
2019_01.csv:233301
2019_02.csv:233260
2019_03.csv:241139
.................,
.................,
2019_12.csv:241135
5:まとめ
import os
import glob
current_dir = os.getcwd()
tbl_order_file = os.path.join(current_dir,"2019_*.csv")
tbl_order_files = glob.glob(tbl_order_file)
all_df = pd.DataFrame()
for file in tbl_order_files:
all_df = pd.read_csv(file)
print(f"{file}:{len(order_data)}")
all_df = pd.concat([all_df, order_data],ignore_index = True)
import os
#カレントディレクトリ取得
current_dir = os.getcwd()
current_dir
#以下のような形でカレントディレクトリを取得できます
>>> /Users/user_name/Date_science
#カレントディレクトリ内部のフォルダを取得
os.listdir(current_dir)
#以下のような形でカレントディレクトリ内の全ファイルを取得できます
>>>["2019_01.csv","2019_02.csv","2019_03.csv","2019_04.csv",....,"2019_12.csv"]
tbl_order_file = os.path.join(current_dir,"2019_*.csv")
tbl_order_file
#ファイル名の「〜月」に当たる部分に「ワイルドカードの*」を指定することで、指定したファイルだけを表示できる。
#詳しくは3で。
>>>/Users/user_name/Date_science/2019_*.csv
3:指定ファイルを抽出
#globモジュールでは、引数に指定されたパターンにマッチするファイルパス名を取得することができる
import glob
tbl_order_files = glob.glob(tbl_order_file)
tbl_order_files
#以下のような形で指定ファイルを一括操作出来ました。
>>>['/Users/user_name/Date_science/2019_01.csv',
'/Users/user_name/Date_science/2019_02.csv',
'/Users/user_name/Date_science/2019_03.csv',
..................,
..................,
'/Users/user_name/Date_science/2019_12.csv']
4:データフレーム結合
all_df = pd.DataFrame()
for file in tbl_order_files:
all_df = pd.read_csv(file)
print(f"{file}:{len(order_data)}")
all_df = pd.concat([all_df, order_data],ignore_index = True)
#以下のような形で「どのファイルを」・「データ数」を出力させながら、データフレームを縦に結合させることが出来ます。
>>>
2019_01.csv:233301
2019_02.csv:233260
2019_03.csv:241139
.................,
.................,
2019_12.csv:241135
5:まとめ
import os
import glob
current_dir = os.getcwd()
tbl_order_file = os.path.join(current_dir,"2019_*.csv")
tbl_order_files = glob.glob(tbl_order_file)
all_df = pd.DataFrame()
for file in tbl_order_files:
all_df = pd.read_csv(file)
print(f"{file}:{len(order_data)}")
all_df = pd.concat([all_df, order_data],ignore_index = True)
#globモジュールでは、引数に指定されたパターンにマッチするファイルパス名を取得することができる
import glob
tbl_order_files = glob.glob(tbl_order_file)
tbl_order_files
#以下のような形で指定ファイルを一括操作出来ました。
>>>['/Users/user_name/Date_science/2019_01.csv',
'/Users/user_name/Date_science/2019_02.csv',
'/Users/user_name/Date_science/2019_03.csv',
..................,
..................,
'/Users/user_name/Date_science/2019_12.csv']
all_df = pd.DataFrame()
for file in tbl_order_files:
all_df = pd.read_csv(file)
print(f"{file}:{len(order_data)}")
all_df = pd.concat([all_df, order_data],ignore_index = True)
#以下のような形で「どのファイルを」・「データ数」を出力させながら、データフレームを縦に結合させることが出来ます。
>>>
2019_01.csv:233301
2019_02.csv:233260
2019_03.csv:241139
.................,
.................,
2019_12.csv:241135
5:まとめ
import os
import glob
current_dir = os.getcwd()
tbl_order_file = os.path.join(current_dir,"2019_*.csv")
tbl_order_files = glob.glob(tbl_order_file)
all_df = pd.DataFrame()
for file in tbl_order_files:
all_df = pd.read_csv(file)
print(f"{file}:{len(order_data)}")
all_df = pd.concat([all_df, order_data],ignore_index = True)
import os
import glob
current_dir = os.getcwd()
tbl_order_file = os.path.join(current_dir,"2019_*.csv")
tbl_order_files = glob.glob(tbl_order_file)
all_df = pd.DataFrame()
for file in tbl_order_files:
all_df = pd.read_csv(file)
print(f"{file}:{len(order_data)}")
all_df = pd.concat([all_df, order_data],ignore_index = True)
Author And Source
この問題について(複数ファイルを一括読み込み&縦に結合(DataFrame)), 我々は、より多くの情報をここで見つけました https://qiita.com/tomoxxx/items/775c994b742cd09a5b0e著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .