0. 本記事の内容

この記事はデータ分析をするための、ファイルを読み込み、出力の方法をメモとして残すものです。

1．参考サイト

pandasでcsv/tsvファイル読み込み（read_csv, read_table）

2. jupyther- notebookでのCSV読み込み

df = pd.read_csv('train.csv', sep = ',', na_values = '.', header = None)

Tips　読み込みタイプ

csvファイルの読み込みはread_csv()、tsvファイル（タブ区切り）の読み込みはread_table()

Tips　データの区切り

カンマでもタブでもないデータの区切りの場合、引数（sepかdelimiter）で区切り文字の指定が可能。

Tips　読み込みデータにheaderがない場合

標準で読み込みデータの1行目はheaderとして扱われる。読み込みデータにheaderがない場合は、header = None と指定する。

Tips　読み込みデータにheaderがある場合

headerの読み込み位置を header=2 などで、明示的に指定する。指定個所以前は読み込まれない。

Tips 読み込みデータ型

データ読み込み時に、データ型を指定する場合は2通りある。1つ目は dtype = strとして指定する場合。これは読み込みデータすべてに適応される。2つ目は dtype={'b': str, 'c': str}と辞書形式で指定する。

Tips 欠損値の扱い

データ読み込み時に欠損値として扱いたい場合は、 na_values = ["-","."] と指定することで、欠損値扱いすることができる。

3. Google ColaboratoryでのCSV読み込み

1．アイコンクリック
2．Mount Drive選択
3．自動でこの部分が追加される（※）

3以降．別画面にてColaboratoryと連携をするアカウントを求められるので、選択。その後IDが発行されるため、IDをコピーしてColaboratoryに貼り付け。

（※）自動で追加されない場合は以下コマンドを記載

from google.colab import drive
drive.mount('/content/drive')

pd.reac_csv() にて以下の通り、パスを指定をする

data_fixed = pd.read_csv("/content/drive/My Drive/ColabNotebooks/XXX.csv")

それ以降のCSVファイルの読み込みは 2. jupyther- notebookでのCSV読み込み と同じ。

3.2　ローカルからアップロード

以下コマンドにて、ローカルからアップロードをするファイルをせんたｋ

from google.colab import files
uploaded = files.upload()

import io
df = pd.read_csv(io.StringIO(uploaded['XXX.csv'].decode('utf-8')))

XXX.csvはアップロードをしたCSVファイルです。

4．Google ColaboratoryへのCSVファイル出力

出力形式は以下の通り。

df.to_csv("/content/drive/My Drive/Colab Notebooks/XXX.csv")

5．ブラウザ経由でローカルへダウンロード（Google ColaboratoryとJupyter-notebook共通）

df.to_csv('XXX.csv' , index=False)
files.download('XXX.csv')

Tips indexの省略

データ出力時に index 部分が必要ない場合は、 index = False と指定する。kaggleでcommitする際に index が必要ないケースが多いため個人的には役立つ。

Tips colaboratoryからのダウンロード

colaboratoryからダウンロードする際は以下を読み込む必要がある。

from google.colab import files