WDSM 3はCollabを使用してデータをダウンロードする


データのダウンロード


coapでデータをダウンロードし、解凍します.

1.接続情報の入力

  • Kglobleフォルダを作成します.
  • トークンがJsonファイルであるため、jsonモジュールをインストールします.
  • キャッシュフォルダにタグを作成します.
  • !mkdir ./kaggle
    import json
    token = {"username":####,"key":####}
    
    with open('/content/kaggle/kaggle.json', 'w') as file:
        json.dump(token, file)
  • トークンはKgloble>Accountからダウンロードできます.
  • 2.パスの指定

    !chmod 600 ./kaggle/kaggle.json
    !cp /content/kaggle/kaggle.json ~/.kaggle/kaggle.json
    !kaggle config set -n path -v{/content}

    3.グーグルドライブ連動

    from google.colab import drive
    drive.mount('/gdrive')

    4.ファイルパスの変更

    cd ../gdrive/My Drive/Kaggle/WSDM_210815/data

    5.ファイルのダウンロード

    !kaggle competitions download -c kkbox-churn-prediction-challenge

    6.書類を検査する

    !p7zip -d {/content}/competitions/kkbox-churn-prediction-challenge/user_logs.csv.7z

    7.解凍(例)と移動ファイル(スキップ)


    7 zに圧縮するため、対応する解凍を行う
    -dは解凍後にファイルを削除するオプションです
    !p7zip -d ./kkbox-churn-prediction-challenge/user_logs.csv.7z

    8.書類を検査する

    !ls ./kkbox-churn-prediction-challenge

    9. unzip and delete

    !p7zip -d ./kkbox-churn-prediction-challenge/members_v3.csv.7z
    !p7zip -d ./kkbox-churn-prediction-challenge/train.csv.7z
    !p7zip -d ./kkbox-churn-prediction-challenge/transactions_v2.csv.7z
    !p7zip -d ./kkbox-churn-prediction-challenge/sample_submission_v2.csv.7z
    !p7zip -d ./kkbox-churn-prediction-challenge/train_v2.csv.7z	    
    !p7zip -d ./kkbox-churn-prediction-challenge/user_logs_v2.csv.7z
    !p7zip -d ./kkbox-churn-prediction-challenge/sample_submission_zero.csv.7z  
    !p7zip -d ./kkbox-churn-prediction-challenge/transactions.csv.7z 
  • 参考資料
    https://dschloe.github.io/kaggle/colab_with_drive/