pandasによるファイルデータの一括抽出

4319 ワード

数式を先に上げる
import time
import math
import os
import sys


import os, os.path,shutil
import pandas as pd
import numpy as np 
#os.chidr()                  
os.chdir(r'C:\Users\zzhbq034\Desktop\123\       \    ')
#         
file_chdir=os.getcwd()
#          txt    
#       txt      
filetxt_list = []
#os.walk()                       ,      ,             ,     ,             ,       
#root                     
#dir   list,                 
#files   list,             
for root,dirs,files in os.walk(file_chdir):
    for file in files:
        if os.path.splitext(file)[1]== '.txt':
            filetxt_list.append(file)
filetxt_list
#    
data = pd.DataFrame()
for txt in filetxt_list:
    data = data.append(pd.read_csv(txt,header=0,encoding='gb18030'))
data

今回のコンテンツに必要な知識点1は、現在のワークパスを取得する方法がosである.getcwd()2、現在の作業経路を変更する方法はos.chdir(経路)3,os.path.splitxt(パス)この関数は、ファイルパスとファイルタイプを分けることができます.os.path.splitext(r'C:Users1596969759 rep.txt’)のようなファイルタイプを抽出するために使用される2つの要素のリストです.このリストは('C:Userszzhbq 034Desktop123河北賠償率計算保証リスト15969759 rep','.txt')2番目の要素は「.ファイルの種類を追加しないでください.「忘れた4,os.walk(ファイルパス)を与えると、このメソッドは3つのデータroot,dir,files rootが現在のパス自体のアドレスdirであるこのパスの下のすべてのフォルダの名前filesがこのパスの下のすべてのファイルの名前を指す.今回この関数を利用してフォルダ内のすべてのファイルの名前を抽出する
参照先:https://blog.csdn.net/yyy430/article/details/82144021