Python千万級辞書クイックスクリプト
あなたが毎日目が覚めるのがすべて日光であることを望んで、他の人のいくつかの言叶のためではありませんて、いくつかの表情といくつかの振る舞いは自分の気持ちに影响して、よく生活して、いつもすばらしい事に出会うことができます..
一、ダウンロードアドレス
https://github.com/teamssix/quchong
二、pyhonスクリプトをローカルにダウンロードする
git clone https://github.com/teamssix/quchong.git
三、使い方
1、python 2環境が必要
2、重いファイルとpythonスクリプトを一緒に置く
3、重複する内容のあるいくつかのファイルを新規作成し、pythonスクリプトと一緒にいない場所/root/123に置く
4、pythonスクリプトの修正
#coding=utf-8 import sys, re, os def file_merge(): input_path=「/root/123/」#ここに自分のパスを記入し、最後の「/」#がosを使用することに注意してください.listdir関数は、パスの下にあるすべてのファイル名を取得し、listで使用するosが存在する.path.join関数、ファイル名とパスを絶対パスwhole_につづるfile=[os.path.join(input_path,file)for file in os.listdir(input_path)]content=[]#各パスを開いた後、readlineを使用してすべてのコンテンツfor w in whole_を取得file:with open(w,‘rb’)as f:content=content+f.readline()#出力のパスを構築し、入力パスと同じフォルダの下に入力し、フォルダ内にこのファイルがなければ自動的にoutput_を作成しますpath = os.path.join(input_path,‘すべてのファイルをマージ.txt’)#ファイルwith open(output_path,‘wb’)as f:f.writelines(content)にコンテンツを書き込む
def getDictList(dict): regx = ‘’’[\w~`!@#$%^&*()_-+=[]{}:;,./<>?]+’’’ with open(dict) as f: data = f.read() return re.findall(regx, data)
def rmdp(dictList): return list(set(dictList))
def fileSave(dictRmdp, out): with open(out, ‘a’) as f: for line in dictRmdp: f.write(line + ‘’)
def main():try:dict='/root/123/すべてのファイルをマージします.txt'out='/root/123/すべてのファイルを再読み込みします.txt’ except Exception, e: print ‘error:’, e me = os.path.basename(file) exit()
if name == ‘main’: file_merge() main()
5、python2 quchong.pyスクリプトを実行すると、/root/123ディレクトリの下で重み付けファイルが生成されます
6、動作原理
現在のディレクトリの下のすべてのファイルを1つのファイルにマージ:すべてのファイルをマージ.txtは、そのファイルをデクリメントし、最終的にすべてのファイルをデクリメントする.txt、このファイルが最後に欲しいファイルです.
一、ダウンロードアドレス
https://github.com/teamssix/quchong
二、pyhonスクリプトをローカルにダウンロードする
git clone https://github.com/teamssix/quchong.git
三、使い方
1、python 2環境が必要
2、重いファイルとpythonスクリプトを一緒に置く
3、重複する内容のあるいくつかのファイルを新規作成し、pythonスクリプトと一緒にいない場所/root/123に置く
4、pythonスクリプトの修正
#coding=utf-8 import sys, re, os def file_merge(): input_path=「/root/123/」#ここに自分のパスを記入し、最後の「/」#がosを使用することに注意してください.listdir関数は、パスの下にあるすべてのファイル名を取得し、listで使用するosが存在する.path.join関数、ファイル名とパスを絶対パスwhole_につづるfile=[os.path.join(input_path,file)for file in os.listdir(input_path)]content=[]#各パスを開いた後、readlineを使用してすべてのコンテンツfor w in whole_を取得file:with open(w,‘rb’)as f:content=content+f.readline()#出力のパスを構築し、入力パスと同じフォルダの下に入力し、フォルダ内にこのファイルがなければ自動的にoutput_を作成しますpath = os.path.join(input_path,‘すべてのファイルをマージ.txt’)#ファイルwith open(output_path,‘wb’)as f:f.writelines(content)にコンテンツを書き込む
def getDictList(dict): regx = ‘’’[\w~`!@#$%^&*()_-+=[]{}:;,./<>?]+’’’ with open(dict) as f: data = f.read() return re.findall(regx, data)
def rmdp(dictList): return list(set(dictList))
def fileSave(dictRmdp, out): with open(out, ‘a’) as f: for line in dictRmdp: f.write(line + ‘’)
def main():try:dict='/root/123/すべてのファイルをマージします.txt'out='/root/123/すべてのファイルを再読み込みします.txt’ except Exception, e: print ‘error:’, e me = os.path.basename(file) exit()
dictList = getDictList(dict)
dictRmdp = rmdp(dictList)
fileSave(dictRmdp, out)
if name == ‘main’: file_merge() main()
5、python2 quchong.pyスクリプトを実行すると、/root/123ディレクトリの下で重み付けファイルが生成されます
6、動作原理
現在のディレクトリの下のすべてのファイルを1つのファイルにマージ:すべてのファイルをマージ.txtは、そのファイルをデクリメントし、最終的にすべてのファイルをデクリメントする.txt、このファイルが最後に欲しいファイルです.