pythonはnginxのaccessログの統計を実現する


社長はurlの毎日のアクセス量を見るように要求していますが、システムは開発時にこのようなカウントをしていません.そこで、私は前段の負荷がnginxで作ったので、accessログがあるので、accessログから結果を分析してみました.最終的な効果は実現したのかもしれません.効率はそんなに高くないかもしれません.論理はそんなに合理的ではありません.少なくとも効果は達成しました.もし間違っていたら、噴き出さないでください.交流します.そうすれば、そうです.交流しません.
シナリオの内容は以下のとおりです.
#!/usr/bin/python
# _*_coding:utf-8 _*_
import os
import shutil
import sys
import re
import random
import time
from xlrd.formula import nop
#     
reload(sys)
sys.setdefaultencoding('utf-8')
#   :
#1、            
#2、        ,           
#3、                   
#4、        ,      url      
#5、        ,     ,                  
#6、            ,         
#7、    :        url   ,     access    
####################################
#        
save_result="/Users/liuli/Desktop/access"
log_file_source="/Users/liuli/Desktop/test.log"
####################################
#    
def copyFiles(sourceFile, targetFile):
    open(targetFile, "wb").write(open(sourceFile, "rb").read())
if os.path.exists(save_result):
    shutil.rmtree(save_result)
    os.makedirs(save_result)
else:
    os.makedirs(save_result)
#     
def count_lines(file):
    try:
        fp = open(file, "r")
        return str(len(fp.readlines()))
    except Exception,e:
        return
        print e
        sys.exit(0)
    finally:
        fp.close()
#    
def iscontain(regrex, strings):
    try:
        pattern = re.compile(regrex, re.S)
        item = pattern.search(strings).group()
        return item
    except Exception, e:
        return
        print e
        sys.exit(0)
#         
def get_today_month3():
    ISOTIMEFORMAT = '%B'
    return str(time.strftime(ISOTIMEFORMAT, time.localtime())[0:3])
#         
def get_today_day():
    ISOTIMEFORMAT = '%d'
    return str(time.strftime(ISOTIMEFORMAT, time.localtime()))
#       
def write_to_file(file,strings):
    if os.path.isfile(file):
        try:
            file_object = open(file, "a")
            file_object.write(strings)
        except Exception, e:
            print e
        finally:
            file_object.close()
    else:
        try:
            file_object = open(file, "w")
            file_object.write(strings)
        except Exception, e:
            print e
        finally:
            file_object.close()
# nginx             !
write_to_file(save_result + "/log_format.txt",'$remote_addr - $remote_user [$time_local] \"$request\" ' '$status $body_bytes_sent \"$http_referer\" ' '\"$http_user_agent\" $http_x_forwarded_for \"$upstream_addr\" \"$upstream_status\" \"$upstream_response_time\" \"$request_time\"')
#   
num = random.randrange(10086, 1008611)
log_file = "/tmp/nginx_counter_tmp_" + str(num) + ".log"
#        ,           
copyFiles(log_file_source, log_file)
days=[]
all_regrex=[]
forword_regrex="^[0-9].([0-9]{1,3}\.){3}[0-9]{1,3}\ -\ -\ "
day_regrex="(\[)([0-3]{1})([0-9]{1})(\/)(\w{3})(\/)(\d{4})"
conn_regrex="([\s\S]*)"
count_regrex="((GET)|(POST))(\ )(\/)(tserv)(\ )(HTTP)([\s\S]*)"
#      days
f=open(log_file,"r")
line = f.readline()
i=0
while line:
    pattern = re.compile(day_regrex, re.S)
    if pattern.search(line) is None :
        day111 = '1'
    else:
        item=pattern.search(line).group()
        regrexs = forword_regrex+"\\" + item + conn_regrex + count_regrex
        pattern1 = re.compile(regrexs, re.S)
        if pattern1.search(line) is None :
            day111 = '1'
        else:
            item1 = pattern1.search(line).group()
            write_to_file(save_result+"/" + str(item).replace("[", "").replace("/", "_").replace("]", "").replace(":","_") + ".txt",str(item1))
    line = f.readline()
#         :
f.close()
os.remove(log_file)
#           
#                 【   】    
for file in  os.listdir(save_result):
    write_to_file(save_result+"/count_save.txt",file+" lines "+count_lines(save_result+"/"+file)+"
")