threadingとqueueは2つのlogのpythonスクリプトを監視する
2537 ワード
# coding:utf-8
__author__ = 'admin'
# --------------------------------
# Created by admin on 2015/5/29.
# ---------------------------------
#/usr/bin/python
import redis,re,subprocess,threading,Queue
host="192.168.8.137"
wiki_log="/home/nginx/logs/wiki.log"
other_log="/home/nginx/logs/other.log"
_popen={}
queue=Queue.Queue()
#logの1行のデータを取得
def get_one_line(logpath):
"get one line from log,logpath mast be a str"
global _popen,state
if not _popen.has_key(logpath):
_popen[logpath]=subprocess.Popen("tail -f %s"%(logpath,),stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)
a=_popen[logpath].stdout.readline()
return a
#一度アクセスしたIPの取得
def get_guest_ip_info(log):
"get guest ip,this fun return a string"
while 1:
info=get_one_line(log)
ip=re.match("^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}",info)
return ip.group()
def ip_count():
global queue
r = redis.Redis(host=host, port=6379, db=0)
while 1:
item=queue.get()
if not r.exists(item[0]):
r.zadd(item[0],item[1],1)
else:
#直接書いてもいいですが、key値が存在しないと自動的に作成されます
r.zincrby(item[0],item[1],1)
def start_thread(target,args):
"start a theard"
t=threading.Thread(target=target,args=args)
#setDaemon(True)を加えると、メインスレッドはサブスレッドの終了を待たずにすべてのスレッドを閉じ、サブスレッドでprintデバッグされた内容はフロントに表示されません
# t.setDaemon(True)
t.start()
def put_ip(log_name,log):
global queue
while 1:
ip=get_guest_ip_info(log)
queue.put([log_name,ip])
def handle():
#put_を避けるためにipはデッドサイクル(while 1:)に陥って後のコードを実行できないため、各関数は1つのスレッドで単独で実行されます.
#targetターゲット関数はカッコ付けできません.argsが空の場合は()で、パラメータの場合は(agrs,)で表します.
start_thread(put_ip,("wiki",wiki_log))
start_thread(put_ip,("other",other_log))
start_thread(ip_count,())
def main():
#メインスレッド
start_thread(handle,())
if __name__ == '__main__':
main()
__author__ = 'admin'
# --------------------------------
# Created by admin on 2015/5/29.
# ---------------------------------
#/usr/bin/python
import redis,re,subprocess,threading,Queue
host="192.168.8.137"
wiki_log="/home/nginx/logs/wiki.log"
other_log="/home/nginx/logs/other.log"
_popen={}
queue=Queue.Queue()
#logの1行のデータを取得
def get_one_line(logpath):
"get one line from log,logpath mast be a str"
global _popen,state
if not _popen.has_key(logpath):
_popen[logpath]=subprocess.Popen("tail -f %s"%(logpath,),stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)
a=_popen[logpath].stdout.readline()
return a
#一度アクセスしたIPの取得
def get_guest_ip_info(log):
"get guest ip,this fun return a string"
while 1:
info=get_one_line(log)
ip=re.match("^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}",info)
return ip.group()
def ip_count():
global queue
r = redis.Redis(host=host, port=6379, db=0)
while 1:
item=queue.get()
if not r.exists(item[0]):
r.zadd(item[0],item[1],1)
else:
#直接書いてもいいですが、key値が存在しないと自動的に作成されます
r.zincrby(item[0],item[1],1)
def start_thread(target,args):
"start a theard"
t=threading.Thread(target=target,args=args)
#setDaemon(True)を加えると、メインスレッドはサブスレッドの終了を待たずにすべてのスレッドを閉じ、サブスレッドでprintデバッグされた内容はフロントに表示されません
# t.setDaemon(True)
t.start()
def put_ip(log_name,log):
global queue
while 1:
ip=get_guest_ip_info(log)
queue.put([log_name,ip])
def handle():
#put_を避けるためにipはデッドサイクル(while 1:)に陥って後のコードを実行できないため、各関数は1つのスレッドで単独で実行されます.
#targetターゲット関数はカッコ付けできません.argsが空の場合は()で、パラメータの場合は(agrs,)で表します.
start_thread(put_ip,("wiki",wiki_log))
start_thread(put_ip,("other",other_log))
start_thread(ip_count,())
def main():
#メインスレッド
start_thread(handle,())
if __name__ == '__main__':
main()
# ps -ef |grep python
#python ip_count.py &
# 192.168.8.137
#redis-cli -h 192.168.8.137
#keys "wiki"
#ZRANGE wiki 0 -1 withscores