python同時プログラミング--プロセス、スレッド、スレッド、ロック、プール、キュー

68551 ワード

python

文書ディレクトリ

オペレーティングシステムの概念

プロセス

multiprocessingモジュール

デーモン

マルチプロセスを使用して同時socketを実現するserver

ロック

生産者消費者モデル

データ共有

スレッドthreadingモジュール

デーモンスレッドおよびスレッドロック

再帰錠とデッドロック(科学者が麺を食べる)

キュー

プール

コモン

geventモジュール

asyncioモジュール

オペレーティングシステムの概念オペレーティングシステムヒューマンマシン矛盾:cpu 100%ワークI/O操作入出力メモリに対する複数のオペレーティングシステム:1つのプログラムがIOに遭遇すると、cpuを他の人に譲る順序の1つ1つの実行の構想が1台のコンピュータに共通に存在し、その中でパロディプログラムでcpuを実行させた後、もう一つのプログラムはcpuを引き続き使用してcpuの利用率を高めることができる単純な切り替えは時間を占有するが、マルチオペレーティングシステムの原理は全体的に時間を節約し、cpuの利用率を高める時空多重の概念単cpu分時オペレーティングシステム:プログラムごとに順番に1つのタイムスライスを実行し、タイムスライスが回転し、FCFSタイムスライスのリアルタイムオペレーティングシステムの分散オペレーティングシステムにユーザー体験を向上させた:大きなタスクを多くの小さなタスクに分解し、それぞれ異なるオペレーティングシステムに実行し、最後にまとめた.タスク分解可能celery python分散フレームワーク

プロセス:進行中のプログラム.リソースの占有にはオペレーティングシステム呼び出しpidが必要です.プロセスコンピュータ内の最小のリソース割り当て単位を一意に識別できます.複数のプログラムが同時に実行されます.1つのcpuのみが、複数のプログラムが1つのcpu上で順番に実行されます.複数のプログラムを並列に実行し、複数のcpu上で同時に実行します.同期は、あることをするときに別のことを開始し、前回のイベントが終了してから非同期を実行する必要があります.Aイベントを行うときにBイベントを開始します.Aイベントが終了するのを待つ必要はありません.Bイベントブロックcpuが動作しない非ブロックcpu動作を開始できます.同期ブロック:input sleep(cpuが動作しない)非同期ブロックスレッドはプロセスの単位です.プロセス存在から離脱できないスレッドは、コンピュータにおいてcpuによってスケジューリング可能な最小単位プロセスの3つの状態図である:準備完了実行->ブロック->準備完了->実行プロセスのスケジューリングアルゴリズムは、すべてのプロセスにリソースを割り当てるか、cpu使用権を割り当てる方法短作業優先先サービスマルチレベルフィードバックアルゴリズム

である.

multiprocessingモジュール

# multiple      
# processing    
# multiprocessing            
# from multiprocessing import Process
# import time
# import os
# def func(name, age):
#     # print(os.getpid(), os.getppid(), name, age)  # pid process id  ppid parent process id
#     print(f'       {name, age}')
#     time.sleep(1)
#     print('    ')
#
# if __name__ == '__main__':
#     #       
#     # print('main:', os.getpid(), os.getppid())
#     # p = Process(target=func, args=('alex', 82))
#     # p.start()  #         
#     arg_lst = [('  ', 78), ('alex', 89)]
#     p_lst = []
#     for arg in arg_lst:
#         p = Process(target=func, args=arg)
#         p.start()
#         p_lst.append(p)
#     for p in p_lst:
#         p.join()
#     print('            ')

#                 
#                
#                              ，               
# join   
# p.join()  #   p    ，  p          
#                 
from  multiprocessing import Process
n = 0
def func():
    global n
    n += 1

if __name__ == '__main__':
    p_lst = []
    for i in range(10):
        p = Process(target=func)
        p.start()
        p_lst.append(p)
    for p in p_lst:
        p.join()
    print(n)  # 0       n            n

#             socket server

プロセスを開始する別の方法

import os
from multiprocessing import Process

class MyProcess(Process):
    def __init__(self, a, b, c):
        self.a = a
        self.b = b
        self.c = c
        super().__init__()
    def run(self):
        print(os.getppid(), os.getpid(), self.a, self.b, self.c)

if __name__ == '__main__':
    print(os.getpid())
    p = MyProcess(1, 2, 3)
    p.start()
    # p.terminate() #

デーモン

from multiprocessing import Process
import time

def son1():
    while True:
        print('in son1')
        time.sleep(1)

def son2():
    for i in range(10):
        print('in son2')
        time.sleep(1)

if __name__ == '__main__':
    p1 = Process(target=son1)
    p1.daemon = True  #     p1     
    p1.start()
    p2 = Process(target=son2)
    p2.start()
    p2.join()
    time.sleep(5)
    print('in main')
    #    5  in son1

#              ，           
#                       ,           
#             ，           ，        
#          p2

マルチプロセスを使用して、同時socketのserver serverを実現する.py

import socket
from multiprocessing import Process
def talk(conn):
    while True:
        msg = conn.recv(1024).decode('utf-8')
        ret = msg.upper().encode('utf-8')
        conn.send(ret)
    conn.close()


if __name__ == '__main__':
    sk = socket.socket()
    sk.bind(('127.0.0.1', 9000))
    sk.listen()
    while True:
        conn, addr = sk.accept()
        Process(target=talk, args=(conn,)).start()
    sk.close()

client.py

import socket
import time

sk = socket.socket()
sk.connect(('127.0.0.1', 9000))

while True:
    sk.send(b'hello')
    msg = sk.recv(1024).decode('utf-8')
    print(msg)
    time.sleep(0.5)

sk.close()

錠

#                 acquire  
#            
#      
import json
import time
from multiprocessing import Process, Lock

def search(i):
    with open('ticket', encoding='utf-8') as f:
        ticket = json.load(f)
    print(f"{i}:      {ticket['count']}")

def buy_ticket(i):
    with open('ticket', encoding='utf-8') as f:
        ticket = json.load(f)
    if ticket['count'] > 0:
        ticket['count'] -= 1
        print(f'{i}    ')
    time.sleep(0.2)
    with open('ticket', mode='w', encoding='utf-8') as f:
        json.dump(ticket, f)
def get_ticket(i, lock):
    search(i)
    # lock.acquire()
    # buy_ticket(i)
    # lock.release()
    #   
    with lock:  #     ，         ，                 
        buy_ticket(i)
if __name__ == '__main__':
    lock = Lock()
    for i in range(10):
        Process(target=get_ticket, args=(i, lock)).start()
#               
# import time
# from multiprocessing import Lock, Process
#
# def func(i, lock):
#     lock.acquire()  #    
#     print(f'      {i}')
#     time.sleep(1)
#     lock.release()  #    
#
#
# if __name__ == '__main__':
#     lock = Lock()
#     for i in range(10):
#         Process(target=func, args=(i, lock)).start()