python 3第三十三章-標準ライブラリ概要Part II

第2部では、プロフェッショナルプログラミングのニーズをサポートするためのより高度なモジュールを提供します.これらのモジュールは、小型のスクリプトにはあまり表示されません.
 
1.出力フォーマットreprlibモジュールは、大型または深層ネストされたコンテナを省略して表示するためのカスタム版repr()を提供する.

>>> import reprlib
>>> reprlib.repr(set('supercalifragilisticexpialidocious'))
"{'a', 'c', 'd', 'e', 'f', 'g', ...}"

pprintモジュールは、解釈器の読み取り可能な内蔵およびユーザがカスタマイズするオブジェクトを印刷するためのより複雑な制御方式を提供する.結果が1行を超えると、この「きれいなプリンタ」には、行の区切りとインデントが追加され、データ構造がより明確に表示されます.

>>> import pprint
>>> t = [[[['black', 'cyan'], 'white', ['green', 'red']], [['magenta',
...     'yellow'], 'blue']]]
...
>>> pprint.pprint(t, width=30)
[[[['black', 'cyan'],
   'white',
   ['green', 'red']],
  [['magenta', 'yellow'],
   'blue']]]

 
textwrapモジュールは、テキストコンテンツの段落フォーマットを所定の画面幅に適応させる:

>>> import textwrap
>>> doc = """The wrap() method is just like fill() except that it returns
... a list of strings instead of one big string with newlines to separate
... the wrapped lines."""
...
>>> print(textwrap.fill(doc, width=40))
The wrap() method is just like fill()
except that it returns a list of strings
instead of one big string with newlines
to separate the wrapped lines.

 
localeモジュールは特定のフォーマットのデータベースにアクセスする.localモジュールのformat関数のgrouping[パケット]属性は、グループ区切り記号で数値をフォーマットする方法を直接提供します.

>>> import locale
>>> locale.setlocale(locale.LC_ALL, 'English_United States.1252')
'English_United States.1252'
>>> conv = locale.localeconv()          # get a mapping of conventions
>>> x = 1234567.8
>>> locale.format("%d", x, grouping=True)
'1,234,567'
>>> locale.format_string("%s%.*f", (conv['currency_symbol'],
...                      conv['frac_digits'], x), grouping=True)
'$1,234,567.80'

 
 
2.テンプレート化stringテンプレートは、クライアントユーザの編集に対して簡略化された構文を有する汎用的なTemplateクラスを含む.これにより、ユーザーはアプリケーションを変更する必要がなく、アプリケーションをカスタマイズできます.フォーマットは、$と有効なPython識別子(アルファベット文字と下線)で命名されたプレースホルダです.プレースホルダの周囲のカッコを使用すると、より多くのアルファベット文字を使用でき、中央にスペースがありません.$を書き込み、単一のエスケープを作成します.

>>> from string import Template
>>> t = Template('${village}folk send $$10 to $cause.')
>>> t.substitute(village='Nottingham', cause='the ditch fund')
'Nottinghamfolk send $10 to the ditch fund.'

 
辞書またはキーワードパラメータにプレースホルダ(必要な変数値)が指定されていない場合、substitute()メソッドはKeyErrorを放出する.メールマージスタイルのアプリケーションではsafe_substitute()メソッドは、ユーザが提供するデータが不完全である可能性があり、safe_substituteメソッドは、データが失われたプレースホルダを処理しない.

>>> t = Template('Return the $item to $owner.')
>>> d = dict(item='unladen swallow')
>>> t.substitute(d)
Traceback (most recent call last):
  ...
KeyError: 'owner'
>>> t.safe_substitute(d)
'Return the unladen swallow to $owner.'

Templateクラスのサブクラスは、カスタム区切り記号を指定できます.たとえば、画像ブラウザの一括ネーミングツールでは、現在の日付、画像シーケンス番号、またはファイル形式を表すプレースホルダとしてパーセンテージを選択できます.

>>> import time, os.path
>>> photofiles = ['img_1074.jpg', 'img_1076.jpg', 'img_1077.jpg']
>>> class BatchRename(Template):
...     delimiter = '%'
>>> fmt = input('Enter rename style (%d-date %n-seqnum %f-format):  ')
Enter rename style (%d-date %n-seqnum %f-format):  Ashley_%n%f

>>> t = BatchRename(fmt)
>>> date = time.strftime('%d%b%y')
>>> for i, filename in enumerate(photofiles):
...     base, ext = os.path.splitext(filename)
...     newname = t.substitute(d=date, n=i, f=ext)
...     print('{0} --> {1}'.format(filename, newname))

img_1074.jpg --> Ashley_0.jpg
img_1076.jpg --> Ashley_1.jpg
img_1077.jpg --> Ashley_2.jpg

 
テンプレートのもう一つの応用は,多様な出力フォーマットの詳細をプログラム論理から分類することである.これにより、ユーザーのXMLファイル、純テキストレポート、HTML Webページレポートに代わることができます.
 
3.可変長のバイナリ記録フォーマットを処理するために、バイナリファイル記録データレイアウトstructモジュールを使用してpack()およびunpack()メソッドを提供する.次の例では、zipfileモジュールを使用することなく、ZIPファイルのヘッダ情報を巡回する方法を示します.パケットコード「H」および「I」は、それぞれ2バイトおよび4バイトの符号なし数字を表す."

import struct

with open('myfile.zip', 'rb') as f:
    data = f.read()

start = 0
for i in range(3):                      # show the first 3 file headers
    start += 14
    fields = struct.unpack('', data[start:start+16])
    crc32, comp_size, uncomp_size, filenamesize, extra_size = fields

    start += 16
    filename = data[start:start+filenamesize]
    start += filenamesize
    extra = data[start:start+extra_size]
    print(filename, hex(crc32), comp_size, uncomp_size)

    start += extra_size + comp_size     # skip to the next header

 
 
4.マルチスレッドスレッドは、非順序依存タスクをデカップリングする技術である.他のタスクがバックグラウンドで実行されると、スレッドはアプリケーションがユーザー入力操作を受け入れる応答能力を向上させるために使用できます.1つの関連する使用シーンは、I/O操作が別のスレッドの計算と並列に実行されることです.次のコードは、プライマリ・プログラムが実行されている間に、上位レベルのthreadingモジュールがバックグラウンドでタスクを実行できることを示しています.

import threading, zipfile

class AsyncZip(threading.Thread):
    def __init__(self, infile, outfile):
        threading.Thread.__init__(self)
        self.infile = infile
        self.outfile = outfile

    def run(self):
        f = zipfile.ZipFile(self.outfile, 'w', zipfile.ZIP_DEFLATED)
        f.write(self.infile)
        f.close()
        print('Finished background zip of:', self.infile)

background = AsyncZip('mydata.txt', 'myarchive.zip')
background.start()
print('The main program continues to run in foreground.')

background.join()    # Wait for the background task to finish
print('Main program waited until background was done.')

マルチスレッドアプリケーションの最も主要な課題は、スレッド間で共有されるデータまたはその他のリソースを調整することです.この目的のために、スレッドモジュールは、ロック、イベント、条件変数、および信号量を含む多くの同期原語を提供する.これらのツールは強力ですが、小さな設計ミスで再現しにくい問題が発生する可能性があります.したがって、タスク調整の優先方法は、あるリソースへのすべてのアクセスを単一のスレッドに集中させ、queueモジュールを使用して他のスレッドからの要求を提供することです.キュー・オブジェクトを使用してスレッド間通信と調整を行うアプリケーションは、設計が容易で、読み取りが容易で、信頼性が高い.
 
5.ログloggingモジュールは全機能と柔軟なログシステムを提供する.最も簡単なのは、ログメッセージがファイルまたはsysに送信されることです.stderr:

import logging
logging.debug('Debugging information')
logging.info('Informational message')
logging.warning('Warning:config file %s not found', 'server.conf')
logging.error('Error occurred')
logging.critical('Critical error -- shutting down')

 
次の出力が生成されます.

WARNING:root:Warning:config file server.conf not found
ERROR:root:Error occurred
CRITICAL:root:Critical error -- shutting down

デフォルトでは、情報とデバッグメッセージが圧縮され、標準エラーに出力されます.その他の出力オプションには、email、datagrams、socketsを介してメッセージを送信するか、HTTPサーバに送信することが含まれます.新しいフィルタは、メッセージ優先度に応じて異なるルーティングを選択できます.DEBUG、INFO、WARNING、ERROR、CRITICALです.ログシステムは、Pythonコードで直接カスタマイズしたり、アプリケーションを介さずにユーザーが編集可能なプロファイルに直接ロードしたりすることができます.
 
6.弱いリファレンスPythonは自動メモリ管理を実行します(ほとんどのオブジェクトはリファレンスカウントとゴミ回収を採用してサイクルを排除します).最後のリファレンスが消えた後、メモリはすぐに解放されます.この方法は、ほとんどのアプリケーションでよく機能しますが、他の場所で使用されている限り、オブジェクトを追跡する必要がある場合があります.残念なことに、追跡するだけで参照が作成され、この参照は常に存在します.Weakrefモジュールは、リファレンスを作成することなく、オブジェクトを追跡するためのツールを提供します.オブジェクトが不要になると、自動的にweakrefテーブルから削除され、weakrefオブジェクトにコールバックがトリガーされます.一般的なアプリケーションには、キャッシュ作成時に大きなコストがかかるオブジェクトが含まれます.

>>> import weakref, gc
>>> class A:
...     def __init__(self, value):
...         self.value = value
...     def __repr__(self):
...         return str(self.value)
...
>>> a = A(10)                   # create a reference
>>> d = weakref.WeakValueDictionary()
>>> d['primary'] = a            # does not create a reference
>>> d['primary']                # fetch the object if it is still alive
10
>>> del a                       # remove the one reference
>>> gc.collect()                # run garbage collection right away
0
>>> d['primary']                # entry was automatically removed
Traceback (most recent call last):
  File "", line 1, in 
    d['primary']                # entry was automatically removed
  File "C:/python35/lib/weakref.py", line 46, in __getitem__
    o = self.data[key]()
KeyError: 'primary'

 
 
7.リストを使用するツール多くのデータ構造は、組み込みリストタイプを使用してニーズを満たすことができます.しかしながら、異なる性能を有する他の代替実装が必要とされる場合がある.arrayモジュールはarray()オブジェクトを提供し、リストのように類似のデータのみを格納し、より簡潔にします.次の例では、各エントリが通常16バイトであるPython intオブジェクトの一般的なリストではなく、2バイトの符号なしバイナリ数(タイプコード「H」)として格納された数値配列を示します.

>>> from array import array
>>> a = array('H', [4000, 10, 700, 22222])
>>> sum(a)
26932
>>> a[1:3]
array('H', [10, 700])

collectionsモジュールはlistのようなdeque()オブジェクトを提供しますが、左側からの割り当て速度と読み取り速度は速くなりますが、中間からの取得は遅くなります.これらのオブジェクトは、キューと広さを優先するツリー検索に適しています.

>>> from collections import deque
>>> d = deque(["task1", "task2", "task3"])
>>> d.append("task4")
>>> print("Handling", d.popleft())
Handling task1

unsearched = deque([starting_node])
def breadth_first_search(unsearched):
    node = unsearched.popleft()
    for m in gen_moves(node):
        if is_goal(m):
            return m
        unsearched.append(m)

このライブラリには、リストのソート方法を操作するbisectモジュールなどの他のツールが用意されています.

>>> import bisect
>>> scores = [(100, 'perl'), (200, 'tcl'), (400, 'lua'), (500, 'python')]
>>> bisect.insort(scores, (300, 'ruby'))
>>> scores
[(100, 'perl'), (200, 'tcl'), (300, 'ruby'), (400, 'lua'), (500, 'python')]

 
heapqモジュールは、従来のリストに基づいてスタックを実装する機能を提供する.最小値は常にゼロの位置に維持されます.これは、最小要素にループ・アクセスする必要がありますが、完全なリスト・ソートを実行したくないアプリケーションに役立ちます.

>>> from heapq import heapify, heappop, heappush
>>> data = [1, 3, 5, 7, 9, 2, 4, 6, 8, 0]
>>> heapify(data)                      # rearrange the list into heap order
>>> heappush(data, -5)                 # add a new entry
>>> [heappop(data) for i in range(3)]  # fetch the three smallest entries
[-5, 0, 1]

 
 
8.10進浮動小数点算術decimalモジュールは、10進浮動小数点演算用のDecimalデータ型を提供する.このクラスは、内蔵floatバイナリ浮動小数点の実装と比較して特に有用である.

財務アプリケーションおよびその他の用途では、正確な10進数表示形式が必要です

制御精度、

法律または法規の要求に合致する場合、切り捨ての制御

トレース有効小数位

ユーザーは、計算結果が手動計算と一致するアプリケーションを希望します.

例えば、10進数浮動小数点と2進数浮動小数点を用いて70%の電話料金の5%の税金所得を計算した結果は異なる.結果を最も近いパーセンテージに四捨五入すると、差が顕著になります.

>>> from decimal import *
>>> round(Decimal('0.70') * Decimal('1.05'), 2)
Decimal('0.74')
>>> round(.70 * 1.05, 2)
0.73

Decimalの結果は末尾のゼロを保持し、2つの有効な数字を持つ乗数から4つの有効な数字を自動的に推定します.シミュレーション筆算により,バイナリ浮動小数点が10進数を表す場合の精度の問題を回避した.正確な結果により、Decimalクラスはバイナリ浮動小数点に適合しないモード演算と数値比較を実行することができる.

>>> Decimal('1.00') % Decimal('.10')
Decimal('0.00')
>>> 1.00 % 0.10
0.09999999999999995

>>> sum([Decimal('0.1')]*10) == Decimal('1.0')
True
>>> sum([0.1]*10) == 1.0
False

decimalモジュールは、必要な精度の算術操作を提供します.

>>> getcontext().prec = 36
>>> Decimal(1) / Decimal(7)
Decimal('0.142857142857142857142857142857142857')