情報系の備忘録的なのを書こうかと思い、投稿してみた。

…が、書き途中で他の仕事やり始めてしまったので、とりあえず未完成品を投稿。
余裕がある時にコードとか追加しようかな…。

はじめに

今回は、Python3の文字コードについてまとめておこうと思う。

最近、他のサイトのデータを持ってきて、整形する作業をやってみたが、
requestで持ってくるときや、ファイル書き込みするときにErrorや文字化けが…。

色々サイトを漁ってもよくわからなかったので、詳しい人に聞いてみました。
以外とスッキリした気がするので、ここに書いておこうと思う。

文字コードとは

まず文字コードとは何ぞやという人もいると思い、簡単に書いてみる。

端的に言うと、

文字1つに対して、1つの2進数が割り振られているもの

だと思います…。

ある文字に対して、1つの通し番号が割り振られており、
その通し番号で、どの文字に変換するかを決めたもの。

Python3の文字コードは??

では、Python3の文字コードは何が使われているのか。

全体を図にするとこんな感じ。

これを1つずつ説明していく。

Python3の文字について

Python3内の変数などに格納される文字は、Unicode。

>>>'あ' == u'\u3042'
True

Python2だとstring型とか色々あったらしいが、
少なくともPython3の文字はこれで統一されているみたい。

.pyファイルの文字コード

Pythonのコードが書かれたファイルはUTF-8で書かれている。

試しに以下のようなファイルを作成して

test = "こんにちは世界"

WindowsのConsole(Shift-jis)で出力してみると

>type test_python_file.py
test = "縺薙ｓ縺ｫ縺｡縺ｯ荳也阜"

.pyのファイルはUTF-8で書かれているため、もちろん文字化けする

Pythonのプログラムで作成された.txtファイルなど

これについては、ちょっと複雑。

使っている環境(OS)で異なるみたい。

Windows -> Shift-jis
Mac, Linux -> UTF-8

まとめ

全体的に言いたいことは、以下の通り。

この内部構造が分かっていると、文字コードのErrorとかも対処しやすそう…。

間違ってたら教えてくださるとありがたい!