文字コードとは

文字コードとは何かを知る前に、まず文字セットとは何かを理解しますか?
コンピュータの画面には実体化された文字が見えますが、コンピュータの記憶媒体に格納されているのは実際にはバイナリのビットストリームです.では、この2つの間の変換ルールには統一的な基準が必要です.そこで変換基準を実現するために,各種文字セット基準が出現する.簡単に言えば、文字セットは、ある文字に対応するバイナリ数字格納方式(符号化)と、ある列のバイナリ数値がどの文字(復号)を表す変換関係を規定する.
1つの文字セットに対して、1つの文字を正しく符号化するには、3つのキー要素が必要です.

ワードライブラリテーブル

符号化文字セット(coded character set)

文字符号化(character encoding form)

ここで、ライブラリテーブルは、すべての読み取り可能または表示可能な文字に相当するデータベースであり、文字セット全体が表示できるすべての文字の範囲を決定します.符号化文字セット、すなわち、文字がライブラリ内の位置を符号化値code pointで表す.文字コードは、文字セットと実際の記憶数値との間の変換関係をコードします.
文字コードの役割は何ですか?文字符号化とは、コンピュータ言語(0と1)を、自然言語(アルファベットまたは音節)とペアリングする方法である.すなわち,シンボル集合とデジタルシステムとの間に対応関係を確立し,情報処理の基本技術である.
どうして文字化けしたの?統合ライブラリ・テーブルの目的は、世界中のすべての文字をカバーすることですが、実際に使用すると、実際に使用されている文字の割合がライブラリ・テーブル全体に比べて非常に低いことがわかります.例えば、中国語圏のプログラムでは日本語の文字はほとんど必要ありませんが、一部の英語圏では簡単なASCIIワードライブラリテーブルでも基本的なニーズを満たすことができます.各文字をライブラリテーブルのシーケンス番号で格納すると、各文字に3バイト(ここではUnicodeライブラリを例に挙げます)が必要になり、1文字しか占めていないASCIIで符号化されていた英語圏の国にとっては明らかに追加コストになります.そのため、多くの規範と基準は、最初に制定されたときに、これが今後の世界的な普遍的な準則であることを意識していないか、組織自体の利益にあると、本質的に既存の基準と区別したいと思っています.すると、同じ効果を持つが互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに互いに
Unicodeの世界には様々な符号化方式が存在し,同じバイナリ数字を異なる記号として解釈することができる.そのため、テキストファイルを開くには、その符号化方式を知らなければならない.そうしないと、誤った符号化方式で解読され、文字化けしてしまう.一つの符号化があれば、世界のすべての記号を組み込むことが想像できる.各記号にユニークな符号化を与えると、文字化の問題は消えてしまいます.これがUnicodeで、名前が表示されているように、これはすべての記号の符号化です.Unicodeはもちろん大きな集合で、現在の規模では100万個以上の記号を収容することができます.各記号の符号化は異なり、例えば、U+0639はアラビア文字Ain、U+0041は英語の大文字A、U+4 E 25は漢字「厳」を表す.具体的なシンボル対応テーブルはunicodeをクエリーすることができる.org、または専門の漢字対応表.
UTF-8インターネットの普及は、統一的な符号化方式の出現を強く要求している.UTF-8はインターネット上で最も広く使われているUnicodeの実現方式である.他の実施形態は、UTF−16(文字は2バイトまたは4バイトで表される)およびUTF−32(文字は4バイトで表される)を含むが、インターネット上ではほとんど用いられない.繰り返しますが、ここでの関係は、UTF-8がUnicodeの実現方式の一つです.
UTF-8の最大の特徴は、長くなる符号化方式である.1~4バイトで1つのシンボルを表し、異なるシンボルに応じてバイト長を変化させることができる.UTF-8の符号化規則は簡単で、2つしかありません.

は、単一バイトのシンボルに対して、バイトの第1ビットを0とし、後の7ビットをこのシンボルのunicodeコードとする.したがって、UTF-8符号化は、英字ではASCII符号と同じである.

nバイトのシンボル(n>1)については、1バイト目の前nビットが1、n+1ビット目が0、後バイトの前2ビットが一律に10とする.残りの言及されていないバイナリビットは、すべてこの記号のunicodeコードです.次の表は、符号化ルールをまとめ、アルファベットxは、符号化可能なビットを表す.

Unicode  | UTF-8 
( ) | （ ）
------------------+-------------------------------------------------
---
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

上の表によると、UTF-8コードを解読するのは簡単です.1バイトの最初のビットが0である場合、このバイトは単独で1文字である.1番目のビットが1の場合、1が連続して何個あるかは、現在の文字が何バイトを占有しているかを示します.
GitHub Pagesを使用してページをプレビューする方法