[C#-Util]-読み書きファイルの漢字文字化け
13542 ワード
システムを使うとIO.StreamReaderが漢字を含むtxtファイルを読み込む場合、文字化けし(StreamWriaterがテキストファイルを書く場合も同様の問題がある)を読み取ることが多いのは、ファイルの符号化(encoding)とStreamReader/Writerのencodingが対応していないためです.この問題を解決するために、テキストファイルのencodingを取得するためにクラスを書きました.そうすれば、対応するStreamReaderとStreamWriterを作成して読み書きすることができ、乱符号化現象が発生しないことを保証することができます.実は原理はとても簡単で、テキストエディタ(例えばXPが持っている手帳)はテキストファイルを生成する時、符号化フォーマットとシステムのデフォルトの符号化(中国語システムの下でデフォルトはGB 2312)が一致しない時、txtファイルの冒頭部分に特定の“符号化バイト順標識(Encoding Bit Order Madk、略称はBOM)”を追加して、PEフォーマットの“MZ”ファイルの頭に類似します.これにより、このBOMに基づいて、読み取り時にテキストファイルの生成に使用されるEncodingを決定することができます.このBOMは手帳などのプログラムで開くとデフォルトでは見えませんが、streamでバイトで読み取ると読めます.私のこのTxtFileEncodingクラスは、このBOMの「ファイルヘッダ」に基づいてtxtファイル生成時に使用される符号化を決定します.
using System;
using System.IO;
using System.Text;
namespace XXX.XXX.XXX.Common
{
public class EncodingHelper
{
/// <summary>
/// GetEncoding
/// </summary>
/// <param name="fileName"></param>
/// <returns></returns>
public static Encoding GetEncoding(string fileName)
{
return GetEncoding(fileName, Encoding.Default);
}
/// <summary>
/// GetEncoding
/// </summary>
/// <param name="stream"></param>
/// <returns></returns>
public static Encoding GetEncoding(FileStream stream)
{
return GetEncoding(stream, Encoding.Default);
}
/// <summary>
/// GetEncoding
/// </summary>
/// <param name="fileName"></param>
/// <param name="defaultEncoding"></param>
/// <returns></returns>
public static Encoding GetEncoding(string fileName, Encoding defaultEncoding)
{
var fs = new FileStream(fileName, FileMode.Open);
var targetEncoding = GetEncoding(fs, defaultEncoding);
fs.Close();
return targetEncoding;
}
/// <summary>
/// GetEncoding
/// </summary>
/// <param name="stream"></param>
/// <param name="defaultEncoding"></param>
/// <returns></returns>
public static Encoding GetEncoding(FileStream stream, Encoding defaultEncoding)
{
var targetEncoding = defaultEncoding;
if (stream != null && stream.Length >= 2)
{
// 4
byte byte1 = 0;
byte byte2 = 0;
byte byte3 = 0;
byte byte4 = 0;
// Seek
long origPos = stream.Seek(0, SeekOrigin.Begin);
stream.Seek(0, SeekOrigin.Begin);
int nByte = stream.ReadByte();
byte1 = Convert.ToByte(nByte);
byte2 = Convert.ToByte(stream.ReadByte());
if (stream.Length >= 3)
{
byte3 = Convert.ToByte(stream.ReadByte());
}
if (stream.Length >= 4)
{
byte4 = Convert.ToByte(stream.ReadByte());
}
// 4 Encoding
//Unicode {0xFF, 0xFE};
//BE-Unicode {0xFE, 0xFF};
//UTF8 = {0xEF, 0xBB, 0xBF};
if (byte1 == 0xFE && byte2 == 0xFF)//UnicodeBe
{
targetEncoding = Encoding.BigEndianUnicode;
}
if (byte1 == 0xFF && byte2 == 0xFE && byte3 != 0xFF)//Unicode
{
targetEncoding = Encoding.Unicode;
}
if (byte1 == 0xEF && byte2 == 0xBB && byte3 == 0xBF)//UTF8
{
targetEncoding = Encoding.UTF8;
}
// Seek
stream.Seek(origPos, SeekOrigin.Begin);
}
return targetEncoding;
}
/// <summary>
/// GetEncoding
/// </summary>
/// <param name="bytes"></param>
/// <param name="defaultEncoding"></param>
/// <returns></returns>
private static Encoding GetEncoding(byte[] bytes, Encoding defaultEncoding)
{
var targetEncoding = defaultEncoding;
byte byte1 = 0;
byte byte2 = 0;
byte byte3 = 0;
if (bytes.Length >= 1)
{
byte1 = bytes[0];
}
if (bytes.Length >= 2)
{
byte2 = bytes[1];
}
if (bytes.Length >= 3)
{
byte3 = bytes[2];
}
if (byte1 == 0xFE && byte2 == 0xFF)
{
targetEncoding = Encoding.BigEndianUnicode;
}
if (byte1 == 0xFF && byte2 == 0xFE && byte3 != 0xFF)
{
targetEncoding = Encoding.Unicode;
}
if (byte1 == 0xEF && byte2 == 0xBB && byte3 == 0xBF)
{
targetEncoding = Encoding.UTF8;
}
return targetEncoding;
}
}
}