[Go]変換符号化処理ページ表示文字化け

2101 ワード

Webページをキャプチャしたり、1つのWebページを取得したりすると、符号化の問題で文字化けしてしまうことがあります.次の関数で符号化を変換できます

// 
func Encoding(html string,ct string) string {
    e,name:=DetermineEncoding(html)
    if name!="utf-8"{
        html=ConvertToStr(html,"gbk","utf-8")
        e=unicode.UTF8
    }
    r := strings.NewReader(html)

    utf8Reader := transform.NewReader(r, e.NewDecoder())
    // reader utf8reader
    all, _ := ioutil.ReadAll(utf8Reader)
    log.Println(string(all))
    return string(all)
}
func DetermineEncoding(html string) (encoding.Encoding,string) {
    e, name, _ := charset.DetermineEncoding([]byte(html), "")
    return e,name
}

この例はgbkをutf 8に変換する

pandas書き込み読み取りcsvファイル

RESTとREST API