Golangはhttp Cientを使ってファイルをダウンロードします。
12944 ワード
前にbeegoのhttpライブラリを使う時、ファイルをダウンロードしなければならない場合があります。beegoは実現できますが、問題があります。リプライをサポートしないとダウンロード速度が表示されません。これは日常的な開発では耐えられません。beegoの実現を見ました。主にio.co py関数を使っています。そこで、原理を深く見て、簡単なことが分かりました。そこで、io.co py原理に基づいて簡単なダウンロード機を実現しました。
//
var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";
// url
uri, err := url.ParseRequestURI(durl)
if err != nil {
panic(" ")
}
通常の流れは、まずUrlに間違いがないかを確認してください。filename := path.Base(uri.Path)
log.Println("[*] Filename " + filename)
path.Baseを使ってurlのファイル名を取り出します。ここでバグが発生する可能性があります。このURLが302だったら、ジャンプしたファイル名を取り出すことができません。ファイル名を取ってこのステップでhttp要求を再送信できます。client.CheckRedirect
は関数を定義してファイルの順位を取出せばいいです。client := http.DefaultClient;
client.Timeout = time.Second * 60 //
resp, err := client.Get(durl)
http Clientを作成します。また、このクライアントのTimeoutはデータを読み込む時にどれぐらいの時間がかかりますか?私はDoの方法でReqeustを渡すのが好きです。あるurlのためにhttpの頭をチェックする必要があります。なぜ一字の怠け者がいらないですか?raw := resp.Body
defer raw.Close()
reader := bufio.NewReaderSize(raw, 1024*32);
実はbufioが本当にhttpの読み取り速度を上げられるかどうかは正直よく分かりません。bufioを使わないのと比べたことがありません。しかし、心理的な安心のためにプラスされました。file, err := os.Create(filename)
if err != nil {
panic(err)
}
writer := bufio.NewWriter(file)
同じように、bufioがファイルにどれぐらいのスピードで書き込みできるかはよく分かりません。buff := make([]byte, 32*1024)
written := 0
go func() {
for {
nr, er := reader.Read(buff)
if nr > 0 {
nw, ew := writer.Write(buff[0:nr])
if nw > 0 {
written += nw
}
if ew != nil {
err = ew
break
}
if nr != nw {
err = io.ErrShortWrite
break
}
}
if er != nil {
if er != io.EOF {
err = er
}
break
}
}
if err != nil {
panic(err)
}
}()
このソースは私が直接コピーしたio.co pyBufferの関数です。簡単な修正をしました。大体の意味を理解すればいいです。//
spaceTime := time.Second * 1
//
ticker := time.NewTicker(spaceTime)
//
lastWtn := 0
stop := false
for {
select {
case // - =
speed := written - lastWtn
log.Printf("[*] Speed %s / %s
", bytesToSize(speed), spaceTime.String())
if written-lastWtn == 0 {
ticker.Stop()
stop = true
break
}
lastWtn = written
}
if stop {
break
}
}
このコードはプログラムを塞ぎ、タイマーは間隔で速度を計算します。ここでバグが発生する可能性があります。間隔時間内にデータが読み込まれていない場合は、直接的にサイクルをスキップします。今の時間はとても眠いです。ブログを書いても眠いです。後でこのバグを解決します。func bytesToSize(length int) string {
var k = 1024 // or 1024
var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
if length == 0 {
return "0 Bytes"
}
i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
r := float64(length) / math.Pow(float64(k), i)
return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
}
この関数は私個人のphpプロジェクトから変えました。2018/08/17 00:24:50 [*] Filename go1.10.3.darwin-amd64.pkg
2018/08/17 00:24:51 [*] Speed 9.000 MB / 1s
2018/08/17 00:24:52 [*] Speed 11.125 MB / 1s
2018/08/17 00:24:53 [*] Speed 11.125 MB / 1s
2018/08/17 00:24:54 [*] Speed 10.562 MB / 1s
2018/08/17 00:24:55 [*] Speed 11.187 MB / 1s
2018/08/17 00:24:56 [*] Speed 11.109 MB / 1s
2018/08/17 00:24:57 [*] Speed 11.109 MB / 1s
2018/08/17 00:24:58 [*] Speed 11.141 MB / 1s
2018/08/17 00:24:59 [*] Speed 11.172 MB / 1s
2018/08/17 00:25:00 [*] Speed 11.141 MB / 1s
2018/08/17 00:25:01 [*] Speed 8.453 MB / 1s
2018/08/17 00:25:02 [*] Speed 6.385 MB / 1s
2018/08/17 00:25:03 [*] Speed 0 Bytes / 1s
これは最終的な運行結果です。そして全部のソースを下に置いて寝ます。package main
import (
"net/http"
"log"
"time"
"net/url"
"path"
"os"
"io"
"bufio"
"math"
"strconv"
)
var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";
func main() {
uri, err := url.ParseRequestURI(durl)
if err != nil {
panic(" ")
}
filename := path.Base(uri.Path)
log.Println("[*] Filename " + filename)
client := http.DefaultClient;
client.Timeout = time.Second * 60 //
resp, err := client.Get(durl)
if err != nil {
panic(err)
}
if resp.ContentLength <= 0 {
log.Println("[*] Destination server does not support breakpoint download.")
}
raw := resp.Body
defer raw.Close()
reader := bufio.NewReaderSize(raw, 1024*32);
file, err := os.Create(filename)
if err != nil {
panic(err)
}
writer := bufio.NewWriter(file)
buff := make([]byte, 32*1024)
written := 0
go func() {
for {
nr, er := reader.Read(buff)
if nr > 0 {
nw, ew := writer.Write(buff[0:nr])
if nw > 0 {
written += nw
}
if ew != nil {
err = ew
break
}
if nr != nw {
err = io.ErrShortWrite
break
}
}
if er != nil {
if er != io.EOF {
err = er
}
break
}
}
if err != nil {
panic(err)
}
}()
spaceTime := time.Second * 1
ticker := time.NewTicker(spaceTime)
lastWtn := 0
stop := false
for {
select {
case "[*] Speed %s / %s
", bytesToSize(speed), spaceTime.String())
if written-lastWtn == 0 {
ticker.Stop()
stop = true
break
}
lastWtn = written
}
if stop {
break
}
}
}
func bytesToSize(length int) string {
var k = 1024 // or 1024
var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
if length == 0 {
return "0 Bytes"
}
i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
r := float64(length) / math.Pow(float64(k), i)
return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
}