Goのスクレイピングライブラリ goquery と colly を試してみる

User-agent: *
Disallow: /dashboard/
Disallow: /settings/
Disallow: /search?q=
Disallow: /report
Disallow: /onboarding

User-agent: Yahoo Pipes 1.0
Disallow: /

User-agent: 008
Disallow: /

User-agent: voltron
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Livelapbot
Disallow: /

User-agent: Megalodon
Disallow: /

User-agent: ia_archiver
Disallow: /

Sitemap: https://zenn.dev/sitemap/sitemap.xml

package main

import (
	"fmt"
	"log"
	"net/http"

	"github.com/PuerkitoBio/goquery"
)

func main() {
	webPage := ("https://example.com/")
	resp, err := http.Get(webPage)
	if err != nil {
		log.Printf("failed to get html: %s", err)
	}
	defer resp.Body.Close()

	if resp.StatusCode != 200 {
		log.Fatalf("failed to fetch data: %d %s", resp.StatusCode, resp.Status)
	}

	doc, err := goquery.NewDocumentFromReader(resp.Body)
	if err != nil {
		log.Printf("failed to load html: %s", err)
	}

	// ここでタイトルを取得
	title := doc.Find("title").Text()
	fmt.Println(title)
}

//Output:
//Example Domain

package main

import (
	"fmt"
	"log"
	"net/http"

	"github.com/PuerkitoBio/goquery"
)

func ExampleScrape() {
	// 読み込むページ
	res, err := http.Get("https://zenn.dev/books/explore")
	if err != nil {
		log.Fatal(err)
	}
	defer res.Body.Close()
	if res.StatusCode != 200 {
		log.Fatalf("status code error: %d %s", res.StatusCode, res.Status)
	}

	// Bodyを読み込む
	doc, err := goquery.NewDocumentFromReader(res.Body)
	if err != nil {
		log.Fatal(err)
	}

	// articleタグの中から著者とタイトルのclassを取得する
	doc.Find("article").Each(func(i int, s *goquery.Selection) {

		author := s.Find(".BookLargeLink_userName__jNbk5").Text()
		book := s.Find(".BookLargeLink_title__RqL6r").Text()
		if "" == author {
			author = s.Find(".BookLink_userName__avtjq").Text()
		}
		if "" == book {
			book = s.Find(".BookLink_title__b8hGg").Text()
		}
		fmt.Printf("%d 著者: %v / タイトル: %v\n", i, author, book)
	})
}

func main() {
	ExampleScrape()
}

//Output:
//0 著者: ふーが / タイトル: RailsチュートリアルのテストをRSpecで書き換える
//1 著者: yamatatsu / タイトル: AWS CDK ドキュメント(和訳メモ)
//⋮

package main

import (
	"fmt"

	"github.com/gocolly/colly"
)

func main() {

	c := colly.NewCollector()

	//ここでタイトルを取得
	c.OnHTML("title", func(e *colly.HTMLElement) {
		fmt.Println(e.Text)
	})

	c.Visit("https://example.com/")
}

package main

import (
	"fmt"

	"github.com/gocolly/colly"
)

func main() {

	c := colly.NewCollector()
	i := 0

	c.OnHTML("article", func(e *colly.HTMLElement) {

		i++
		book := e.DOM.Find("a > h3").Text()
		author := e.DOM.Find("div > a").Text()
		if author == "" {
			author = e.ChildText(".BookLink_userName__avtjq")
		}

		fmt.Printf("%d 著者: %s / タイトル: %s\n", i, author, book)
	})

	c.Visit("https://zenn.dev/books/explore")
}