5ちゃんねるをスクレイピングするライブラリを書いた

package main

import (
    "fmt"
    "strings"

    "github.com/yuki-eto/pot-collector"
)

func main() {
    const threadListURL = "https://krsw.5ch.net/idolmaster/subback.html"
    const threadBaseURL = "https://krsw.5ch.net/test/read.cgi/idolmaster/"
    const containsString = "本田未央"

    // *Board を作って
    board := potCollector.NewBoard()
    // *goquery.Document をもらう
    doc, err := board.LoadThreadListDocument(threadListURL)
    if err != nil {
        panic(err)
    }

    // HTML をパースして Board.Threads.List にスレッドを入れる
    if err := board.LoadThreads(doc); err != nil {
        panic(err)
    }

    // *Thread を受け取って bool を返すフィルタリング関数で Threads.List を
    // Threads.List をある程度弄ることが可能
    // 下記はスレッド名に特定の文字列が入ってるスレッドだけを取り出す例
    board.Threads.FilterThread(func(t *potCollector.Thread) bool {
        return strings.Contains(t.Title, containsString)
    })

    if board.Threads.Count == 0 {
        fmt.Println("do nothing...")
        return
    }

    for _, thread := range board.Threads.List {
        // 差分だけを取り込みたいときは、LoadArticleDocument() を呼び出す前に
        // thread.LastReadArticleID に1より大きい数を入れるとそこからの差分を取得できる
        // （何らかの手段で最後に読み込んだ番号を記録しておく必要がある）
        thread.LastReadArticleID = 1

        // スレッドURLを生成してアクセスし、*goquery.Document を受け取る
        // 取得するスレッドが多い場合はこのへんで goroutine とかを使うのもアリかもしれない
        // （節度を守って適切な並列数でやるべし）
        doc, err := thread.LoadArticleDocument(threadBaseURL)
        if err != nil {
            panic(err)
        }

        // HTML をパースして thread.Articles.List に書込内容を入れる
        if err := thread.LoadArticles(doc); err != nil {
            panic(err)
        }

        fmt.Printf("%d: %s (%d)\n", thread.ID, thread.Title, thread.LastArticleID)
        for _, article := range thread.Articles.List {
            if article.IsOver1000 {
                continue
            }
            fmt.Printf("%d: %s %v ID:%s\n", article.ID, article.Name, article.Date, article.UID)
            fmt.Println(article.Text)
            fmt.Println()
        }
    }
}