Web記事の頻度辞書を作成するまで


Web 記事一括保存

サブディレクトリに一括で処理するスクリプト
http://hico-horiuchi.hateblo.jp/entry/20130421/1366557696

Webサイトを一括ダウンロードするには 北浦訓行 2003/2/20
https://www.atmarkit.co.jp/flinux/rensai/linuxtips/407dlweball.html

wgetの使い方メモ - basic認証、robots.txt無視
https://qiita.com/inutty/items/917f42b0e9e9d643d59d

タグ取り

C# HTMLタグを除去したい
https://teratail.com/questions/87807

Delete html tags using sed/grep/awk
https://unix.stackexchange.com/questions/359980/delete-html-tags-using-sed-grep-awk

rmtag.sed
sed -e 's/<[^>]*>//g' index.* >> /tmp/web/indexall.txt

事例

参考資料

Webサイトの丸ごとダウンロードツール「Cyotek WebCopy」がJavaScriptをサポートへ
https://forest.watch.impress.co.jp/docs/news/1194549.html

WeBoX v0.99M(07/02/12) インストールアプリ
気になるWebページを丸ごと保存・スクラップ
https://forest.watch.impress.co.jp/library/software/webox/