サイトのページ数を調べる

ページ数が少ないサイトだったら
人力で調査することも可能でしょうが、
数十を超えたあたりからもうめんどくさい。

クローラを使う

e-word先生から転載。

クローラ 【 crawler 】
　クローラとは、全文検索型サーチエンジンの検索データベースを作成するために、世界中のありとあらゆるWebページを回収するプログラム。

ページ内のリンクを辿って、他のページに行って
さらに、そのページのリンクから別のページへ行って･･･
って繰り返してくれるソフトです。たぶん。おそらく。

サイトマップを作るとか、孤立してるページを見つけるとか出来るらしい。

スパイダー 【 spider 】　とも呼ぶらしいです。
どうも、厳密にはクローラとスパイダーは別物らしい。
詳しくは、おまけで。

今回、使用したクローラ

• Website Explorer

• WildShark SEO Spider

クローラでサイトの URL 一覧を生成して
そこからページ数を調べるという戦略。

使用方法

ページ数を調べたいサイトのトップのURLを入力するだけ。以上。

二つのソフトをあげた理由としては

• Website Explorer は日本語でわかりやすく、設定も豊富そう

• WildShark SEO Spider はフィルタに正規表現を使用できるので、うまく使えれば便利そう

という完全なる主観。

どちらも URL 一覧を Excel に出力できるので
出力してから整理すればいいのかもしれない。

おまけ　クローラとスパイダーの違い

検索エンジンの５つのプログラム - スパイダーとクローラって別物？
http://www.seojuku.info/seoblog/searchengine/20070111095317.html
によれば

クローラ : ページのリンクを追跡
スパイダー : ウェブページをダウンロード

とのことです。

そもそも、クロールという単語は 「這い回る」「ハイハイする」などの意味らしいです。

なので、
クローラ → ハイハイして、ページをたどっていくソフト
スパイダー → たどって行って、絡め取って持って帰ってくるソフト
っていうイメージなのかな。
なるほど、わからん。