検索エンジンの仕組み

きっかけ

サイト制作ではなく、サイトのことについて教えてほしいことがある～とよく知る方がツイートしていたので、リプしたところ、「検索エンジンがサイトをどうやって読み込んで、どうやって検索結果に反映させているのか」という疑問にぶつかったそうなので、調べてみました。自分なりにまとめてみたので、検索エンジンの仕組みを非IT人でも理解するとこんな形かなとおもいますので、共有します。(文字ばっかですいません。)

本題

日経電子版などWEBサイトの更新を頻繁にしていたり、表示されないリンクなどがない。といったユーザーにとって問題がない順に、検索エンジン側がサイトを読み込みに行きます。
この読み込み作業をクローリングといい、クローリングには3段階に作業が分かれています。

①クローラー：Webページを巡回して、記載されている情報を取得する
②インデクサー:クローラーが取得した情報を記憶する
③サーチャー：②の情報からキーワードに関する情報だけを抽出し、重要度に応じて並べ替える

①クローラは、Webページのプログラムのワードを見ているもの(画像やデザインは人間の視覚なので、ロボットには難しいためほとんど文字をみます。 例：普通のグーグル検索)や写真のみ(グーグル画像検索)などがあります。
クローラをサイトに呼ばないと、検索エンジンでいくら検索しても新しいサイトは探しても出てきません。
このクローラはグーグルだとGooglebotと名付けられています。グーグルの場合、新しいサイトは30分で反映させれるようです。*1

②「①」で取得したサイトはなんの話をしているサイトなのか、何をテーマにしているのかと分析し、保存します。
簡単にいうと検索した時にでてくるサイトの順番とそのサイトの3行の詳細欄を保存しているところです
③「②」のデータと検索キーワードを基に関連性の高い順に並び替え、順位付けをします。SEOの結果が反映される部分になります。
SEOをあげればあげるほど次のサイトの変更の反映の時間も短くなります。つまり、ロボットがよく来て検索エンジンの更新をしてくれます。SEOについては、業界がとてつもなく広いのでよく知らないですｗ ブロガーが詳しい印象です。

この一連の作業のクローリングをしていることで、検索エンジンがサイトを読み込んで、検索結果に反映させています

参考にしたURL
クローラーの動き概要(=検索エンジンの読み込む動きについて)
https://www.crosswalk-seo.com/seo/%E3%82%A4%E3%83%B3%E3%83%87%E3%83%83%E3%82%AF%E3%82%B9%E3%81%95%E3%82%8C%E3%82%8B%E4%BB%95%E7%B5%84%E3%81%BF%EF%BC%88%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A9%E3%83%BC%E3%81%AE%E5%8B%95%E3%81%8D%E6%96%B9/

Google 検索の仕組み
https://support.google.com/webmasters/answer/70897

*1グーグルにWEBサイトを検索エンジンに反映させる方法
https://uruchikara.jp/fetch_as_google/

編集後記

自分は元々JAVAエンジニアだったため、日ごろIT関係の意訳作業を実家でしています。このようにお役に立てそうなのでよかったと思います。
筆者のTwitter