Web基礎知識

クローラーとインデックスを理解する。検索結果に出るようにするには?

クローラーとインデックスについて

さぁ、無事ホームページが完成しました!それでは公開しましょう!となっても、勝手に検索結果にあなたのホームページが表示されるわけではありません。

この記事では、実際に検索してホームページが見れるようにするために、どのような流れになっているのかを解説します。

どのように検索結果に登録されているのかの流れををつかむためには、クローラーインデックス、この二つを抑えればOKです。

クローラーとは

世界にはとてつもない数のサイトが存在するので、いちいち人間が検索結果に出てくる索引に登録の作業をしているわけではありません。

では実際はどうなっているかというと、クローラーというロボットがホームページ内の情報を収集するために巡回しています。

クローラーの意味は水泳のクロールと同じ英語のCrawlからきていて、這うという意味があります。Webサイトを這うように巡回していることからこのような名前が付けられました。ロボットが這っているという発想、なんだか面白いですよね。

このようにしてクローラーによって巡回されたページは、収集された情報を元に検索エンジンのデータベースに登録されることになります。

検索エンジンは、GoogleのほかYahoo!JAPANやBingなどが知られていますが、基本的にはGoogleの検索エンジンを意識すればOKです。

なぜなら、日本の検索エンジンンのシェアの9割以上をGoogleとYahoo!JAPANで占めているものの、Yahoo!JAPANはGoogleと同じGooglebotと呼ばれるクローラーを使っているため、Googleのみ気にすれば良いということになります。

そのため、日本でホームページを公開するに当たっては、Googleの検索結果にちゃんと表示されるかどうかを確認しましょう。

クローラーロボットのイメージ

インデックスとは

クローラーによって巡回された情報を元に、検索結果に出るように索引に登録されることをインデックスと言います。

インデックス(index)はもともと索引の意味ですので、インデックスされたと言えば、検索エンジンの索引に登録されたということを意味します。

インデックスされているWebページの説明

インデックスされている状態

このようにしてインデックスされることでようやく、あなたのサイトは検索結果に出ることになるんですね。

そのため公開したからと言って、すぐに検索してみて出てくるわけがないんです。さらに言うと、インデックスされたからと言って、検索順位の上位に表示されるかどうかということは別問題です。

ホームページの名前や固有名詞など詳細な指定をしてあげれば見つけやすいでしょうが、特に競合が多いと思われるキーワードでの検索であれば上位表示は難しくなります。

上位表示させるためには、また別の戦略が必要になりますが、この上位表示させるための施策のことをSEOと呼びます。

インデックスされているか確認する方法

いきなり上位表示は難しいと説明しましたが、検索結果になかなか出てこない状況では、本当にインデックスされているの?と疑問に思うかもしれません。

そんな時に、インデックスされているかどうかを確認する方法があります。

検索窓で、「site:あなたのサイトのURL」で検索をかけてください。

siteでのインデックス確認方法

検索結果にちゃんと表示されれば、あなたのサイトはインデックスされています。

なお、インデックスは基本的にWebサイトごとではなく、Webページごとにされるので、ちゃんとインデックスされていればページ数分の検索結果が出るはずです。

▼ホームページ・Webサイト・Webページの違いはこちら▼

もし検索結果が表示されず「一致する情報は見つかりませんでした。」と出れば、インデックスされていないので、インデックスしてもらえるように対応する必要があります。

インデックスしてもらうには

ホームページをインデックスしてもらうためには、XMLサイトマップをつくりGoogle Search Consoleで通知すればOKです。

しかし、クロールを拒否する設定がされていたり、インデックスされないようにするnoindex設定されていると、いつまでたってもインデックスされない場合もあるので、注意しましょう。

別記事でインデックスの注意点について書いています▼

補足
失敗して落ち込んでいる子ども
【初心者必見】WordPressを一番最初に触る上での注意点とよくある失敗

続きを見る

まとめ:Webサイトをロボットが巡回している

クローラーやインデックスはインターネットを利用する上で根幹となるような仕組みのひとつです。

当記事の内容を簡潔にまとめると、

・Webサイトはクローラーと呼ばれるロボットが巡回
・巡回して収集したデータを元にインデックス(検索結果に表示)したり順位を決定している。

ということになります。

ホームページを作ったり、運用していく場合に必要な知識となりますので、ぜひ覚えておいてもらえればと思います。

-Web基礎知識
-, ,

© 2021 ほむぺじさく!|格安でホームページを自作する方法