0120-900-587
クローラーとは？～初心者のための基本解説～
クローラーとは、Web上のファイルを収集するプログラムです。
この記事では、クローラーの役割からクローラーに認識してもらいやすくするためのサイト作りについて解説します。
クローラーについて知りたい初心者の方向けの記事となっていますので、ぜひ一読ください。
ホームページ制作.jpってどんなサービス？
- 運営10年！老舗のホームページ制作無料一括見積サービス。
- 審査済の優良ホームページ制作会社のみに見積もり依頼ができる。
- お見積もり無料。何度でもご相談無料。お断り代行も無料。
- 訪問無しのオンライン相談可能！
- しつこい営業は一切致しません！
全国通話無料
受付：年中無休/24時間電話受付0120-900-587
私たちが全力でサポート致します！
宇野（うの）
田丸（たまる）
真中（まなか）
1.クローラーとは？
クローラーは、Web上のファイルを収集するプログラムですが、Web上をCrawl（クロール）する＝這うように収集することからその名が付きました。
クローラーがWeb上のファイルを収集する目的は、収集したデータをもとに、検索データベース作成することにあります。
GoogleやYahoo!で検索を行い、Webページを見つけることができるのはクローラーのおかげです。
現在の検索エンジンは、ほとんどがロボット型検索エンジンとなります。
ロボット型検索エンジンは、次に挙げる行動を取ります。
・Webサイト上の情報を収集し、データベースに登録
・データベース内のWebページ情報をスコアリング（ランク付け）
・スコア上位（ランク上位）のWebページを検索結果に表示
ロボット型検索エンジンが動作するために、Webサイト上の情報を収集する目的でクローラーはもちいられます。
2.クローラーにはいくつか種類がある
クローラーと一言で言っても、検索エンジンによって種類が異なります。
1.Googleのクローラー「Googlebot」
Googleのクローラーは「Googlebot」と呼ばれます。
Googlebotは、通常検索で表示するためのWebページを収集するためのクローラーです。
検索の種類でクローラーが分かれており、画像検索では「Googlebot-Image」、ニュース検索では「Googlebot-News」が動作しています。
他にもさまざまなクローラーが存在しており、興味のある方はこちらのページから確認してみてください。
https://support.google.com/webmasters/answer/1061943?hl=ja
2.その他のクローラー
Google以外にも検索エンジンがあるように、Yahoo!やBingなどでは、Googlebotとは異なるクローラーを使用しています。
・Yahoo!（Yahoo Slurp）
・bing（Bingbot）
・百度（Baiduspider）
など
Yahoo!のクローラーについては、日本以外のYahoo!で活動しています。
日本のYahoo!（Yahoo!Japan）では、Googleのシステムを利用しています。
3.クローラーによってもたらされるメリット
クローラーがWeb上の情報を収集することで、どのようなメリットがあるのでしょうか。
あなたがWebサイトの運営者である場合のメリットについてお話します。
1.検索エンジンの検索結果に表示される
検索エンジンの検索結果にあなたのWebサイトを表示させるためには、クローラーによってあなたのWebサイトの情報を収集してもらう必要があります。
Web上であなたのWebサイトを見つけることは、たとえるならば砂漠で一粒の砂金を見つけることに等しいでしょう。
クローラーによって検索エンジンの検索結果に表示されることで、多くの人があなたのWebサイトに訪れることができるようになります。
2.検索結果の表示順位に反映される
クローラーは、毎日広大なWeb上を駆け回っています。
Web上の情報は常に更新され続けており、ユーザーのニーズに答えることができるWebサイトほど検索結果の上位に表示してほしいものですよね。
クローラーは一度収集したら終わり、というものでありません。
日々更新されるWeb上の情報を収集し、データベースでスコアリングし続けているため、よりよいWebサイトを検索上位に表示するようにしています。
あなたのWebサイトも更新し続けることで、クローラーが情報を収集し、検索結果の表示順位に反映してくれます。
4.6つのクローラー最適化方法
クローラーに気に入られることで、検索結果の上位に表示されるようになります。クローラーに気に入られるためには、クローラーに最適なWebサイトを作らなければなりません。
クローラーに最適なWebサイトを作るため、最適化する方法を紹介します。
【最適化1】URLの見直し（パーマリンク）
クローラーはURLからページ内容を推測します。そのため、人間が見てもどんなページであるかがわかるようにURLをつけることを意識しましょう。
悪い例）https://website.com/webpages?991332=221
良い例）https://website.com/beginner/what-is-crawler
具体的にはURLの末尾となるページ名を分かりやすくつけましょう、ということになります。
各ページに対して、個別に設定したリンクのことを「パーマリンク」と呼びます。
【最適化2】テキストでリンクを貼る
クローラーは、リンクをたどって次々にページをたどることでWeb上の情報を収集します。
リンクは画像につけることもできますが、テキストリンクのほうがクローラーは巡回しやすいという特徴があります。
多くのページをクローラーに収集してもらうために、テキストでリンクを張りましょう。
【最適化3】アンカーテキストは内容がわかるように設定する
アンカーテキストとは、リンクが貼られているテキストのことを表します。
テキストリンクのほうがクローラーは巡回しやすいと説明しましたが、テキストリンクでも「どんなページか」がわかるように記載すると、さらに巡回しやすくなります。
悪い例）クローラーについては「この記事」を参考にしてください
良い例）クローラーについては「クローラーについての解説」を参考にしてください
例では「」の中のテキストがリンクになります。
「この記事」では、クローラーはどのようなページであるか認識できませんが、「クローラーについての解説」であれば、どのようなページかを判断できます。
【最適化4】パンくずリストを設定する
パンくずリストは、Webサイト内で閲覧者がどの位置にいるのかを分かりやすく示すためのものです。
人間だけでなく、クローラーもパンくずリストがあることで、Webサイト内でどの位置にいるのかを把握しやすくなります。
クローラーがWebサイト内でどの位置にいるのかを把握できると、クローラーのWebサイト内の回遊率が上昇します。
【最適化5】ページ割りは数字にする
ページを複数に分ける場合、「次のページ」や「前のページ」という言葉でリンクを貼るよりも「1」「2」などの数字でページを分けたほうがクローラーは巡回しやすくなります。
【最適化6】ディレクトリ構造を見直す
Webサイトでは、カテゴリによってディレクトリ構造を作成しますが、階層の浅い部分ほどクローラーは重要なページであると判断します。
たとえば、次のようなディレクトリ構造のWebサイトでは、①から順にクローラーは巡回します。
①website.com/
②website.com/car/
③website.com/car/toyota/
③よりも②のページのほうが重要なページであると判断するため、重要なページほど上位の階層に作成するようにしましょう。
5.クローラーの動きを確認する方法
あなたのWebサイトにクローラーが訪れたかどうかを確認する方法を紹介します。
1.「特定のWebサイト内検索」を使用する
「特定のWebサイト内検索」とは、指定したWebサイト内の検索を行うための機能です。
この機能を使うことで、検索サイトにあなたのWebサイトが登録されているか、クローラーが訪れたかを確認することができます。
GoogleやYahoo!の検索欄で「site:」を入力してから検索することで利用できます。
使用例）
あなたのWebサイト：https://website.com/
検索の入力：site:website.com
検索結果が表示されれば、クローラーによってあなたのWebサイト情報が収集されたと判断します。
2.統計情報「Google Search Console」を使用する
「site:」を使う方法以外にも「Google Search Console」を使う方法もあります。
Google Search Consoleは、Googleのクローラーがどのように動作しているかの統計情報を確認できるツールです。
Google Search Consoleの上部に「URL検査」という項目があり、ページのURLを入力することで、ページがGoogleに登録されているかどうかを確認できます。
6.まとめ
クローラーは、検索エンジンにWebサイトを登録するために、Web上の情報を収集するプログラムです。
クローラーによってWeb上の情報が収集されることで、検索エンジンを通してWebページを見つけることができるようになります。
そのため、クローラーにとって最適なWebサイトを作成することは、SEO効果があります。
クローラーに気に入られるWebサイトは、人間にも見やすいサイトとも言えるでしょう。
クローラーの最適化はSEO効果があるとともに、人間にとっても良いサイトになるため、ご紹介した最適化方法を試してみてくださいね。
