クローラーの役割とは

ブログ

2016.05.10 SEO

クローラーの役割とは

検索の情報を収集するロボット
Google検索が高度に発展した秘密は「クローラー」というロボットの存在にあります。これがインターネット上を巡回していくことで、さまざまなWebサイトの情報を収集していくのです。
この事から、クローラーが検索エンジンのすべてを担っていると考える人もいますが、実際には「インデクサ」で収集した情報の解析がおこなわれ、「クエリサーバー」で検索結果を返すという連携が成されています。
クローラーが読み込むのはhtmlファイルです。PDFであっても、httpsのサイトであっても、インターネット上にある、ありとあらゆる情報を収集していきます。画像や動画そのものの中身は読めない、というのが定説でしたが、技術の進歩でそれもだんだんと解消してきています。
クローラーと仲良くする
クローラーはロボットですから、開発者の意向に忠実に従います。開発者はGoogleであり、意向とはユーザーに最適な情報を届ける、ということです。ですからクローラーはGoogleの命令を通して、ユーザーに奉仕する存在となります。
つまり、このクローラーが読みやすいWebサイトを作ることがSEO対策となるのです。
Search Consoleの「Fetch as Google」は、クローラー目線でWebページを確認できるツールです。「取得してレンダリング」ボタンの方を使えば、ビジュアルとしてクローラーの見え方と、人間の目の見え方の両方で確認ができますので、分かりやすいでしょう。
このようにSearch Consoleは、クローラーのことを実感として理解できる、あるいはxmlサイトマップの送信などを通して対話ができるツールなのです。
来てほしくない時の対処
多くのWebページは検索結果に表れて欲しいものですが、そうでないものも稀にあります。そんな時には機械的な制御でクローラーをブロックします。この場合に使われる設定が「robots.txt」です。
テキストファイル内にクローラーにアクセスして欲しくないサイトやディレクトリを指定してブロックします。
なお、中小Webサイトでは、同じサーバー内にディレクトリを切ったり、サブドメインを設置することでテスト(確認)用のサイトを持つ場合も多いはずです。こうした時は、ベーシック認証で確実にクローラーが入れないように設定しましょう。

CONTACT
お問い合せ・お見積りはこちらから
  • 03-6279-3013 お問い合わせは 月~金 10:00~19:00

  • メールでのお問い合せはこちら
c