検索の情報収集ロボット「クローラー」の役割とは

ブログ

2016.05.10 SEO

検索の情報収集ロボット「クローラー」の役割とは

クローラーとは?

クローラーとは検索の情報を収集するロボットのことをさしています。

Google検索が高度に発展した秘密は「クローラー」というロボットの存在にあります。

これがインターネット上を巡回していくことで、さまざまなWebサイトの情報を収集していくのです。

このことから、クローラーが検索エンジンのすべてを担っていると考える人もいますが、実際には「インデクサ」で収集した情報の解析がおこなわれ、「クエリサーバー」で検索結果を返すという連携が成されています。

 

 

クローラーの詳細を説明!

クローラーが読み込むのはhtmlファイルです。PDFであっても、httpsのサイトであっても、インターネット上にある、ありとあらゆる情報を収集していきます。画像や動画そのものの中身は読めない、というのが定説でしたが、技術の進歩でそれもだんだんと解消してきています。

 

 

クローラーと仲良くする=検索優位!

クローラーはロボットですから、開発者の意向に忠実に従います。開発者はGoogleであり、意向とはユーザーに最適な情報を届ける、ということです。ですからクローラーはGoogleの命令を通して、ユーザーに奉仕する存在となります。
つまり、このクローラーが読みやすいWebサイトを作ることがSEO対策となるのです。

 

 

Fetch as Googleとは?

Search Consoleの「Fetch as Google」は、クローラー目線でWebページを確認できるツールです。

「取得してレンダリング」ボタンの方を使えば、ビジュアルとしてクローラーの見え方と、人間の目の見え方の両方で確認ができますので、分かりやすいでしょう。
このようにSearch Consoleは、クローラーのことを実感として理解できる、あるいはxmlサイトマップの送信などを通して対話ができるツールなのです。

 

 

来てほしくない時の対処

多くのWebページは検索結果に表れて欲しいものですが、そうでないものも稀にあります。そんな時には機械的な制御でクローラーをブロックします。この場合に使われる設定が「robots.txt」です。

テキストファイル内にクローラーにアクセスして欲しくないサイトやディレクトリを指定してブロックします。
なお、中小Webサイトでは、同じサーバー内にディレクトリを切ったり、サブドメインを設置することでテスト(確認)用のサイトを持つ場合も多いはずです。こうした時は、ベーシック認証で確実にクローラーが入れないように設定しましょう。

 

 

おわりに

いかがでしたでしょうか。

クローラーを知ることで今後のサイト運用の目線も大きく変わります。クローラーの性質を駆使して根拠のあるサイト運用をしていきましょう!

 

 

弊社では、Webに精通した実績のあるスタッフが運用をサポートいたします。

ぜひお問い合わせください。

 

 

 

CONTACT
お問い合せ・お見積りはこちらから
  • 03-6279-3013 お問い合わせは 月~金 10:00~19:00

  • メールでのお問い合せはこちら