SEO対策をするためには、まず、検索エンジンの仕組みを知ることが大切です。
本来の目標は、SEO対策の結果、アクセスが増えることや売り上げがアップすることだと思います。つまり、ターゲットとするのは検索エンジンを使用してウェブサイトを閲覧している生身の人間です。
しかし、SEO対策が対象としている相手は、あくまで検索エンジンというロボット、プログラムです。そのロボットやプログラムを作成しているのも人間ではありますが、一定の規則に従って作成された無機質なものを相手にしているということを、常に頭に置いておくのは重要なことです。
検索エンジンは、「クローラー」というウェブページを巡回し、情報収集をおこなうプログラムを持っています。
Yahoo！にはYahoo！のクローラー、GoogleにはGoogleのクロｰラーがそれぞれ存在しており、巡回の仕組みや収集する情報もそれぞれ異なっています。
クローラーは独自の基準によって、ウェブページを巡回していきます。その際には、各ウェブサイトがrobots.txtによって指定している範囲に基づき、ページの巡回と情報の収集をおこないます。Robots.txtでは、ページの巡回、情報収集の可否を指定できます。
このときに収集された情報は、「キャッシュ」と呼ばれる一時保存のような状態になります。
その後、キャッシュされた情報をもとに、検索エンジンが使用するデータベースへの登録をおこないます。この登録のことを「インデックス」といいます。
いくらWeb上にページを作成していたとしても、検索エンジンにインデックスされていない場合、検索エンジンの検索結果には表示されません。
SEOについて調べると、インデックスやクローラーという言葉をよく目にする理由はここにあります。
どれだけ良いウェブサイトを作成していても、インデックスされていなければ検索エンジンからの集客は見込めません。
インデックスされているかどうかはとても大切なポイントなのです。
インデックスされているかどうかを調べるためには、URLの前に「site:」をつけて検索エンジンの検索ボックスに入力します。site:をつけることで、そのサイトのインデックス数を調べることができます。