クローラーとはweb上の、HTML文書・画像・PDFを含む全般を収集するためのプログラムロボットです。
このクローラーが集めたデータがインデックス化されて検索エンジンに引っ掛かるというようになります。
倉田
僕もブログサイトをはじめて立ち上げた時にクローラーの根本的な役割を理解していなかったのでこの記事ではクローラーがwebの検索機能に対して行っている役割についてまとめてみました。
クローラーがweb上で検索エンジンに表示されるまでの流れ
クローラーを理解するには、記事をアップしてから検索ユーザーの検索に引っ掛かるまでの流れを把握する必要があります。
文章だけでは難しいので図にしてみました▼
こんな感じです。
クローラーというのは常にネット上を巡回（クロール）しています。
そこで見つけたあなたのデータ（記事）を検索エンジンロボットに報告します。検索エンジンロボットはそのデータを優秀な検知システムで分析し始めます。
そこで価値あるコンテンツかどうかの判断を下し、検索エンジンにインデックス表示させて検索結果の順位を決めていきます。
つまりクローラーのweb上での役割としては、私達のデータを収集して検索エンジンに報告しているという解釈でいいでしょう。
クローラーにすぐ見つけて欲しい！
クローラーに自分の記事をすぐ見つけてもらえるに越したことはないですよね。
例えばトレンドブログをやる場合、速報系記事など緊急性の高いものはできるだけ早く検索結果に表示させたいものです。
しかしこのクローラーロボはそんな都合よくやって来ないのが難点です（汗）。
ん～どうにかならないのか？
そんな問題を解決してくれるツールがGoogle Search Consoleの「インデックス登録」です
これは、クローラーに
倉田
とロボに依頼を出来るシステムです。
参照記事：Google Search Consoleのインデックス登録方法解説！
また、
少しでも多くのコンテンツ情報を読み取ってもらうために、こちらからサイトマップを生成してクローラーに届ける導線を作ることも出来ます。
参照記事：XML-Sitemaps(サイトマップ)の貼り方～SEO強化～
このように出来る対策は必ず行っていきましょうね！
最後に
以上がクローラーの役割の説明なんですが、すごい難しく考える必要はありません。
ブログ開設初期にサイトパワーが弱くて記事を公開してもなかなかインデックスしてもらえないのは、クローラーに見つけてもらってないからということだけでも覚えてもらえたらなと思います。
コメントを残す