SEO

Googleクローラーの仕組みを理解してSEO対策で上位表示する

こんにちは!

WEBが苦手な老害経営者のTAKASHIです!

本日は僕のWEBサイトにお越しいただき、ありがとうございます。

中小企業のビジネスオーナーの方へ!

今回は、

WEBマーケティングを始める為には「SEO対策」←(検索エンジン最適化という意味)
というものがあってどうしても必要になってくる項目です。

SEOを学ぶ前にクローラーというものがある!

クローラーって何者??←分からないので分析することにしましたー!

クローラーとはサイトを巡回するロボットらしい…

Googleのクローラーはリンクを辿ってページを見つけていくので内部リンクが無いとページを発見できません。

重要なページから内部リンクが多い方が価値があり、価値があるということは
クロールの頻度が高まるといった発想になるものです。

同じ悩みを持ってもらった人は是非、最後までお付き合いくださいね!

Googleクローラーとは?

Googleクローラーとは、Googlebotとも言われています。

コンピュータープログラムがWEBサイトをクロールしにいってHTMLをレンダリングして情報を取得する事をしています。

「レンダリングって何??」

そもそもWEBサイトってHTMLという英語の羅列もの(コンピューター用の言語)が送られてきてHTMLをユーザーが見れる形に変換して表示することをレンダリングと言います。

SEOの基本→ランキングされるまでにはインデックスやクロールがあってクロールされないとインデックスもされないしランキングもつきません!

クロール→インデックス→ランキングって流れになります。

Googleクローラーには種類がある

Googleクローラーには2種類あります「スマートフォン用」と「パソコン用」
に分かれてます。

具体的にいうとユーザーエージェントが異なります!

今はモバイルファーストインデックスといって、モバイル版によってランキングをつけて
いるのでスマートフォン用botの方が重要です。

今、スマートフォン用とパソコン用のGooglebotのクロール比率や数というのは
サーチコンソールの設定ってところからクロールの統計情報ってところにいっていただいて

「図1」

Googlebotのタイプ別ってところで統計情報が見れます。

「図2」

パソコン何%とかスマートフォン何%とか出てきます。

「質問」
パーセンテージはどう評価をすればいいんですか?そこは、いいとか、悪いとかじゃなくてどちらのbotが多く見に来てるのかということを判断する感じですか?

「回答」
今はスマホ版で評価されているのでパーセンテージというよりもスマホ版のbotがサイトに満遍なく来ているかが大事で、必然的にパーセンテージが大きいほうが良いというぐらいの指標になります。

Googleクローラーの申請方法

Googleクロールに申請する方法をお伝えしていきます。

クロールの申請ってこっちに来てくださーいって呼びかける事です。

どのようにやるかってことですが、申請方法は2つあります!

①Googleサーチコンソール

1つ目がGoogleサーチコンソールの検索窓にURLを入れて→URL検査ってところを
押す→インデックス登録をリクエストするとクロールが来てくれます。

新しい記事を書いたり、新しいページを増設した時には早めにクロールに来てほしかったらURLたたいてリクエストするといいでしょう。

リクエスト送らなくてもクロールは来ますが、その場合はトップページに新着が載ってからクローラーがトップページを見に来て初めて発見されるので、リクエストかければすぐに来てくれます。

早いに越したことはないです!!

なるべく早く来てもらいたい人はすぐに送って下さい!

②XMLサイトマップ

2つ目がXMLサイトマップを送る!です。

ここに入れておけばそこの変更をGoogleが察知してクロールしに来てくれます。

Googleクローラーの巡回頻度を高めるコツ

①内部リンクの最適化

Googleのクローラーはリンクを辿ってページを見つけに行くので、内部リンクが無いとページを発見できないです。

内部リンクというのは、昔からリンクジュースがあるので重要なページから内部リンクが多い方が価値があるので価値があるということは→クロールの頻度が高くなるということになります。

②外部リンクを増やす

考え方は一緒で内部か外部かと言うことで外部からリンクが多い方がそのページやサイトの価値の高まります。

Googleからの評価も高まってクロール頻度の高まります!

③サイト構造の最適化

サイトトップページからのリンクの深さ、トップページから何回クリックしてそのページにいけるのか、って事を深さって言ってるのですが結構勘違いしている人が多いです。

トップページにリンクがあれば深さは1と考えられますので、なるべく少ないクリック数でどのページでも行ける設計にすると良いです!

ただ、「結構マニアックで凄く難しい作業になります…」

もう1つがパンくずリストを設置しましょうです。

パンくずを設置しておけば必然的に内部リンクをGoogleクローラーがサイトの構造を把握しやすくなるので「パンくずは必須です。」

どのサイトも基本入っていると思うのですが改めて正しく設計しましょう。

④クロールバジェットの最適化

これは、大規模サイト向けの話になりますが、そもそもクロールバジェットとは何ですか?ってことなんですが、Googleクローラーは無限にクロールしてくれるわけではありません。

Googleもサーバーをたくさん使ってそれで動いているわけなので、1つのサイトに対しての1日や1ヶ月などのクロール出来るリソースの総数がサイトごとで決まっている。

「例えば」6000万ページまであって300万ページまでしかクロールバジェットが
無い…ってなったら、クロールバジェットのリソースをいかに有効活用出来るかってことになります。

有効活用するためには、

無駄なクロールを減らす。

無駄なパラメーターが入ってしまうページが量産されることは良くありますがそういった
ページをクロールしないように「内部リンクをキレイにする」

robots.txtでDisallowでブロックするということが必要になってきます。

より大事なページにクロール頻度を増やしたい。

そのページに来てもらう頻度をどう増やすか考えてる事が大切です。

例えば」1日1回は来て欲しいと決めたとして月30日として、そのKPIを
ウオッチしながら、何を変えたら変わるのかを見ていきます。

トップページからリンクを置いてみたり、地域のリンクを置いてみるとか、
店舗からのリンクを増やすとかしてみたり、

そのページで掲載店舗以外の情報で毎日変わる情報を入れてみたりして、ページの更新頻度を増やしながら日々ウオッチしていくと良いでしょう。

Googleはサイト単位で評価優先度みたいなものがあってこの「サイトは大事だからクロールしよう!」とか、

逆に、このサイトは更新もないしユーザーからの評価も悪いからクロールを減らそう!ってのがあります。

サイト単位もありますしサイト中のディレクトリ単位でもあると言われているので、サイト全体の評価をあげましょう!

Googleクローラーのクロール状況の確認方法

「クロールの確認方法2つ」

ページ単位での確認方法、サーチコンソールを見る。

まず、URLを貼って→URL検索を押して(前回のクロールが出ます)→ページのインデックス登録って具合で見ていく、ここを見てあまりにも古ければ全然来てないことになります。

ここで、まず、確認ですね!

もう1つがサイト単位でクロール状況を確認する方法に関してはサーチコンソールのクロール統計情報を開くとクロールの数とかが出るので、ここでサイト全体のクロール状況を確認して下さい。

ここをKPIとしてどうなったのかをウオッチするようにしましょう。

基本的にはサイト全体を見た方がよいですね!

ただし、大規模なサイトになればなるほどサーチコンソールの統計情報は、

8000万とか1億ページとかあるサイトでも直近のクロール1000個しか見られないのです。

まとめ

ランキングがどうやったら順位が上がるかって話が多くなると思いますが、結局ランキングまでの過程にしっかりとクロールを来てもらって、そのページが価値あるものだとGoogleに思ってもらいインデックスしてもらってようやくランキングの対象になるので、
一番最初のクロール部分を意識することが凄く重要だということが分かりました!

Googleクローラーについて調べてみましたが、クローラーを上手につかってSEO対策で
上位表示させる為には、お伝えしてきた5つのポイントを理解して実践していって下さい。

本日はここまでです。

最後までお読みいただきありがとうございました(^_^)/~