Googleにサイトがインデックスされない。原因と対策を考えてみた。
ちょっと前からGoogle検索で出てこないページと出てくるページがあることがちょっと気になっていました。
Google検索窓に「site:ブログのURL」を入力してインデックス（Googleに自分のブログのページを認識してもらい、Googleのデータベースにその情報を格納させること）されているか調べてみたところ、インデックスされているページとされていないページがありました。
その原因と対策を考えてみようと思います。
インデックスしてもらうためには
まず、インデックスしてもらうためには、GoogleのロボットがWebサイトをクロール（検索エンジンのwebクローラーというロボットに自分のブログの各ページを巡回してもらうこと）してもらって、自分のブログのURLをGoogle側に見つけてもらう必要があります。
今のところ、このクロールをリクエストする方法としては、
- XMLサイトマップの送信
- Google Search ConsoleのURL検査ツール（旧fetch as Google）
- 内部リンク/外部リンクの設置
があります。
XMLサイトマップを送信するプラグイン
まず、サイトマップの役割とは、サイトの存在とどういう構造のサイトなのかという情報が含まれています。
XMLという形式でサイトマップを作成してGoogleサーチコンソールへ送信することで、Googleの検索エンジンにページを認識してもらってインデックスします。
サイトマップは作成も送信もwordpressのプラグインで自動的に行うことができます。
私はGoogle XML Sitemaps、Rank Math、Jetpackなどでサイトマップを送っていました。
ただ、どうしても認識してもらえなかったり、送信されていなかったりということがあるので、
最初はプラグインでサイトマップを作製してGoogleサーチコンソールから手動で転送を行いました。
その後はプラグイン（後述）が自動で管理してもらっています。
複数のプラグインで複数のsitemapを送信することは大丈夫？
実は、最近、Wordpressで次のようなメッセージがでていました。
sitemapの複数送信についてちょっと調べてみると、問題ないと書かれているサイトもあれば、一つに統一したほうが良いと書かれているサイトもありました。
Jetpackは、他にsitemapを送信するプラグインが入っていると自動的に停止するようになっていて、やはり複数送信はgoogle的にあまりいいことはないのかもしれません。
今までは、Google XML SitemapsとRank Mathの両方でsitemapを送っていましたが、Google XML Sitemapsに一本化して、しばらく様子をみることにします。
Google Search ConsoleのURL検査ツール
そしてURL検査については、すべてのページについてマニュアルでURL検査を行いました。
①のプロパティが自分のブログのアドレスになっていることを確認してから、②に記事のアドレスをいれてリターンをおすとURLの検査が始まります。
「URL が Google に登録されていません」と出てしまった記事はすべて「インデックス登録をリクエスト」をしました。
サイトマップ送信とURL検査ツールによるインデックス登録リクエストを実行すると、インデックスされないほとんどのページは1～2週間後にはインデックスされるようになります。
ただ、これらのことを実行しても、どうしてもインデックスされないサイトもいくつか出てくる場合があります。
そこでインデックスされない、または削除されてしまった時の原因と対策をまとめてみました。
インデックスされない原因と対処法
| 原因 | 対策 | |
|---|---|---|
| robots.txtの設定 | クロールを拒否する「disallow」の記述がある。 | 不要なdisallowの記述を削除。 |
| noindexの設定 | 記事の<head>内にnoindexを記述している。 | noindexの記述を削除。 |
| canonicalの設定 | canonicalタグの記述でURL正規化の指定が間違っている | canonicalで指定しているURLを修正、もしくはcanonicalを記述ごと削除。 |
| 該当ページ発見経路 | 評価対象ページへのリンクやsitemap.xmlの記述がなく、クローラーが発見できない。 | 外部・内部リンクを追加。siteemap.xmlを作成してgoogleへ送信（SEOプラグインを導入）。 |
| 重複ページ | 重複したり似たような内容の記事がある。 | 類似したサイトを削除または修正。 |
| 低品質な内容 | メインコンテンツの内容が低い、タイトルと不一致、誇張されている。作成者の情報が不十分など。 | 削除、リライト、noindexを設定。管理者ページを作成など。 |
インデックスが削除されている場合の原因と対処法
| 原因 | 対策 | |
|---|---|---|
| Googleペナルティー | Googleガイドラインの違反。 | 手動の警告：Googleサーチコンソールで警告内容を確認して修正。 自動の警告：何とか原因を調べて修正。 |
| ペナルティー対象の 中古ドメインの使用 |
中古ドメインの購入・使用。 | 中古ドメインは使用をやめる。 |
私の場合、ひょっとしてGoogleのペナルティーなのかも、とちょっと思い始めました。
ちなみにGoogleガイドラインの違反項目は以下のようになっています。
リンク プログラムへの参加
オリジナルのコンテンツがほとんどまたはまったく存在しないページの作成
クローキング
不正なリダイレクト
隠しテキストや隠しリンク
誘導ページ
コンテンツの無断複製
十分な付加価値のないアフィリエイト サイト
ページへのコンテンツに関係のないキーワードの詰め込み
フィッシングや、ウイルス、トロイの木馬、その他のマルウェアのインストールといった悪意のある動作を伴うページの作成
リッチ スニペット マークアップの悪用
Google への自動化されたクエリの送信
※引用元：ウェブマスター向けガイドライン（品質に関するガイドライン） – Search Console ヘルプ
確かに、インデックスされていない記事は、他のブログ記事へのリンクが多く張られていたり、内容もちょっと重複しているところがありました。
そこで、できるだけ修正を加えたのちに数か月ほど様子をみてみましたが、インデックスされることはありませんでした。
一度ペナルティーをうけたURLを復活させることは難しいのではと思い、
全く新しい記事を立ち上げて、内容をそこへ移し、さらに内容も手直しを加えてみました。
あともう一つ、思い当たることは、内容が低品質ということ。
通常のブログのように思ったことをだらだら書いた記事は、googleからインデックスされないことが多いような気がしています。
そういった記事については、インデックスはあきらめたほうがいいかもしれません。
その結果は？
新しい記事としてリクエストした翌日には
なんと、無事インデックス登録がされていました。
URLを新しくしたほうが早いですね。
追伸：しかし、一週間ほど経過するとまたインデックスから外れていました。
外れた記事を見ると、いくつかのブログ記事をまとめてリンクしたまとめ記事でした。
インデックスをはずれていたのは、内容が似ていたようです。
タイトルも含めて、重複しないように書き直してみたところ、無事インデックスされるようになりました。
カテゴリーページやタグページも気を付けないといけませんね。
SEOプラグインRank Mathを導入してみよう
XMLサイトマップの管理についてですが、Rank Math (SEO Plugin for WordPress)というプラグインを新たに導入してみました。
ブログをgoogle検索の上位に表示させるためには、ブログのコードや構造を工夫する必要があります。
それをWordpress上で行ってくれるのがSEOプラグインになります。
SEOプラグインで最近人気のあrRank Mathは、
- サイトマップの精製、送信
- タイトル、メタディスクリプションを検索エンジン向けに入力
- 投稿記事のSEO最適化
- サーチコンソールと連携
- リンク数のカウント
- リダイレクトや404モニター
- サーチコンソールの連携
- Googleキーワードランキングとの連携、
など非常に細かくSEO設定をすることができる優秀なSEOプラグインです。
Rank Mathは2018年に登場したばかりなのですが、多機能＆軽量ということで最近利用者が急増しています。
私も最初は定番のYoast SEOやAll in One SEO Packを入れようと思ったのですが、
やはり軽量というのが魅力でRank Mathを使うことにしました。
特にこれからWordPressでブログを立ち上げようとしている方にはRank Mathが断然おすすめです。
解析不能な構造化データ？ noindex tagが入っている？ Googleからのメール
そうこうしているとgoogleからメールがとどきました。
解析不能な構造化データ
＃＃＃＃＃で問題が検出されました
Search Console により、貴サイトに影響する「解析不能な構造化データ」関連の問題が 1 件検出されました。
主なエラー
エラーにより、貴サイトのページまたは機能が検索結果に表示されなくなる可能性があります。貴サイトでは、以下のエラーが検出されました。
値の型が正しくありません
上記の問題をできる限り解決されることをおすすめいたします。こうした問題を解消することで、サイトのエクスペリエンスや Google 検索結果での表示を最適化できます。
ブログは３つ持っているのですが、そのうちの１つだけエラーがあるようです。
心当たりが一つ。直前にstyle.cssをに書き込んで目次をカスタマイズしていたので、どこか間違えているのではと。よくよくみると、}がダブルで挿入されていた場所がありました。修正の後に再チェックをしたところ、
貴サイト内の 1 ページで修正が確認されました。
とのメールが届きました。やれやれと安心していたところ、
カバレッジ＃＃＃＃で問題が検出されました。
Search Console により、貴サイトに影響する「カバレッジ」関連の問題が 1 件検出されました。
主なエラー
エラーにより、
送信された URL に noindex タグが追加されています
と次のメールがgoogleがから届きました。
さて今度はどうしたものか。
問題が次から次へと、という感じで、ブログは子育てと一緒で手がかかりますね。
そうこうしているうちに以下のメールが届きました。
貴サイトで「カバレッジ」
貴サイト内の 2 ページで修正が確認されました。
確認プロセスの詳細をチェックし、「カバレッジ」
実は特に何もしていないのですが、今回は自然治癒してくれたようです。
（ちゃんとした対応はこちらの記事にあります。）
https://rkrismz-english.work/Depression/アフィリエイト/2312/
まとめ
こんな感じで、今日はブログの目次のカスタマイズ、今日はSEO向けキーワード、今日はgoogleからの宿題、と毎日、気がついた箇所を手直ししています。
少しずつですが、見た目は良くなってきているような気がしています。
懸案のpvと収益はまだまだ低調ですが、ブログ全体をみると病の自分が独学でよくもここまでやれたものだな、と関心することもあります。
私の場合、ブログデビューして半年程度の初心者なので、これからブログやアフィリエイトを始めようと考えられている方向けに情報を発信していこうと思います。
素人視線で気が付いたことやこれはいい、と思ったことを備忘録として綴っていこうと思います。
質問等がございましたらお気軽に連絡していただければと思います。
病状も低調でいまだに幸い時間はあるのですが、辛いことを考える前にpcに向き合ってその後数時間はブログのことだけを考えるようにしてしのぐようにして過ごしています。
ここで収益がもう少し出てくれば、辛いことは考えなくなるんだろうし、私自身の自信にもなるし、家族にとってもありがたい話なのですが、、、。
アフィリエイト関連記事 #1
アフィリエイト関連記事 #2
アフィリエイト関連記事 #3
アフィリエイト関連記事 #4
コメント