こんにちは、奥成大輔（オクナリダイスケ）です。
GoogleのSearch Console（サーチコンソール）からメールが届くとドキッとします。
今回届いたメールは次のような件名でした。
件名：サイト https://freecalm.com/ で「インデックス カバレッジ」の問題が新たに検出されました
メールを確認すると、Google検索結果で悪影響を受ける可能性があるという内容です。
「インデックス カバレッジ」の問題が新たに検出されました
https://freecalm.com/ の所有者様
Search Console により、貴サイトに影響する「インデックス カバレッジ」関連の問題が新たに 1 件検出されました。 「インデックス カバレッジ」は Google 検索結果で悪影響を受ける可能性がございます。 この問題をご確認のうえ、修正することをご検討ください。
新たに検出された問題:
robots.txt によりブロックされましたが、インデックスに登録しましたSearch Console を使用して インデックス カバレッジ 件の問題を修正（リンクボタン）
悪影響を受けることはできるだけ避けたいので、さっそく対処することにしました。
インデックス カバレッジとは何か？
ところで、このインデックス カバレッジとはそもそも何のことなのでしょうか？
インデックス カバレッジ レポート – Search Console ヘルプによると、インデックス カバレッジとは、新しい Search Console のベータ版の一部に含まれるレポート機能のことを指すそうです。
どのページがインデックス登録されているかや、インデックス登録できなかったページの修正方法を確認できます。グラフの各バーは、Google が認識している URL の合計数を各ステータス（有効、エラーなど）別に表しています。
各ステータスは、サイトの各ページ毎に設定され、次の4つがあります。
エラー: ページはインデックスに登録されていません。詳細およびエラーの修正方法については、下記の各エラータイプの説明をご覧ください。最初にこうした問題に集中する必要があります。
警告: ページはインデックスに登録されているか、最近まで登録されていましたが、気を付けておくべき問題があります。
除外: なんらかの理由（通常はユーザーによる対処が不可能）によって、ページはインデックスに登録されていません。こうしたページはインデックス登録処理の途中段階にある可能性があります。また、ページが（noindex ディレクティブなどを使用して）意図的に除外されていて、正しい動作であることもあります。
有効: ページはインデックスに登録されました。
Search Console のページでは、各ページのステータスをこのように確認することができます。
インデックス カバレッジ4つのステータス
インデックス カバレッジの問題を Search Console で確認する
今回、検出されたインデックス カバレッジの問題は「robots.txt によりブロックされましたが、インデックスに登録しました」という内容です。
届いたメールに記載された「 Search Console を使用して インデックス カバレッジ 件の問題を修正」というボタンをクリックして Search Console で修正を試みます。
ステータスは警告でした。
robots.txt によりブロックされましたが、インデックスに登録しました
該当ページを確認すると、該当ページはサイト開設時には存在していたもののサイト運営を開始して使われなくなっていた「未分類」のカテゴリページでした。
警告された該当ページは現在は存在していないはずのページ
そのページは、現在は使われていないカテゴリのため、WordPressの管理用ディレクトリ下のページに移動されており、該当URLには存在しないページなのです。
WordPressの管理用ディレクトリは、robots.txtファイルで検索エンジンのクロールが制限されているページなのですが、以前に検索エンジンにインデックスされていた「未分類」のカテゴリページのURLからリダイレクトされていて、表示できないページがインデックスされてしまっているという不具合で警告が出ているという状況でした。
届いたメールを見たときに「robots.txt によりブロックされましたが、インデックスに登録しました」という文言を見て、最初は何のことかわからなかったのですが、アクセスしてみてやっと理由が分かりました。
対処方法はrobots.txtでDisallow（アクセス拒否）するrobots.txtでDisallowしても解決しない
対処方法としては、該当ページをrobots.txtに追記してDisallow（アクセス拒否）するという対応を取ることにしました。
実際には存在していないと想定しているページなので、リダイレクトされる前のURLにアクセスできないようにすることにして対処しました。
WordPressサイトでのrobots.txtの編集方法
WordPressでは実際にサーバー上にrobots.txtというファイルは存在しません。
しかし、サーバー上のルートディレクトリにrobots.txtを置くとそのファイルが優先されるようになっています。
そこでテキストエディタで、robots.txtを作成してサーバーのルートディレクトリにアップロードすることにしました。
robots.txtの内容ですが、一般的には次のようにドメインの後に「/robots.txt」と打ち込んで表示させると確認できます。
https://〇〇.comというサイトの場合の例
例）https://〇〇.com/robots.txt
通常WordPressの場合は、下記のように記載されています。
–
User-agent: *
Disallow: /wp-admin/
–
これに下記をrobots.txtに追記してDisallowしました。
–
Disallow: /category/%E6%9C%AA%E5%88%86%E9%A1%9E/
–
サイトマップを送信している場合は、robots.txtに次のような記載もあります。
–
Sitemap: https://〇〇.com/sitemap.xml
–
この部分も忘れずに新しく作成したrobots.txtに残しておきます。
実際にテキストファイルを編集する方法もありますが、Search Consoleにもこのrobots.txtを編集してファイルをダウンロードできる機能もあるので、そちらを使うのもよいでしょう。
robots.txtを編集したら、サーバーにアップロードします。
現在はSearch Consoleによって検証中Search Consoleに検証を申請(※2018-08-16 修正)
上記の方法で対応しましたが、この記事を書いている現在はSearch Consoleによって検証中です。
検証を申請すると下記のようなメールが届きます。
「インデックス カバレッジ」の問題を検証しています
「インデックス カバレッジ」の問題を検証しています（サイト https://freecalm.com/）
https://freecalm.com/ の所有者様
弊社では、貴サイトの「インデックス カバレッジ」に関する問題の修正について検証を開始いたしました。具体的には、1 ページに現在影響を及ぼしている「robots.txt によりブロックされましたが、インデックスに登録しました」について確認しております。
検証には数日かかることがございます。処理が完了し次第お知らせいたします。以下のリンクにアクセスして、テストの進捗状況をご確認いただくこともできます。
検証フローの進捗状況を確認する（リンクボタン）
Search Consoleの検証結果(※2018-08-16 追記）
インデックス カバレッジの問題の未修正部分について for site https://freecalm.com/
サイト「https://freecalm.com/」（特に、robots.txt によりブロックされましたが、インデックスに登録しました の影響を受けるページ）におけるインデックス カバレッジの問題に関する修正の承認をリクエストされた件につきまして、お知らせいたします。一部のページで、この問題が依然として修正されていないことが確認されました。
承認プロセスの詳しい進捗状況と、残りのページを修正する方法を確認するには、こちらのリンクをクリックしてください。
問題の詳細を確認する（リンクボタン）
URLの削除申請して再度(※2018-08-16 追記）
Disallowしてアクセス拒否をしただけでは、インデックスに登録された状態を回避することができませんでした。
次のアクションとして、Search ConsoleのGoogle インデックスでURLの削除を申請し、承認されたことを確認してから再度Search Consoleに検証を申請しました。
URLの削除申請のページでは、下記のように書かれています。
所有する URL を検索結果から一時的に削除します。コンテンツを恒久的に削除するには、ソースページの削除または更新が必要です。
しかし、すでに存在していないページのソースは削除されていますし、存在しないページを書き換えることはできません。
このURLの削除で様子をみてみましょう。
まとめ
「インデックス カバレッジ」の問題が新たに検出されましたという Search Console からのメールには一瞬ドキッとしました。
今回はインデックスされてしまい、警告されたページのURLをDisallow（アクセス拒否）することによって対処しました。
現在検証中なので、厳密にこの方法でいいかどうかはまだ分かりませんが、Google検索結果で悪影響は受けたくありませんので早めに対処しました。
しかし、最初の検証では問題は解決できず、URL削除申請が承認されたことを見計らって再検証中です。(※2018-08-16 追記）
このような事態を未然に防ぐためにも、WordPressサイトの立ち上げ直後の準備段階では「設定＞表示設定」で「検索エンジンでの表示」の項目の「検索エンジンがサイトをインデックスしないようにする」をチェックして、検索エンジンに不要なページをインデックスされないようにしておきましょう。
WordPressを利用している方で、同様のメールやメッセージを Search Console から受け取られた方の参考になれば幸いです。
