サイトマップが3ヶ月止まっていても、誰も教えてくれません

記事カバー画像。見出しは「サイトマップが3ヶ月止まっていても、誰も教えてくれません」。

記事を1本ずつ丁寧に見ていても、絶対に見つからない故障があります。

私たちのサイトで実際に起きた3つは、全部そうでした。サイトマップが93日間凍結していたこと。公開した記事が27日間クロールされなかったこと。記事同士をつなぐ内部リンクが1本もなかったこと。

どれも、記事を開いて読んでも分かりません。 1本1本は問題なく書けていました。壊れていたのは記事ではなく、記事と記事の間です。

そして3つとも、警告を一切出しませんでした。

まず、2分でできる点検

自動化の話は後にします。今日すぐ、手で確認できる3つから書きます。ツールも登録も要りません。

1. サイトマップをブラウザで開く

ドメインのうしろに /sitemap_index.xml または /sitemap.xml を付けたURLを開いてください。

見るのは2つです。日付が最近か。 そして、中に並んでいるURLを2〜3本クリックして、まだ生きているか。

私たちの場合、日付は3ヶ月前で止まっていて、中には削除済みのページが11本入っていました。Googleに「このページを見に来てください」と言い続けていたわけです。所要4秒で分かる状態でした。

2. 最新記事のURLをSearch Consoleで検査する

Search Consoleの上部にある検索窓に、最新記事のURLを貼って検査します。

見るのは順位ではありません。そもそもクロールされているかどうかです。「URL が Google に登録されていません」と出て、クロール日時の記録もない場合、その記事はまだ誰にも見られていません。

私たちは、公開から3週間半たっても一度もクロールされていない記事を持っていました。順位が低いのではなく、来ていなかったのです。

3. 記事から別の記事へ、クリックで行けるか試す

どれか記事を開いて、リンクをたどって別の記事に行けるかやってみてください。

行けないなら、クローラーも行けません。カテゴリページや記事一覧からは辿れても、本文中にリンクがない状態は、読者にとっても行き止まりです。

私たちのサイトは、日本語側で記事間リンクが2本しかありませんでした。法務ページへのリンクは全記事にあったので、目視では「リンクはある」と見えていたのです。

今日すぐできる3つの点検の表。サイトマップを開いて日付とURLの死活を見る。最新記事をSearch ConsoleでURL検査してクロールの記録を見る。本文のリンクをたどって別の記事に行けるか試す。
3つとも1分かかりません。

自動で回す場合の6項目

手でやるのは最初の1回だけにして、あとは機械に任せます。私たちが見ている6項目です。

| 見るもの | なぜ |
|—|—|
| サイトマップの日付 | 止まっても警告が出ない |
| サイトマップ内のURLの死活 | 消したページを配り続ける |
| 記事から記事へのリンク総数 | 0本でも誰も教えてくれない |
| 被リンクが0本の記事 | クローラーにとって行き止まり |
| 発リンクが0本の記事 | 同じ問題の裏返し |
| 最新記事からの経過日数 | 更新が止まったことは報告されない |

特別な技術は使っていません。どれも「自分が実際に踏んだ穴」から1つずつ足したものです。

記事3つを箱で表した図。各箱は記事単位の検査で囲まれているが、箱と箱の間の点線部分には何の検査もない。3つの故障はすべてこの間にあった。
記事単位の検査は、箱の中しか見ていません。

走らせる場所は2ヶ所

記事を公開した直後。 新しい記事は、公開した瞬間は必ず被リンク0です。それが普通の状態なので、公開の直後こそ確認する意味があります。 実際、この仕組みを入れた日に公開した記事が、公開40秒後に「被リンク0」で検出されました。クロールされる前に直せました。

毎朝1回。 サイトマップは「ある火曜日に壊れた」のではありません。更新が止まって、そのまま3ヶ月放置されました。こういう故障は、繰り返し見ることでしか見つかりません。

一番大事な設計

点検結果をファイルに書き出すだけの仕組みにすると、意味がありません。

私たちが直そうとしている失敗そのものが、「情報はあったのに、誰も読まなかった」だからです。サイトマップはずっとブラウザで開けました。Search Consoleは聞けば答えてくれました。誰も聞かなかっただけです。

ファイルを1つ増やしても、読まれないファイルが1つ増えるだけです。

だから、異常があったときは通知を出すようにしました。通知が本体で、ファイルは詳細を置く場所にすぎません。

そして、通知が実際に表示されることを目視で確認しました。 通知を出すコマンドは、OSが何も表示しなくても「成功」を返します。終了コードは呼び出しの結果であって、人が何を見たかではありません。

できないこと

この点検は、内部リンクが良いリンクかどうかは判断しません。 リンクがあるか無いかだけです。記事の末尾に関連記事のリンクを並べれば数は満たせますが、それで読者が助かるとは限りません。

記事が読む価値のあるものかどうかも分かりません。機械の検査は、人が判断すべきことに手を回せるように床を掃除するだけです。

まとめ

  • 記事を1本ずつ見ていても、記事と記事の間の故障は見つからない
  • 手でできる点検は3つ。サイトマップを開く / 最新記事のクロール状況 / 記事から記事へ行けるか
  • 3つとも通るなら、まだ仕組みは要らない
  • どれか1つでも落ちたら、1ヶ月分のアクセス解析より価値のあることが分かったということ

15ヶ月で報酬0円だったときに何が起きていたかはこちら、サーバーのWAFが自分の投稿を弾いていた件はこちらに書いています。


編集・監修: 本記事は当サイト運営者が執筆し、内容を確認したうえで公開しています。記載した数値はすべて当サイトの実測です。他社環境での再現は保証しません。

本記事の内容は執筆時点の情報にもとづきます。詳しくは免責事項をご覧ください。