グーグルサーチコンソールでrobots.txtを確認するツールの使い方

サーチコンソールでrobots.txtの動作を確認するという、ちょっとマニアックな作業について書いていきます。

こんな人に向けです。

• robot.txtを編集しないといけない
• 検索エンジンからのクロールを調整したい

僕がこれを実際に使ってる記事はこちら

グーグルのクロールを回避したいので調べてみた

グーグルのクロールを回避したい、というレアな状況になりまして。今回はその手順を紹介させていただきました。 お役にたてれば嬉しいです。

shiomi-koshi.com

サーチコンソールでrobots.txtの動作を確認する手順

サーチコンソールにはrobot.txtの動作確認ツールが付いています。

残念ながら新バージョンのコンソールでは使えないので、まずは旧バージョンのサーチコンソールを開きます。

旧バージョンが開いたら、以下の場所からテスターを起動します。

テスターの見方

robots.txtテスターでは、以下のような内容が確認できます。

1. 現在認識されているrobots.txtの最新版
2. robots.txtの内容
3. 動作のテスト
4. アップロードしたrobots.txtを確認する作業

robots.txt最新版の情報

更新してアップロードしたはずなのに、日付が変わっていない

などの問題はこれを見ると解決します。

robots.txtの内容

先ほど確認したファイルの実際の内容が表示されます。

この項目は編集可能ですが、実際のファイルが書き換えられるわけではありません。

次の項目でテストを行うためのものです。

動作のテスト

実際に入力してみた例です。

僕のサイトの記事

主夫が「しゅふ」になって変わった話。「しゅふ」って書く理由

しゅふって言う言葉を使うのは自分のポリシーです。漢字で主夫と名乗ってたこともありましたが、ひらがなの表記にしてることには意味があります。その事情をちょっとお話しさせていただきました。良ければ読んでみてください。

shiomi-koshi.com

で、実験します。

枠内に、必要なディレクトリを入力

テストボタンを押します。

正常にクロールされる対象であれば、このように

「許可済み」

が表示されます。

ブロックされる対象を入力した例

一方でブロックされる対象を入力した場合、

「ブロック済み」

の表示と、さらにrobots.txtのどの部分が原因でブロックされたか

がものすごくわかりやすく表示されます。

このテストで、自分が思っている動作になれば、その状態のrobots.txtを作成します。

ファイルの作成とアップロード

作製はカンタン。

現在のツールに書かれているrobots.txtの内容をそのままテキストファイルにコピペ

名前を

robots.txt

と変更します。

もしくは上の画像でいう④番、「送信ボタン」を押してみて下さい。

・ダウンロード

ここでは入力した内容そのままのrobots.txtファイルがダウンロードできます。

テキスト開く手間が省けて便利！

・アップロードされたバージョンを確認

FTPを使ってアップロードしてからクリックします。

アップロード先は、ドメインのルートです。

ワードプレスでやられていると思いますのでもう少し具体的に言うと

ドメイン名/public_html

のすぐ下に置きます。

ここにrobots.txtを設置して、ボタンを押すと最新版の情報が更新されます。

・googleに更新をリクエスト

これが一番重要です。

今まで編集、アップロードしたファイルで

ウッシー

グーグルさん！更新しましたよ！

と通知してあげると、グーグルのクローラーがすぐにこのファイルを認識してくれます。

robots.txtによるクロールの制御がすぐ出来る様になるので必ず実行してください。

手動でインデックスを送る作業がありますが、あれに良く似てます。

サーチコンソールでrobots.txtの動作を確認する手順まとめ

正直使う理由はほとんどありませんが(笑)

いざという時に役に立つと思うので記事にさせていただきました。

今回の用途じゃなくても、知識として一度サーチコンソールのrobots.txtテスター。

是非触ってみてください。

意外と面白いですよ(笑)

プログラミングとか覚え始めの方とか、結構好きな人多いと思います。

かえるさん

つかういみねぇけどな(笑)