グーグルサーチコンソールでrobots.txtを確認するツールの使い方

robots.txtの編集 ワードプレス
スポンサーリンク

サーチコンソールでrobots.txtの動作を確認するという、ちょっとマニアックな作業について書いていきます。

こんな人に向けです。

  • robot.txtを編集しないといけない
  • 検索エンジンからのクロールを調整したい

僕がこれを実際に使ってる記事はこちら

グーグルのクロールを回避したいので調べてみた
グーグルのクロールを回避したい、というレアな状況になりまして。今回はその手順を紹介させていただきました。 お役にたてれば嬉しいです。

 

 

スポンサーリンク

サーチコンソールでrobots.txtの動作を確認する手順

サーチコンソールにはrobot.txtの動作確認ツールが付いています。

残念ながら新バージョンのコンソールでは使えないので、まずは旧バージョンのサーチコンソールを開きます。

サーチコンソールrobots.txtの確認①

 

旧バージョンが開いたら、以下の場所からテスターを起動します。

サーチコンソールrobots.txtの確認②

 

テスターの見方

robots.txtテスターでは、以下のような内容が確認できます。

 

サーチコンソールrobots.txtの送信

  1. 現在認識されているrobots.txtの最新版
  2. robots.txtの内容
  3. 動作のテスト
  4. アップロードしたrobots.txtを確認する作業

robots.txt最新版の情報

更新してアップロードしたはずなのに、日付が変わっていない

などの問題はこれを見ると解決します。

 

robots.txtの内容

先ほど確認したファイルの実際の内容が表示されます。

この項目は編集可能ですが、実際のファイルが書き換えられるわけではありません。

次の項目でテストを行うためのものです。

 

動作のテスト

実際に入力してみた例です。

僕のサイトの記事

主夫が「しゅふ」になって変わった話。「しゅふ」って書く理由
しゅふって言う言葉を使うのは自分のポリシーです。漢字で主夫と名乗ってたこともありましたが、ひらがなの表記にしてることには意味があります。その事情をちょっとお話しさせていただきました。良ければ読んでみてください。

で、実験します。

 

枠内に、必要なディレクトリを入力

 

サーチコンソールrobots.txtの確認④

テストボタンを押します。

サーチコンソールrobots.txtの確認⑤

正常にクロールされる対象であれば、このように

「許可済み」

が表示されます。

 

ブロックされる対象を入力した例

サーチコンソールrobots.txtの確認⑥

一方でブロックされる対象を入力した場合、

「ブロック済み」

の表示と、さらにrobots.txtのどの部分が原因でブロックされたか

がものすごくわかりやすく表示されます。

 

このテストで、自分が思っている動作になれば、その状態のrobots.txtを作成します。

ファイルの作成とアップロード

作製はカンタン。

現在のツールに書かれているrobots.txtの内容をそのままテキストファイルにコピペ

 

名前を

robots.txt

と変更します。

 

もしくは上の画像でいう④番、「送信ボタン」を押してみて下さい。

サーチコンソールを利用したrobots.txtの編集

・ダウンロード

ここでは入力した内容そのままのrobots.txtファイルがダウンロードできます。

テキスト開く手間が省けて便利!

 

・アップロードされたバージョンを確認

FTPを使ってアップロードしてからクリックします。

アップロード先は、ドメインのルートです。

FTPのそうさ

 

ワードプレスでやられていると思いますのでもう少し具体的に言うと

ドメイン名/public_html

のすぐ下に置きます。

 

ここにrobots.txtを設置して、ボタンを押すと最新版の情報が更新されます。

 

・googleに更新をリクエスト

これが一番重要です。

今まで編集、アップロードしたファイルで

ウッシー
グーグルさん!更新しましたよ!

と通知してあげると、グーグルのクローラーがすぐにこのファイルを認識してくれます。

 

robots.txtによるクロールの制御がすぐ出来る様になるので必ず実行してください。

 

手動でインデックスを送る作業がありますが、あれに良く似てます。

サーチコンソールでrobots.txtの動作を確認する手順まとめ

正直使う理由はほとんどありませんが(笑)

いざという時に役に立つと思うので記事にさせていただきました。

 

今回の用途じゃなくても、知識として一度サーチコンソールのrobots.txtテスター。

是非触ってみてください。

意外と面白いですよ(笑)

 

プログラミングとか覚え始めの方とか、結構好きな人多いと思います。

かえるさん
つかういみねぇけどな(笑)

コメント

タイトルとURLをコピーしました