hn.kd.ny.adslからアクセスログが残ってるんですが・・・

今だけ公開
キーワードスカウターを無料で手に入れる方法をこっそりお伝えします
詳細はコチラから!!

アクセス解析を見ていると、やけに短期間にアクセスしてくるログを発見。
全く見たことのない、hn.kd.ny.adslというホスト名からのアクセスでした。

ググって調べてみると、どうも中国の検索エンジンクローラーらしい。

海外に発信しているサイトでもなければ、そちら方面のご友人もいません。中国の検索エンジンロボからのクロールはデメリットはあってもメリットは感じられないので拒否することにしました。

今回はその備忘録です。

通行止め

デバイスがiPhone?

2014-11-16_122214

こんな感じで短期間の間にズラーーーーーーッと、ログが残っています。

検索ロボがクロールしてくれるのはうれしいのですが、表記されているデバイスがiPhoneというのが不安すぎる。何かのアプリか?とも勘ぐってしまいます。まあ、結局は拒否するから何でもいいのですが・・・。

 

robots.txt ファイルへの記述

hn.kd.ny.adslというドメインはそもそも存在すらしていないので、.htaccessに記述しても拒否することが難しい。かといって、すべてのIP制限をかけるのも面倒すぎる・・・。

ということで、robots.txt ファイルに記述する方法を選択しました。
以下のように記述します。

User-Agent: 360Spider
Disallow: /

※robots.txt ファイルは最上位ディレクトリに置きましょうね。

 

はじめてrobots.txt ファイルを設置する場合

グーグル先生はrobots.txt ファイルの扱いを以下のように述べています。

robots.txt ファイル

要するに、

  • robots.txt ファイルはテキストファイルで作成保存してね。
  • 下のディレクトリじゃなく、最上位に設置してね。
  • ちゃんとしたファイル名(robots.txt)にしてね。

ということです。

初めてrobots.txt ファイルを設置する人はご注意ください。

 

管理人おすすめシステム

コメントを残す