アクセス解析を見ていると、やけに短期間にアクセスしてくるログを発見。
全く見たことのない、hn.kd.ny.adslというホスト名からのアクセスでした。
ググって調べてみると、どうも中国の検索エンジンクローラーらしい。
海外に発信しているサイトでもなければ、そちら方面のご友人もいません。中国の検索エンジンロボからのクロールはデメリットはあってもメリットは感じられないので拒否することにしました。
今回はその備忘録です。
デバイスがiPhone？
こんな感じで短期間の間にズラーーーーーーッと、ログが残っています。
検索ロボがクロールしてくれるのはうれしいのですが、表記されているデバイスがiPhoneというのが不安すぎる。何かのアプリか？とも勘ぐってしまいます。まあ、結局は拒否するから何でもいいのですが・・・。
robots.txt ファイルへの記述
hn.kd.ny.adslというドメインはそもそも存在すらしていないので、.htaccessに記述しても拒否することが難しい。かといって、すべてのIP制限をかけるのも面倒すぎる・・・。
ということで、robots.txt ファイルに記述する方法を選択しました。
以下のように記述します。
User-Agent: 360Spider
Disallow: /
※robots.txt ファイルは最上位ディレクトリに置きましょうね。
はじめてrobots.txt ファイルを設置する場合
グーグル先生はrobots.txt ファイルの扱いを以下のように述べています。
要するに、
- robots.txt ファイルはテキストファイルで作成保存してね。
- 下のディレクトリじゃなく、最上位に設置してね。
- ちゃんとしたファイル名（robots.txt）にしてね。
ということです。
初めてrobots.txt ファイルを設置する人はご注意ください。
