▼メルマガ移行中▼
現在、ブログとメルマガをリニューアル中です!
新メルマガはこちらで配信していくので、まだ移行していない人は登録お願いします。
今すぐ購読する

今はこんなことやってます!
最近の活動について

メモ・備忘録

hn.kd.ny.adslからアクセスログが残ってるんですが・・・

記事内に商品プロモーションを含む場合があります

アクセス解析を見ていると、やけに短期間にアクセスしてくるログを発見。
全く見たことのない、hn.kd.ny.adslというホスト名からのアクセスでした。

ググって調べてみると、どうも中国の検索エンジンクローラーらしい。

海外に発信しているサイトでもなければ、そちら方面のご友人もいません。中国の検索エンジンロボからのクロールはデメリットはあってもメリットは感じられないので拒否することにしました。

今回はその備忘録です。

通行止め

デバイスがiPhone?

2014-11-16_122214

こんな感じで短期間の間にズラーーーーーーッと、ログが残っています。

検索ロボがクロールしてくれるのはうれしいのですが、表記されているデバイスがiPhoneというのが不安すぎる。何かのアプリか?とも勘ぐってしまいます。まあ、結局は拒否するから何でもいいのですが・・・。

 

robots.txt ファイルへの記述

hn.kd.ny.adslというドメインはそもそも存在すらしていないので、.htaccessに記述しても拒否することが難しい。かといって、すべてのIP制限をかけるのも面倒すぎる・・・。

ということで、robots.txt ファイルに記述する方法を選択しました。
以下のように記述します。

User-Agent: 360Spider
Disallow: /

※robots.txt ファイルは最上位ディレクトリに置きましょうね。

 

はじめてrobots.txt ファイルを設置する場合

グーグル先生はrobots.txt ファイルの扱いを以下のように述べています。

robots.txt ファイル

要するに、

  • robots.txt ファイルはテキストファイルで作成保存してね。
  • 下のディレクトリじゃなく、最上位に設置してね。
  • ちゃんとしたファイル名(robots.txt)にしてね。

ということです。

初めてrobots.txt ファイルを設置する人はご注意ください。

 

新ブログUNITE

関連記事

COMMENT

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です