サーバーリソースを浪費するbotアクセスを遮断すればサイト表示が早くなる

ブログやCSMなどサイト運営を長くしていると、ページ数が増えサイトのボリュームがアップします。

そして、検索エンジンから各ページへのアクセスが徐々に増え、アクセス数の推移を見るのが楽しくなりますよね。

が、アクセスが増えるのはいいことなのですが、同時にbotのアクセスも増え、無駄にサーバーリソースを食い散らかすようになってきます。


Googleロボットですら、ページへのアクセス数が多いのに、他のロボットはできれば遮断（アクセス禁止）しておきたいところです。

そして、無駄に浪費されるサーバーリソースを本来の値にして、今後も快適なサイト運営を維持していきたいものですね。


robots.txtでの対策でもいいのですが、検索エンジンによっては無視することもあるので

サーバー側で確実に遮断するよにしました。（ユーザーエージェントも偽装するみたいですが・・・）

アクセスを許可する
・Google
・Bind
日本国内でのユーザーを対象にしている場合これだけで良い？

アクセスを遮断する
・Baidu
・その他


NginxでBotを遮断する設定

if ($http_user_agent ~* (Baiduspider|botname|botname) ) {

  return  404;

}

ApacheでBotを遮断する設定

SetEnvIf User-Agent "Baidu" deny_ua

SetEnvIf User-Agent "botname" deny_ua

SetEnvIf User-Agent "botname" deny_ua

Order Allow,Deny

Allow from all

Deny from env=deny_ua

ボットからのアクセスを遮断して、サーバーのリソースを維持することができる方法として

wordpressの管理画面ページへのアクセス、他の有名なcmsへの管理ページ、その他、ログインページに

海外IPからのアクセスは遮断するように設定する方法もあります。

不正にログインを繰り返す無駄なアクセスを遮断することで、サーバーリソースの維持と

セキュリティー対策の効果を得ることができますね。


アクセスログを確認し、どのくらいの割合、ロボットからのアクセスがあるのか？

確認してみましょう。

ユーザーアクセスよりロボットからのアクセスが多い？そんな逆転現象が起こっているかもしれませんね。