サーバーリソースを浪費するbotアクセスを遮断すればサイト表示が早くなる
ブログやCSMなどサイト運営を長くしていると、ページ数が増えサイトのボリュームがアップします。
そして、検索エンジンから各ページへのアクセスが徐々に増え、アクセス数の推移を見るのが楽しくなりますよね。
が、アクセスが増えるのはいいことなのですが、同時にbotのアクセスも増え、無駄にサーバーリソースを食い散らかすようになってきます。
Googleロボットですら、ページへのアクセス数が多いのに、他のロボットはできれば遮断(アクセス禁止)しておきたいところです。
そして、無駄に浪費されるサーバーリソースを本来の値にして、今後も快適なサイト運営を維持していきたいものですね。
robots.txtでの対策でもいいのですが、検索エンジンによっては無視することもあるので
サーバー側で確実に遮断するよにしました。(ユーザーエージェントも偽装するみたいですが・・・)
アクセスを許可する
・Google
・Bind
日本国内でのユーザーを対象にしている場合これだけで良い?
アクセスを遮断する
・Baidu
・その他
NginxでBotを遮断する設定
if ($http_user_agent ~* (Baiduspider|botname|botname) ) {
return 404;
}
ApacheでBotを遮断する設定
SetEnvIf User-Agent "Baidu" deny_ua
SetEnvIf User-Agent "botname" deny_ua
SetEnvIf User-Agent "botname" deny_ua
Order Allow,Deny
Allow from all
Deny from env=deny_ua
ボットからのアクセスを遮断して、サーバーのリソースを維持することができる方法として
wordpressの管理画面ページへのアクセス、他の有名なcmsへの管理ページ、その他、ログインページに
海外IPからのアクセスは遮断するように設定する方法もあります。
不正にログインを繰り返す無駄なアクセスを遮断することで、サーバーリソースの維持と
セキュリティー対策の効果を得ることができますね。
アクセスログを確認し、どのくらいの割合、ロボットからのアクセスがあるのか?
確認してみましょう。
ユーザーアクセスよりロボットからのアクセスが多い?そんな逆転現象が起こっているかもしれませんね。
関連記事
YouTubeのiframe動画共有タグをWordPressに設置する(レスポンシブ対応)

先日 低価格な可変式NDフィルターNew-View Pro Fader NDのレビュー評価 の記事内で、撮影した動画をYouTubeにアップロード、その動画をYouTubeの共有タグを利用して 記事内に設置したところ、当 […]
メールエラー Maximum number of connections from user+IP exceeded

Maximum number of connections from user+IP exceeded (mail_max_userip_connections) スマートフォン、タブレット、ノートパソコンなど、複数のモ […]
複数の単体WordPressサイトを、1つのマルチサイトに統合してみました

先日、やるやる言っていた単体のワードプレスサイトの管理について 定期的なバージョンアップなどメンテナンスをそれぞれのサイトで行うのは面倒! と思い、本日各単体サイトを1つに統合してみました。(移行元がマルチサイトでも問題 […]
今流行のnginx proxy_cache apacheにサイトを移行してみました

今年も残すところあと数日になってきました。 私の中ではもう何日も前からカウントダウンが始まっています。。。 来年に向けて何か整理(頭の中を掃除)していこうと思い 今回、当ブログを今流行のnginx(スタッフが作ったマニュ […]
nginxのパフォーマンスと互角になる?Apacheをworkerでチューニングする

標準のapacheのpreforkはプロセスで動作するのに対して、nginxと同じスレッドで動作するworkerでは 結局同じ程度のパフォーマンスになるのかな? 実際に自分の目で確かめるために、Apacheをworker […]
簡単にapacheからnginxへ移行するツール htaccess to nginx converter

最近、個人的にWEBサーバーのnginxに挑戦中です。 3、4年前あたりから軽量なWEBサーバーnginxが話題になっていて、ついに先日やっとnginxへ挑戦した次第です。 周りの話題についていけないので・・・やっぱり自 […]