Home > Администрирование > Борьба с левыми ботами

Борьба с левыми ботами

Многие, совершенно бесполезные боты, очень часто шерстят сайты с неизвестной целью. Среди них, конечно, попадаются простукивалки, которые ищут страничку входа в админпанель (и это зачастую на статичном сайте на голом HTML!), но чаще они просто гуляют по сайту, сильно нагружая сервер. Само собой разумеется, просмотренные теми ботами страницы не попадут в поисковые выдачи и не принесут посетителей. Стало быть, нагрузка на сервер такого рода не несёт никакой пользы. Вердикт — ботам — бан! Не будем отдавать им вообще страницы. Сделать можно вот так (в .htaccess):

SetEnvIf User-Agent MJ12bot MustDie=1
SetEnvIf User-Agent Twiceler MustDie=1
SetEnvIf User-Agent Baiduspider MustDie=1
#SetEnvIf User-Agent Slurp MustDie=1
SetEnvIf User-Agent Java MustDie=1
SetEnvIf User-Agent CommentReader MustDie=1
SetEnvIf User-Agent Dolphin MustDie=1
SetEnvIf User-Agent Yeti MustDie=1
SetEnvIf User-Agent discobot MustDie=1
SetEnvIf User-Agent BTWebClient MustDie=1
SetEnvIf User-Agent Tagoobot MustDie=1
SetEnvIf User-Agent Ezooms MustDie=1
SetEnvIf User-Agent igdeSpyder MustDie=1
SetEnvIf User-Agent AhrefsBot MustDie=1
SetEnvIf User-Agent ZmEu MustDie=1

Order allow,deny
Allow from all
Deny from env=MustDie

Из перечисленных самые агрессивные оказались AhrefsBot и Baiduspider. Первый собирает некую статистику по сайтам (неполезно, так как конкуренты могут воспользоваться), второй — бот китайского поисковика, который по русским запросам выдаёт совершенно нерелевантные страницы.
Оба до поры — до времени создавали приличную нагрузку и логи росли, как на дрожжах. Сейчас они получают страницу с ошибкой 403 Access denied. Ибо нефиг.

+4
0
  

18.11.2012 · Алексей · Comments Closed Просмотров: 174
Метки:  · Рубрики: Администрирование