Home > Поисковая оптимизация (SEO) > Как один сайт решил в свет выбиться. Часть третья.

Как один сайт решил в свет выбиться. Часть третья.

Итак, кофе выпит, а бот сапы всё продолжает прочёсывать несчастный сайт. Уже нашёл почти 5 тысяч проиндексированных страниц, это менее половины того, что проиндексировал яндекс. Посмотрим, с какой же скоростью индексирует робот сапы сайт.

Записываем исходное значение и включаем секундомер. Итак, за 8 минут и 29 секунд робот сапы успел найти 241 страницу. Итого, робот сапы обрабатывает за секунду примерно 0,47 страниц, грубо говоря, полстраницы в секунду. Что, в общем, неплохо, так как слишком частые запросы к серверу могут плохо повлиять на тот хостинг, на котором висит этот сайт.

К сожалению, по непонятным причинам, робот сапы нашёл всего лишь чуть более 5 тысяч страниц из 10 с чем то тысяч возможных. Конечно, это тоже хороший результат, но лично мне неясна причина такого поведения робота, так как по задумке он должен был схавать более 9 тысяч страниц. Возможно, я повторю подобный эксперимент с другим сайтом аналогичного объёма, который не жалко для опытов.

Эксперимент продолжается. Нужно дождаться, пока робот сапы не уберётся к чёртовой матери с сайта, чтобы привести некоторые изменённые фрагменты сайта к обычному виду, ведь пришлось видоизменить главную страницу таким образом, чтобы робот сапы  находил не все подряд страницы, а только те, которые были проиндексированы поисковой системой Яндекс.

Ради забавы, решил посмотреть логи сервера. Там ясно видно, что вслед за ботом сапы хвостиком прибегал гуглбот. Так что на хостинг пришлась двойная нагрузка, хотя пока что сайт не блокировали )))

Оригинал статьи был впервые опубликован на сайте Ударник Труда в августе 2011 года. Обращаю Ваше внимание, что некоторые сведения и утверждения могут быть уже неактуальными!

0
0
  

15.08.2012 · Алексей · Comments Closed Просмотров: 28
Рубрики: Поисковая оптимизация (SEO)