Регулярные и частые посещения поисковым роботом (ботом) – первый признак того, что Google обратил внимание на ваш сайт. Поэтому, наиболее эффективный способ получить частое и детальное “сканирование” вашего сайта ботом, заключается в разработке сайта таким образом, чтобы поисковые системы считали его важным и ценным.

Заметьте, что вы не сможете заставить Google-бот посещать свой сайт чаще – все, что вы сможете сделать, это предложить ему посетить сайт. Доступные меры, которые вы можете предпринять для повышения частоты посещения сайта, включают в себя:

1. Обновляйте содержимое сайта часто и регулярно (и пингуйте Google, как только сделаете обновление). Да, это очевидно, поэтому не буду вдаваться в детали. Одним словом добавляйте новое уникальное содержание так часто, как вы можете это позволить себе и делайте это регулярно (3 раза в неделю будет в самый раз, если вы не сможете обновлять свой сайт ежедневно, или же выберите для себе наиболее оптимальный график обновления).
2. Убедитесь, что ваш сервер работает правильно: следите за аптаймом и уделяйте внимание отчетам, которые вы можете получить посредством Google-инструментария для вебмастеров, о страницах, до которых нельзя «достучаться». Можно порекомендовать парочку других сервисов: Pingdom и Mon.itor.us. (Pingdom – сервис платный, включает в себя проверку работоспособности сервере и отсылку СМС при наличии сбоев. Однако вы можете протестировать сервис бесплатно в течение месяца. Mon.itor.us – бесплатный сервис).
3. Следите за временем загрузки страниц: прошу заметить, что «сканирование» сайта работает сбалансировано. Если на «сканирование» уймы изображений и PDF-файлов тратится слишком много времени, то на посещение роботом других страниц его просто не останется.
4. Проверяйте структуру внутренних ссылок сайта, убедитесь, что нет дублирования содержания, которое доступно через разные URL. Опять, чем больше времени бот тратит на выискивание ваших дублей содержания, тем меньше полезных и уникальных страниц он посетит.
5. Получайте побольше обратных (входящих) ссылок с сайтов, которые посещаются ботом регулярно.
6. Отрегулируйте скорость «сканирования» с помощью Google-инструментария для веб-мастеров.
7. Добавьте карту сайта (и хотя этот пункт вызывает споры о том, помогает ли карта сайта при «сканировании» и индексировании, многие веб-мастеры сообщают, что замечают повышение частоты посещения сайта ботом после ее добавления).
8. Будьте уверены, что ваш сервер возвращает правильный заголовок ответа. Обрабатываются ли правильно страницы ошибок? Не заставляйте бота выяснять, что произошло: объяснить ему это яснее.
9. Будьте уверены, что каждая ваша страница имеет уникальный заголовок и мета-теги.
10. Отслеживайте частоту посещения вашего сайта и смотрите, что работает, а что нет:

• проверяйте статистику посещений робтом через Google-инструментарий для веб-мастеров:

• воспользуйтесь отличным Wordpress-плагином, который может отслеживать посещения Google, Yahoo и MSN: