Робот SEOBelkaBot

SEOBelkaBot — робот SEOBelka. Он открывает сайт только тогда, когда пользователь SEOBelka запросил экспресс-аудит этого домена. Персональные данные робот не собирает, формы не отправляет, нагрузка ограничена (см. ниже).

Как работает робот

За один экспресс-аудит робот открывает не больше 50 страниц сайта, одновременно — не больше 3 запросов, и ждёт ответ каждой страницы не дольше 10 секунд. Он проверяет доступность, скорость ответа, заголовки, мета-теги, robots.txt и sitemap. После проверки робот уходит и возвращается только при новом запросе аудита от пользователя SEOBelka.

User-Agent

Робот представляется строкой:

SEOBelkaBot/1.0 (+https://seobelka.ru/bot)

robots.txt

Робот соблюдает robots.txt: закрытые в нём страницы он не запрашивает. Если вы не хотите, чтобы SEOBelkaBot открывал ваш сайт, добавьте в robots.txt:

User-agent: SEOBelkaBot
Disallow: /

После этого робот перестанет обходить сайт, а экспресс-аудит его домена покажет пользователю ошибку доступа.

Контакты

Вопросы о работе робота — hello@seobelka.ru.