Просмотр robots.txt онлайн

Сервис robots.txt Viewer на 101IP позволяет мгновенно просмотреть и проанализировать файл robots.txt любого сайта. Инструмент показывает правила для каждого User-agent с подсветкой синтаксиса, список Sitemap и значение Crawl-delay.

Что такое robots.txt

Файл robots.txt располагается в корне сайта (например, https://example.com/robots.txt) и содержит инструкции для поисковых роботов: какие страницы можно обходить, а какие — нет. Следование этим правилам является добровольным соглашением.

Основные директивы

• User-agent — имя краулера, для которого действуют правила; * означает всех;
• Disallow — путь, запрещённый для обхода;
• Allow — путь, разрешённый даже внутри запрещённого раздела;
• Sitemap — ссылка на XML-карту сайта;
• Crawl-delay — минимальный интервал между запросами краулера (в секундах).

Когда нужен анализ robots.txt

• проверить, не заблокированы ли важные страницы от индексации;
• изучить robots.txt конкурентов для SEO-анализа;
• убедиться, что нужные Sitemap-файлы указаны корректно;
• диагностировать проблемы с обходом сайта поисковыми роботами.