Прагляд robots.txt анлайн

Сэрвіс robots.txt Viewer на 101IP дазваляе імгненна прагледзець і прааналізаваць файл robots.txt любога сайта. Інструмент паказвае правілы для кожнага User-agent з падсветкай сінтаксісу, спіс Sitemap і значэнне Crawl-delay.

Што такое robots.txt

Файл robots.txt знаходзіцца ў корані сайта (напрыклад, https://example.com/robots.txt) і змяшчае інструкцыі для пошукавых робатаў: якія старонкі можна абыходзіць, а якія — не. Выкананне гэтых правілаў з'яўляецца добраахвотным пагадненнем.

Асноўныя дырэктывы

• User-agent — назва кролера, для якога дзейнічаюць правілы; * азначае ўсіх;
• Disallow — шлях, забаронены для абыходу;
• Allow — шлях, дазволены нават унутры забароненага раздзела;
• Sitemap — спасылка на XML-карту сайта;
• Crawl-delay — мінімальны інтэрвал паміж запытамі кролера (у секундах).

Калі патрэбны аналіз robots.txt

• праверыць, ці не заблакіраваны важныя старонкі ад індэксацыі;
• вывучыць robots.txt канкурэнтаў для SEO-аналізу;
• упэўніцца, што патрэбныя Sitemap-файлы ўказаны правільна;
• дыягнаставаць праблемы з абыходам сайта пошукавымі робатамі.