robots.txt Generator

Генератар robots.txt анлайн

Файл robots.txt паказвае пошукавым робатам, якія старонкі сайта можна сканіраваць і індэксаваць. Выкарыстоўвайце гэты інструмент, каб стварыць правільны robots.txt без памылак.

Асноўныя дырэктывы

• User-agent — імя робата. * — для ўсіх;
• Disallow — забараняе сканіраванне шляху;
• Allow — дазваляе сканіраванне (мае прыярытэт над Disallow);
• Crawl-delay — затрымка паміж запытамі ў секундах;
• Sitemap — URL карты сайта.

Часта задаваемыя пытанні

• Як праверыць, што robots.txt працуе?

  Пасля генерацыі і загрузкі файла адкрыйце https://вашсайт.ru/robots.txt у браўзеры. Калі старонка пустая або вяртае 404 — файл не знойдзены. Выкарыстоўвайце Google Search Console або Яндекс.Вэбмастар для тэсціравання. Увядзіце шляхі, якія вы забаранілі, і ўпэўніцеся, што статус — «Забаронена».

• Ці можна ў адным файле ўказваць правілы для розных робатаў?

  Так, гэта стандартная практыка. Для кожнага User-agent ствараецца асобны блок з дырэктывамі. Напрыклад, можна забараніць доступ да /temp/ для ўсіх робатаў, але Googlebot дазволіць індэксаваць канкрэтны файл унутры. Наш генератар дазваляе дадаваць некалькі блокаў User-agent паслядоўна.

• Што рабіць, калі сайт не індэксуецца пасля наладкі robots.txt?

  Спачатку праверце файл на наяўнасць Disallow: / (забарона ўсяго сайта). Упэўніцеся, што няма апячатак у шляхах. Затым ачысціце кэш у панелі вэбмайстра і адпраўце сайт на паўторны абход. Калі праблема застаецца — часова выдаліце robots.txt або перагенеруйце яго на 101ip.ru.