Наладзьце правілы для пошукавых робатаў — атрымайце гатовы файл robots.txt.
Файл robots.txt паказвае пошукавым робатам, якія старонкі сайта можна сканіраваць і індэксаваць. Выкарыстоўвайце гэты інструмент, каб стварыць правільны robots.txt без памылак.
* — для ўсіх;Пасля генерацыі і загрузкі файла адкрыйце https://вашсайт.ru/robots.txt у браўзеры. Калі старонка пустая або вяртае 404 — файл не знойдзены. Выкарыстоўвайце Google Search Console або Яндекс.Вэбмастар для тэсціравання. Увядзіце шляхі, якія вы забаранілі, і ўпэўніцеся, што статус — «Забаронена».
Так, гэта стандартная практыка. Для кожнага User-agent ствараецца асобны блок з дырэктывамі. Напрыклад, можна забараніць доступ да /temp/ для ўсіх робатаў, але Googlebot дазволіць індэксаваць канкрэтны файл унутры. Наш генератар дазваляе дадаваць некалькі блокаў User-agent паслядоўна.
Спачатку праверце файл на наяўнасць Disallow: / (забарона ўсяго сайта). Упэўніцеся, што няма апячатак у шляхах. Затым ачысціце кэш у панелі вэбмайстра і адпраўце сайт на паўторны абход. Калі праблема застаецца — часова выдаліце robots.txt або перагенеруйце яго на 101ip.ru.