robots.txt закрывает сайт от поисковых систем
- Область
- Индексация и доступность
- Серьёзность
- критическая
- Время на исправление
- часы
- Для кого
- Google · Яндекс
- Кому поручить
- Разработчик
- Правило
- CR-05
Что это
Файл robots.txt запрещает поисковым системам обходить весь сайт.
Почему важно
Если главная страница закрыта директивой Disallow, сайт не будет участвовать в поиске.
Как мы проверяем
Мы читаем robots.txt и проверяем, закрыта ли главная страница для всех роботов или для Googlebot и Яндекса.
Как проверить вручную
- Откройте адрес вашсайт/robots.txt.
- Строка Disallow: / в блоке User-agent: * закрывает весь сайт.
Как исправить
Уберите «Disallow: /» для User-agent: * (и для Googlebot/Yandex). Часто это забытая настройка с этапа разработки.
Типичные ошибки
- Закрыли сайт на время разработки и забыли открыть при запуске.