robots.txt закрывает сайт от поисковых систем

Область
Индексация и доступность
Серьёзность
критическая
Время на исправление
часы
Для кого
Google · Яндекс
Кому поручить
Разработчик
Правило
CR-05

Что это

Файл robots.txt запрещает поисковым системам обходить весь сайт.

Почему важно

Если главная страница закрыта директивой Disallow, сайт не будет участвовать в поиске.

Как мы проверяем

Мы читаем robots.txt и проверяем, закрыта ли главная страница для всех роботов или для Googlebot и Яндекса.

Как проверить вручную

  1. Откройте адрес вашсайт/robots.txt.
  2. Строка Disallow: / в блоке User-agent: * закрывает весь сайт.

Как исправить

Уберите «Disallow: /» для User-agent: * (и для Googlebot/Yandex). Часто это забытая настройка с этапа разработки.

Типичные ошибки

  • Закрыли сайт на время разработки и забыли открыть при запуске.

Проверьте это на своём сайте

Бесплатно, без регистрации, за 30–60 секунд.

Проверить на моём сайте