Нет файла robots.txt

Область
Индексация и доступность
Серьёзность
низкая
Время на исправление
часы
Для кого
Google · Яндекс
Кому поручить
Разработчик
Правило
CR-04

Что это

Нет файла robots.txt.

Почему важно

Файл подсказывает поисковикам, что можно обходить, и указывает карту сайта.

Как мы проверяем

Проверка идёт один раз для всего сайта.

Как проверить вручную

  1. Откройте адрес из отчёта в браузере и сравните с тем, что видите в отчёте. Журнал веб-сервера покажет, что получает робот.

Как исправить

Создайте /robots.txt: разрешите обход нужных разделов, закройте служебные, добавьте строку Sitemap.

Проверьте это на своём сайте

Бесплатно, без регистрации, за 30–60 секунд.

Проверить на моём сайте