Нет файла robots.txt
- Область
- Индексация и доступность
- Серьёзность
- низкая
- Время на исправление
- часы
- Для кого
- Google · Яндекс
- Кому поручить
- Разработчик
- Правило
- CR-04
Что это
Нет файла robots.txt.
Почему важно
Файл подсказывает поисковикам, что можно обходить, и указывает карту сайта.
Как мы проверяем
Проверка идёт один раз для всего сайта.
Как проверить вручную
- Откройте адрес из отчёта в браузере и сравните с тем, что видите в отчёте. Журнал веб-сервера покажет, что получает робот.
Как исправить
Создайте /robots.txt: разрешите обход нужных разделов, закройте служебные, добавьте строку Sitemap.