В robots.txt не названы ИИ-боты
- Область
- Готовность к ИИ-поиску
- Серьёзность
- низкая
- Время на исправление
- часы
- Для кого
- нейросети
- Кому поручить
- Разработчик
- Правило
- AI-02
Что это
В robots.txt не названы ИИ-боты (OAI-SearchBot, PerplexityBot и др.): нет явного разрешения, как ими пользоваться.
Почему важно
Явные правила для ИИ-ботов показывают, что вы управляете доступом осознанно, а не по умолчанию.
Как мы проверяем
Мы ищем в robots.txt группы для известных ИИ-ботов.
Как проверить вручную
- Откройте robots.txt и найдите User-agent с названиями ботов.
Как исправить
Добавьте группы User-agent для нужных ботов (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, YandexAdditional) с Allow или Disallow.
Типичные ошибки
- Запретили поисковых ИИ-ботов, из-за чего сайт не цитируют в ответах.