В robots.txt не названы ИИ-боты

Область
Готовность к ИИ-поиску
Серьёзность
низкая
Время на исправление
часы
Для кого
нейросети
Кому поручить
Разработчик
Правило
AI-02

Что это

В robots.txt не названы ИИ-боты (OAI-SearchBot, PerplexityBot и др.): нет явного разрешения, как ими пользоваться.

Почему важно

Явные правила для ИИ-ботов показывают, что вы управляете доступом осознанно, а не по умолчанию.

Как мы проверяем

Мы ищем в robots.txt группы для известных ИИ-ботов.

Как проверить вручную

  1. Откройте robots.txt и найдите User-agent с названиями ботов.

Как исправить

Добавьте группы User-agent для нужных ботов (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, YandexAdditional) с Allow или Disallow.

Типичные ошибки

  • Запретили поисковых ИИ-ботов, из-за чего сайт не цитируют в ответах.

Проверьте это на своём сайте

Бесплатно, без регистрации, за 30–60 секунд.

Проверить на моём сайте