ИИ-боты, формирующие ответы с цитированием, закрыты в robots.txt
- Область
- Готовность к ИИ-поиску
- Серьёзность
- высокая
- Время на исправление
- часы
- Для кого
- нейросети
- Кому поручить
- Разработчик
- Правило
- AI-03
Что это
ИИ-боты, формирующие ответы с цитированием, закрыты в robots.txt.
Почему важно
Если поисковый ИИ-бот не может читать сайт, ваши страницы не попадут в его ответы со ссылкой на источник.
Как мы проверяем
Проверка идёт один раз для всего сайта.
Как проверить вручную
- Откройте robots.txt и llms.txt в корне сайта.
Как исправить
Разрешите ботов, которые строят ответы (OAI-SearchBot, Claude-SearchBot, PerplexityBot, YandexAdditional). Обучающих ботов (GPTBot, ClaudeBot) можно оставить закрытыми — это отдельный выбор.