AI-боты в robots.txt: как разрешить GPTBot и проверить доступ

Чтобы разрешить AI-ботам читать сайт, в robots.txt обычно не нужно писать ничего: если про бота в файле не сказано, доступ открыт.

Писать приходится в двух случаях: когда одних ботов вы закрываете, а других оставляете, и когда общее правило User-agent: * уже закрыло всех подряд.

Ниже — как разрешить GPTBot и OAI-SearchBot, чем YandexAdditional отличается от YandexBot, какие имена вписывать в файл и как потом проверить, что бот действительно дошёл до страниц.

Коротко.

• Разрешение — это отсутствие запрета. Отдельная строка Allow: / нужна только чтобы отменить для бота более общее правило.
• Обучение и ИИ-поиск — разные user-agent. Закрыв GPTBot, вы запрещаете обучение; закрыв OAI-SearchBot, уходите из ответов поиска ChatGPT.
• В рунете User-agent: * не закрывает YandexGPT: по справке Яндекса YandexAdditional общие правила не учитывает.
• Мы сняли robots.txt у 114 российских сайтов 24.09.2026, прочитать удалось 79. Имя AI-бота из реестра встретилось в 13 файлах — это наличие строк, а не доступ ботов.
• Переходы из нейросетей — 0,18% поискового трафика на 13 сайтах наших клиентов за 90 дней; из этих переходов 85% привёл ChatGPT.

Как разрешить GPTBot и другим AI-ботам читать сайт

Прямой ответ: по стандарту всё, что не запрещено, разрешено. Если в robots.txt нет группы с именем бота и нет запрета в группе User-agent: *, бот считает сайт открытым и может его обходить.

Явные строки нужны, когда в файле уже есть ограничения и вы хотите вывести из-под них конкретных ботов. Тогда каждому имени — своя группа:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Три правила синтаксиса, на которых чаще всего ошибаются, когда пробуют прописать ИИ-ботов в файле robots.txt:

1. Имя пишется без версии и без пробелов: GPTBot, а не GPT-Bot и не GPTBot/1.4. Регистр не важен, опечатка важна: своей группы бот не найдёт и станет выполнять группу *, если она в файле есть.
2. Несколько строк User-agent подряд перед правилами — одна группа на всех перечисленных. Пустая строка — оформление: сама по себе она группу не закрывает.
3. Бот выполняет свою группу и только её: правила из User-agent: * он тогда не читает, их придётся продублировать. Групп с одним именем несколько — по RFC 9309 их правила объединяются.

Дальше начинается то, чего в статьях про robots.txt обычно нет: файл открыт, а бота на сайте всё равно нет. Проверять тогда нужно весь путь запроса, и robots.txt в нём — только второй шаг.

Защита от ботов на стороне хостинга, CDN или Cloudflare режет запрос до того, как бот доберётся до файла. Проверяется она не в robots.txt, а в логах и правилах самого сервиса.

Ответ сервера тоже решает: если страница отдаёт 403, 404 или 5xx, бот уйдёт ни с чем. Отдельная частая история — сам robots.txt отдаёт 5xx: тогда часть краулеров считает сайт полностью закрытым до следующей удачной попытки.

Четыре типа AI-ботов и их user-agent

AI-боты делятся по задаче, и решение по каждому типу разное. Закрывать их одной строкой — самый дорогой способ сэкономить пять минут.

Краулеры обучения моделей

Их закрывают, когда не хотят отдавать тексты в обучение. На видимость в поиске это не влияет — у поисковиков отдельные роботы.

Два имени здесь — не краулеры, а управляющие токены. Google-Extended, по документации Google, отдельной строки user-agent в запросах не использует, а про Applebot-Extended Apple пишет прямо: страниц он не обходит.

Оба только определяют, как можно использовать уже скачанное другими роботами вендора. Искать их визиты в логах бесполезно — проверяют не приход, а какое правило к ним применилось.

И ещё одно про Google-Extended: обучением Gemini он не ограничивается. Тем же токеном Google управляет подстановкой контента в ответы приложений Gemini и Grounding with Google Search в Vertex AI.

Поисковые краулеры ИИ — от них зависит цитирование

От этих имён зависит, будет ли сервис индексировать ваши страницы для своих ответов. Доступ цитирования не гарантирует, а запрет закрывает сервису именно этот путь к сайту.

Полного исчезновения из сервиса запрет не даёт: OpenAI пишет, что сайт всё ещё может появиться навигационной ссылкой, Anthropic — что видимость «может снизиться», а не обнулиться.

Отдельно у OpenAI есть OAI-AdsBot: он заходит только на страницы, отправленные как реклама в ChatGPT, чтобы проверить их по правилам площадки.

Ещё имена, которые встречаются в файлах

Помимо ботов крупных нейросетей контент собирают сервисы поменьше. Назначения ниже — по реестру ai.robots.txt и сайтам самих сервисов: вендорской документации уровня OpenAI или Anthropic у части из них нет.

Фетчеры и агенты: тот случай, когда robots.txt может не сработать

Фетчер открывает страницу, потому что её попросил человек. Часть вендоров прямо пишет, что к таким запросам правила robots.txt могут не применяться, и это меняет картину: полагаться на файл здесь нельзя.

Переименование Google-NotebookLM в Google-GeminiNotebook легко пропустить: старое имя в файле продолжает выглядеть рабочим правилом.

Поправить его стоит ради точности файла, а не ради результата: пользовательские фетчеры Google, по их же документации, правила robots.txt обычно игнорируют.

Имён больше, чем помещается в статью. В открытом реестре сообщества ai.robots.txt на 24.09.2026 — 175 записей, включая свежие QwenBot, KimiBot и DoubaoBot.

Реестр ведут вручную: назначения в нём собраны из открытых источников и не всегда подтверждены вендором. Для крупных имён надёжнее смотреть документацию владельца.

YandexGPT и Поиск с Алисой: почему User-agent: * их не закрывает

Это главная особенность рунета. За показ страницы в быстрых ответах YandexGPT и в Поиске с Алисой отвечают YandexAdditional и YandexAdditionalBot, и общие правила файла на них не действуют.

«Учитывается при обработке robots.txt для ограничения отображения контента страницы в быстрых ответах с YandexGPT и в ответах Поиска с Алисой».

«Применяется к страницам, проиндексированным основным индексирующим роботом для поиска. Не совершает запросов для индексирования» — справка Яндекс Вебмастера.

В той же таблице справки в колонке «Учитывает общие правила, указанные в robots.txt» у обоих имён стоит «Нет». То есть строка User-agent: * / Disallow: / их не касается — нужна отдельная группа на каждое имя.

Из этого следуют два практических вывода, противоположных друг другу:

• Хотите в Нейро и ответы Алисы — не запрещайте YandexAdditional и держите открытым основной YandexBot: быстрые ответы берутся со страниц, уже попавших в индекс.
• Не хотите — пишите отдельные группы для YandexAdditional и YandexAdditionalBot. Обычная выдача Яндекса при этом не пострадает: индексированием эти боты не занимаются.

Отдельного имени для краулера GigaChat мы не нашли: на 24.09.2026 такой записи нет в реестре ai.robots.txt, вендорской страницы про его user-agent мы тоже не встретили.

Это граница нашей проверки, а не доказательство: имя может существовать и нигде не быть описано. Но пока подтверждённого имени нет, адресного правила для GigaChat в файл не напишешь.

Влияет ли блокировка AI-краулеров на обычный поиск

Короткий ответ: блокировка краулеров обучения обычный поиск не трогает, а блокировка основных роботов бьёт и по поиску, и по ИИ-ответам. Разберём по случаям, потому что именно здесь ломают сайты.

• Закрыли Google-Extended — позиции не меняются: Google пишет, что токен «не используется в качестве фактора ранжирования». Зато контент сайта перестают использовать в ответах приложений Gemini.
• Закрыли Googlebot — Google перестаёт обходить сайт, содержимое уходит из выдачи и из AI Overviews. Сам адрес может остаться в индексе по внешним ссылкам, но уже без описания.
• Закрыли YandexBot — теряете и обычную выдачу Яндекса, и Нейро, который берёт источники из индекса.
• Закрыли GPTBot, ClaudeBot, CCBot — на Яндекс и Google это не влияет никак. Вы запретили только обучение.

Сколько стоит ошибка в трафике, видно по нашему замеру. На 13 сайтах клиентов переходы из нейросетей дают 0,18% поискового: 156 визитов за 90 дней против 87 769 из поиска. Из этих 156 переходов 85% привёл ChatGPT.

Канал растёт: в сентябре 2025 в замере было 11 таких визитов, в августе 2026 — 59. Сравнение не строгое: сайтов в выборке стало 14 вместо 12, так что это динамика суммы, а не одной и той же когорты.

Ещё одна цифра: 48 переходов из 156 пришли на главную — 31%. Что за этим стоит, замер не показывает: ни текста ответа, ни намерения человека в него не попадает.

Пока поисковый бот сервиса закрыт, он не индексирует ваши страницы для ответов, и работа над контентом этого не меняет. Упоминания через чужие сайты при этом остаются возможны.

Запрет обратим: снимете строку — сайт снова можно обходить.

Что показал срез robots.txt 79 российских сайтов

Коротко: имя хотя бы одного AI-бота из реестра нашлось в 13 файлах из 79, а YandexAdditional — ровно в одном. В остальных 66 файлах именованных групп для AI-ботов нет.

Что именно измерено: наличие строк в файлах, а не фактический доступ ботов. Сайт без именной группы не обязательно открыт — на бота действуют общие правила, а настройки WAF в robots.txt вообще не видны.

Как считали. 24.09.2026 мы запросили robots.txt у 114 известных российских сайтов: магазины, медиа, банки, связь, медицина, работа, недвижимость, хостинги. Список собран редакцией, целиком он в разборе к статье.

За «имя AI-бота» считали любую строку User-agent, которая есть в открытом реестре ai.robots.txt. Читаемый файл отдали 79 доменов.

Остальные 35 не дались: 11 оборвали соединение, 6 ответили 403, 6 увели редиректом, 4 вернули вместо файла заглушку, прочие — 404, 429, 498 или 5xx. Каждый третий сайт из списка свой robots.txt просто не отдал.

Решения у этих тринадцати разные: от развёрнутого разрешения до запрета одному-единственному боту. Выбор делается по каждому имени, поэтому один файл может попасть в две строки таблицы.

Смешанный случай здесь один — hh.ru: десяти AI-именам закрыты только /vacancy/* и два адреса резюме, а группе LCC из того же реестра — весь сайт строкой Disallow: /.

Запрет при этом часто точечный: у goldapple.ru закрыт один aiHitBot, у megafon.ru — один GPTBot, у rabota.ru — один Amazonbot. Развёрнутых списков в срезе единицы.

YandexAdditional встретился ровно один раз — в файле adindex.ru. Группа User-agent: * при этом есть в 78 файлах из 79, и ни в одном из них она на этого бота не распространяется.

Пять файлов, которые стоит посмотреть

• pobeda.aero — больше шестисот имён в одном запрете, из них семь есть в реестре AI-ботов: ImagesiftBot, ExaBot, Scrapy и другие. А вот GPTBot, OAI-SearchBot и ClaudeBot в списке не упомянуты.
• lenta.com — строка Content-Signal: search=yes, ai-input=yes, ai-train=yes в конце файла. Это формат Cloudflare, и здесь выбран вариант, разрешающий обучение, — не тот, что Cloudflare ставит по умолчанию.
• hoff.ru — белый список: семи именам открыты главная, каталог, бренды, блог, контакты и «о компании», остальное закрыто одной строкой Disallow: / в той же группе.
• askona.ru и divan.ru — строки LLM:, AI-crawlers-full: и LLMs-full-txt:. Таких директив нет ни в RFC 9309, ни в документации вендоров из этой статьи.
• hh.ru — точечный запрет: десяти AI-именам закрыты /vacancy/*, /resume$ и /resume?* — именно эти адреса. А группе LCC закрыт весь сайт.

Наш собственный файл в этом срезе тоже без единого AI-бота: на 24.09.2026 в robots.txt private-seo.ru есть группы только для всех роботов и для Яндекса. Мы в том же большинстве, что и 66 сайтов из 79.

Готовые robots.txt под четыре задачи

Файл лежит строго в корне: https://ваш-домен/robots.txt. Блоки ниже — не готовый файл целиком, а группы, которые нужно вписать в ваш. Порядок такой:

1. Сохраните текущую версию файла где-нибудь у себя. Это и есть точка отката — вернуть её надёжнее, чем вычищать добавленные строки.
2. Найдите в файле группы тех же ботов. Вторая группа с тем же именем первую не отменяет: по RFC 9309 правила обеих объединяются в одну — и ваш Allow, и прежний Disallow.
3. Правьте найденные группы, а не дописывайте дубль рядом. Свои запреты — корзину, личный кабинет, фильтры — и строку Sitemap оставьте на месте.
4. После правки возьмите по одному разрешённому и одному запрещённому адресу и проверьте, что для каждого затронутого бота получается ожидаемый результат.

Дальше решают два разных шага. Сначала выбирается группа: все группы с именем бота объединяются в одну, а группу * бот берёт, только если своей у него в файле нет.

Потом внутри выбранной группы применяется самое длинное подходящее правило; при равной длине RFC 9309 советует Allow. Старая строка сильнее новой не становится.

А. В ответы ИИ пускаем, обучение запрещаем

Самый частый запрос бизнеса: пусть цитируют и приводят людей, но не учатся на текстах бесплатно.

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

Одна оговорка к этому рецепту: Google-Extended — не только про обучение. Тем же токеном Google управляет подстановкой контента в ответы приложений Gemini и Grounding with Google Search в Vertex AI.

Обычный поиск Google и AI Overviews запрет не трогает — про это в документации сказано прямо. А вот ответы Gemini трогает: цена рецепта именно здесь, и увидеть её лучше до копирования.

Б. Максимальная видимость: пример robots.txt с открытыми ИИ-ботами

Если контент не жалко, блокировать нечего. По умолчанию всё уже открыто, но намерение можно зафиксировать явно:

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /

Sitemap: https://ваш-домен/sitemap.xml

Для большинства коммерческих сайтов это рабочий выбор: упоминание бренда в ответе нейросети обычно ценнее гипотетического ущерба от обучения.

В. Частичный доступ: открыт блог, закрыты корзина и поиск

Сайт не обязательно открывать или закрывать целиком. Боту можно отдать полезные разделы и спрятать служебные:

User-agent: GPTBot
Allow: /blog/
Allow: /catalog/
Disallow: /cart
Disallow: /search
Disallow: /

Порядок строк роли не играет: и Google, и Яндекс применяют самое длинное подходящее правило, а не первое сверху.

Г. Запрет перечисленным AI-агентам

Для медиа и проектов, которые продают контент. Несколько строк User-agent подряд перед одной директивой — валидная группа, правило действует на всех перечисленных.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: Bytespider
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: Amazonbot
Disallow: /

User-agent: YandexAdditional
Disallow: /

User-agent: YandexAdditionalBot
Disallow: /

Полным закрытием «от ИИ» это не будет, и обещать такого нельзя по трём причинам.

1. Список конечный. В реестре ai.robots.txt 175 имён, и новые появляются быстрее, чем правится файл. Закрыто ровно то, что вы перечислили, — не «весь ИИ».
2. Фетчеры по запросу человека — особый случай. OpenAI и Perplexity прямо пишут, что robots.txt к таким запросам может не применяться, а Mistral поведение своего MistralAI-User не описывает вовсе.
3. Запрет CCBot останавливает будущий сбор, но уже выложенные архивы Common Crawl остаются у всех, кто их скачал. Отозвать их нельзя ничем.

И отдельно: здесь закрыты поисковые боты — значит, вы сознательно отказываетесь от индексирования сайта этими сервисами и от переходов, которые оно приносит. Не ставьте этот блок «на всякий случай».

Открытый доступ — условие необходимое, но не достаточное. Попадёте ли вы в конкретный ответ, решает сам сервис по своим правилам; robots.txt отвечает только за то, чтобы вас не отрезало на входе.

Каких ботов закрывать и зачем: CCBot, ClaudeBot, TikTokSpider, DataForSeoBot

Спрашивают обычно так: зачем закрывать сайт от индексации ботами вроде GPTBot, ClaudeBot, CCBot и Google-Extended.

Для поиска они не индексируют ничего: GPTBot, ClaudeBot и CCBot забирают контент в обучающие наборы, а взамен не дают ни ссылки, ни перехода. Это и есть мотив их закрыть.

Google-Extended в этом ряду стоит особняком: тем же токеном Google управляет и подстановкой контента в ответы приложений Gemini — то же, о чём оговорка к рецепту А.

Дальше решение частное — по каждому боту отдельно.

• Надо ли закрывать CCBot или нет. Common Crawl отдаёт открытый архив, на котором учатся десятки моделей. Запрет убирает вас из будущих обходов; то, что уже попало в опубликованные архивы, остаётся доступным всем, кто их скачал.
• Стоит ли блокировать ClaudeBot в robots txt. Anthropic пишет, что бот соблюдает стандартные директивы. Запрет останавливает обучение и не трогает веб-поиск Claude: за него отвечает Claude-SearchBot.
• TikTokSpider и Bytespider. Оба имени связывают с ByteDance и обучением, но сведения о назначении взяты из реестра ai.robots.txt. Вендорской страницы про них и про поискового бота ByteDance мы 24.09.2026 не нашли.
• Чем полезен DataForSeoBot и можно ли его ограничить. Это краулер сервиса DataForSEO, который строит ссылочную базу. К Яндексу и Гуглу он не относится и в реестре ai.robots.txt его нет — на ранжирование он не влияет.

Ограничить DataForSeoBot можно без последствий для поиска: пользу он приносит не вам, а тем, кто анализирует ваши ссылки. Сервис сам описывает, как это сделать — через Disallow или Crawl-delay для его имени.

robots.txt не защищает контент: что делать, если нужно не отдать

robots.txt — вежливая просьба, а не замок. RFC 9309 говорит это прямо: протокол не заменяет средства защиты контента, и, чтобы закрыть доступ к адресам, нужна мера на уровне приложения — например, HTTP-авторизация.

OpenAI, Anthropic, Google, Perplexity и Mistral публично обещают файл соблюдать — с оговоркой по фетчерам, которые запускает человек. Серые парсеры его не читают вовсе и заберут всё, что отдаёт сервер.

Если контент нужно действительно не отдать, дальше идут меры уровнем выше:

1. Фильтр по user-agent и IP на веб-сервере — nginx или Apache. Режет известные запросы, но не спасает ни от другого адреса, ни от подделанной строки user-agent.
2. Управление ботами в Cloudflare или похожем сервисе: там есть готовое правило «блокировать ИИ-скраперы». Ограничения те же плюс полнота списков самого сервиса.
3. Отдача контента только авторизованным пользователям — платный доступ или личный кабинет. Единственный вариант, который не зависит от того, кем представился клиент.

Первые два — фильтрация известных запросов, а не гарантия. Материалы, которые нельзя отдавать никому постороннему, держат за авторизацией, а не за строкой в файле и не за списком user-agent.

Есть и слой сигналов: технически он ничего не запрещает, но фиксирует вашу позицию. Заголовок X-Robots-Tag: noai, noimageai и мета-тег с тем же содержимым — неофициальная договорённость, её соблюдают не все.

<meta name="robots" content="noai, noimageai">

Ближе всего к стандарту подошла политика Content Signals: строка Content-Signal: search=yes, ai-train=no в robots.txt разделяет поиск, подстановку в ответ и обучение. Cloudflare ставит её по умолчанию на своих управляемых файлах.

А вот директивы вида DisallowAITraining и AllowAITraining в стандарт не вошли: черновик, который их предлагал, написан в Microsoft и истёк 6 октября 2025 года.

Ни один вендор из этой статьи их не документирует, так что полагаться на них как на механизм нельзя. Написать такие строки в файле можно — считать, что они что-то запрещают, нет.

Рабочая группа IETF по предпочтениям ИИ держит два своих документа в статусе черновика, опубликованного RFC пока нет.

Отдельная история — нагрузка. Нейрокраулеры иногда обходят сайт агрессивно; Crawl-delay читают не все боты, и надёжнее ограничивать частоту запросов на сервере или в Cloudflare.

Аналог robots.txt для ИИ: llms.txt, ai.txt и строки, которых нет в стандарте

Обязательного аналога файла robots.txt для нейросетей сегодня нет. Ни один из вендоров, чьи боты разобраны выше, отдельного файла не требует и не обещает его читать — доступом по-прежнему управляет robots.txt.

Что предлагают вместо него:

• llms.txt — не запрет, а карта: список важных страниц в markdown, чтобы модели было проще собрать контекст. Доступ он не регулирует. Разбор — в статье что такое llms.txt и нужен ли он сайту.
• ai.txt — инициатива Spawning с похожим на robots.txt синтаксисом. Распространения не получила, как основной механизм не годится.
• Content Signals — строка внутри robots.txt, а не отдельный файл. Из всего перечисленного ближе всего к рабочему сигналу.

И отдельно — самодеятельность. В срезе 79 сайтов мы встретили строки LLM:, AI-crawlers-full: и LLMs-full-txt:. Выглядят они убедительно, но в RFC 9309 таких директив нет и вендоры из статьи их не описывают.

По стандарту нераспознанные строки просто пропускаются, так что вреда от них никакого — и пользы тоже. Карту контента в любом случае читают по адресу файла llms.txt, а не по строке в robots.txt.

Как проверить файл: Вебмастер, Search Console и логи сервера

После правки файл проверяют в два шага: сначала синтаксис, потом — дошёл ли бот на самом деле.

1. Анализ robots.txt в Яндекс Вебмастере. Инструменты → «Анализ robots.txt». Под разбором файла есть блок «Доступ к страницам»: вставьте список адресов и получите по каждому ответ, открыт ли он для поиска Яндекса.
2. Отчёт robots.txt в Google Search Console. Настройки → robots.txt: показывает, какую версию файла видит Google и были ли ошибки загрузки. Доступен для доменных ресурсов и ресурсов с префиксом в URL без пути.
3. Проверка глазами. Откройте https://ваш-домен/robots.txt и сверьте имена с таблицами выше — опечатка в имени тихо отменяет правило.

Что именно проверяет Яндекс, стоит держать в голове: правила для своих роботов. Выбрать в этом инструменте GPTBot или PerplexityBot нельзя — их группу придётся разбирать руками или расширением из финального блока.

У Google ограничение другое: отчёт открывается для ресурса вида https://example.com/, но не для https://example.com/catalog/. Ресурс с путём этого отчёта не получает.

Синтаксис ничего не говорит о том, приходил ли бот. Это видно в логах сервера — и смотреть там нужно время, статус ответа и адрес, а не только IP:

grep -iE "GPTBot|OAI-SearchBot|ClaudeBot|PerplexityBot" \
  /var/log/nginx/access.log | awk '{print $4, $1, $9, $7}' | tail -50

Путь к логу и порядок полей свои у каждого сервера и панели — под свой формат подставьте нужные номера. Если перед сайтом стоит CDN или WAF, часть запросов до origin-лога не доходит: их видно только в логах сервиса.

Пустой вывод — не диагноз. Он означает лишь, что в этом файле за этот период записей нет: бот мог не приходить, запрос мог обслужить CDN, лог мог ротироваться. Блокировку подтверждает отказ в логе WAF или CDN.

Управляющие токены в логах искать не нужно вовсе. Google-Extended и Applebot-Extended своих запросов не делают, YandexAdditional по справке Яндекса запросов для индексирования не совершает — у них проверяют применённое правило.

Что не меняется само и как откатиться

Сам файл публикуется мгновенно: откройте https://ваш-домен/robots.txt сразу после правки и убедитесь, что отдаётся новая версия. Это первая проверка — бывает, что кэш или WAF продолжают отдавать старый файл.

А вот учёт новых правил — отдельный процесс. Google «кэширует содержимое robots.txt до 24 часов», OpenAI пишет про «~24 часа с момента обновления, прежде чем наши системы подстроятся», и это сказано про поиск ChatGPT.

Когда бот придёт на конкретную страницу и попадёт ли она в индекс — не обещает никто. Кэш правил, обход и индексирование живут по разным часам, общего срока у них нет, и ждать сутки перед диагностикой незачем.

Запрет не отзывает то, что уже собрано. Модель, обученная на ваших текстах год назад, останется обученной: robots.txt управляет будущими обходами, а не прошлыми. Вернуть контент из весов модели нельзя ничем.

Откат — это возврат сохранённой версии файла, а не удаление добавленной группы. Запрет мог стоять в прежней именной группе бота — тогда удаление вашей строки его не снимет.

После отката снова проверьте эффективные правила по конкретному адресу. И если вы параллельно закрыли бота на сервере или в Cloudflare, снятия строки из файла мало: запрос по-прежнему не дойдёт, снимать нужно там же.

И последнее: строка user-agent в логе ничего не доказывает, её подделывают. Порядок проверки такой:

1. По IP из лога сделайте обратный DNS-запрос и получите имя хоста.
2. Убедитесь, что имя в домене вендора: у Яндекса это yandex.ru, yandex.net или yandex.com, у Apple — applebot.apple.com.
3. Сделайте прямой DNS-запрос по этому имени. Полученный адрес должен совпасть с исходным IP; не совпал — имя поддельное.

У OpenAI, Anthropic, Google и Perplexity вместо обратного DNS опубликованы списки IP-диапазонов — у каждого свой способ, и сверяться нужно с документацией конкретного вендора, а не с одной универсальной процедурой.

Пять ошибок, из-за которых сайт выпадает из ответов ИИ

1. Запретить OAI-SearchBot заодно с GPTBot. Самая дорогая: обучение и поиск независимы, и вы убираете себя из живых ответов ChatGPT, ничего не выиграв.
2. Закрыть всё строкой User-agent: * / Disallow: /. Так вы выключаете Google и Яндекс — всех, у кого нет своей группы. А YandexAdditional при этом не закрывается: общие правила он не читает.
3. Считать robots.txt защитой. Он управляет доступом дисциплинированных ботов. Парсеры, которые вас действительно беспокоят, файл не читают.
4. Опечатки и устаревшие имена. GPT-Bot, Perplexity Bot с пробелом, Google-NotebookLM вместо нового имени — правило для этого бота не срабатывает, и он попадает под группу *. Что дальше, решает уже она.
5. Файл не в корне или его нет. На конструкторах вроде Тильды robots.txt часто генерируется автоматически и правится только в настройках проекта — файл, положенный в подпапку, не читает никто.

Что сделать за пять минут

1. Откройте свой robots.txt и найдите группу User-agent: *. Disallow: / под ней закрывает всех, у кого нет своей группы, включая поисковики, — это чинится первым.
2. Посмотрите, какие правила получаются для OAI-SearchBot, PerplexityBot и Claude-SearchBot: есть своя группа — читайте её, нет — группу *. Запрет закрывает сервису индексирование сайта.
3. Решите вопрос по YandexGPT: нужны быстрые ответы — YandexAdditional не трогаем; не нужны — пишем для него отдельную группу.
4. Проверьте доступ бесплатным расширением PrivateSEO AI Auditor для Chrome: оно показывает прямо на странице, кто из ключевых AI-ботов пущен, а кто закрыт.

Частые вопросы

Как разрешить GPTBot читать сайт?

Проще всего — ничего не запрещать: если имени GPTBot в файле нет и общее правило не закрывает сайт, доступ уже открыт.

Явная группа User-agent: GPTBot с Allow: / нужна, только чтобы вывести бота из-под более общего запрета.

Если заблокировать GPTBot, я выпаду из ответов ChatGPT?

Нет. За обучение отвечает GPTBot, за ответы в поиске ChatGPT — отдельный OAI-SearchBot. Можно запретить первый и оставить второй.

Запрет OAI-SearchBot убирает сайт из ответов поиска ChatGPT. Как навигационная ссылка он, по формулировке OpenAI, появиться всё ещё может.

Влияет ли блокировка AI-ботов на позиции в Google и Яндексе?

Запрет для краулеров обучения на классический поиск не влияет: у Google и Яндекса свои роботы, а про Google-Extended в документации сказано, что фактором ранжирования он не является.

А вот запрет для Googlebot или YandexBot убирает содержимое сайта из выдачи, а с ним и из AI Overviews с Нейро. Сам адрес при этом может остаться в индексе по внешним ссылкам, но без описания.

Нужно ли что-то менять для YandexGPT и Алисы?

Чтобы не отрезать себе дорогу в быстрые ответы, ничего не запрещайте: держите открытыми YandexBot и YandexAdditional.

Чтобы, наоборот, убрать страницы из быстрых ответов, пропишите отдельные группы для YandexAdditional и YandexAdditionalBot: общее правило User-agent: * на них не действует.

Надо ли закрывать CCBot и DataForSeoBot?

CCBot — по желанию: он собирает открытый архив Common Crawl, на котором учатся многие модели, но трафика не приносит. Уже опубликованные архивы запрет не отзывает.

DataForSeoBot к нейросетям и к поисковикам отношения не имеет — это ссылочная база SEO-сервиса, ограничить её можно без последствий.

Защищает ли robots.txt контент от обучения ИИ?

Частично. Краулеры компаний, которые обещали соблюдать директивы, вы остановите — но только будущие обходы, не то, что уже собрано.

Серые парсеры файл игнорируют, а RFC 9309 прямо пишет, что протокол не заменяет защиту доступа. Надёжно закрывает только авторизация; фильтры по user-agent и IP режут лишь известные запросы.

Есть ли аналог файла robots.txt для нейросетей?

Обязательного нет. llms.txt — это карта контента, а не запрет; ai.txt распространения не получил.

Ближе всего к сигналу о разрешениях строка Content-Signal внутри самого robots.txt, но и она остаётся просьбой, а не техническим запретом.