Ещё совсем недавно владельцы сайтов обсуждали в основном два технических файла – robots.txt и sitemap.xml. Первый помогал поисковым роботам понять, какие разделы можно обходить, а какие лучше пропустить. Второй показывал структуру сайта и упрощал поиск новых страниц. Теперь к этому списку постепенно добавляется ещё один файл – llms.txt. 

Из-за названия легко предположить, что он станет таким же обязательным элементом любого сайта, как robots.txt. Поэтому многие компании уже начали спрашивать SEO-специалистов, нужно ли срочно внедрять новую технологию, чтобы ChatGPT, Алиса, GigaChat и другие ИИ-системы чаще использовали информацию с их сайта.

Но (по крайней мере на сегодняшний день) наличие llms.txt само по себе не увеличивает вероятность цитирования сайта в ИИ-поиске. Чтобы понять почему, сначала нужно разобраться, для чего вообще появился этот файл.

Почему вообще возник llms.txt?

Многие современные сайты создавались и создаются с расчётом на поисковые системы. HTML-разметка, заголовки, микроразметка Schema.org, robots.txt, XML-карты сайта – всё это помогает поисковым роботам быстрее понять структуру проекта и правильно обработать страницы.

Но при всём этом, не стоит забывать, что большие языковые модели работают немного иначе. Когда ИИ-система обращается к сайту, её интересует не только техническая структура документа, ей важно быстро понять, где находится наиболее полезная информация: документация, описание продукта, база знаний, инструкции, лицензии или ответы на частые вопросы. И раз для этого в 2024 году появилась идея создать отдельный файл llms.txt.

Его задача достаточно проста – предоставить языковым моделям краткую «карту» сайта с наиболее важными разделами, которые могут быть полезны при генерации ответов. С помощью нашего плагина вы можете проверить файл.

Проще говоря, если robots.txt объясняет поисковым роботам, куда можно заходить, то llms.txt пытается подсказать искусственному интеллекту, с чего лучше начать знакомство с сайтом. Слово «пытается» здесь является ключевым.

Почему llms.txt всё ещё нельзя назвать новым стандартом?

После появления первых публикаций вокруг llms.txt сложилось впечатление, что крупнейшие ИИ-компании уже используют этот файл при каждом обращении к сайтам. Но до сих порllms.txt не является официальным веб-стандартом. Он не входит в обязательные требования поисковых систем и не гарантирует, что ChatGPT, Алиса, GigaChat или другие сервисы будут учитывать его содержимое при формировании ответов.

Более того, многие ИИ-системы продолжают получать информацию так же, как и раньше: анализируя сам HTML-код страницы, структуру документа, внутренние ссылки и другие общедоступные элементы сайта. И в результате получается, что файл уже существует, часть компаний начала его использовать, но говорить о том, что он стал обязательным элементом любого проекта, пока рано.

Это очень напоминает первые годы развития микроразметки. Сначала её применяли единицы, затем появились первые реальные преимущества, и только спустя несколько лет она стала привычной частью технической оптимизации сайтов. Возможно, что похожий путь ждёт и llms.txt.

Что обычно размещают в llms.txt?

Несмотря на название, llms.txt не содержит сложных технических настроек. Чаще всего в него включают ссылки на наиболее важные разделы сайта:

  • документацию;
  • базу знаний;
  • FAQ;
  • инструкции;
  • описание продуктов;
  • API;
  • лицензии;
  • контактную информацию;
  • страницы с исследованиями или аналитикой.

По сути это краткий навигатор по ресурсу. Если сайт содержит тысячи страниц, такой файл потенциально помогает быстрее понять, где находится наиболее ценная информация. Но сам по себе список ссылок не делает сайт более авторитетным. Если материалы поверхностные, устаревшие или не содержат экспертной информации, никакой llms.txt ситуацию не исправит.

Кому llms.txt действительно может быть полезен?

Если проанализировать сайты, которые начали экспериментировать с llms.txt одними из первых, можно заметить закономерность. В основном это крупные сервисы, разработчики программного обеспечения, SaaS-платформы, проекты с документацией и обширными базами знаний.

Причина можно объяснить просто и на примере, представьте сайт, на котором опубликованы несколько тысяч страниц: документация API, инструкции, статьи базы знаний, справочный центр и технические руководства. Даже человеку бывает сложно быстро понять, где искать нужную информацию. Тогда появляется llms.txt, который может стать своеобразной отправной точкой. И языковой модели не надо анализировать весь сайт целиком, она получает список наиболее важных разделов и начинает работу именно с них.

Если говорить о большинстве корпоративных сайтов, где проект состоит из нескольких десятков страниц, имеет понятную структуру, качественную навигацию и хорошо оформленные разделы услуг, дополнительный файл практически ничего не изменит. Искусственный интеллект и без него сможет разобраться, где находится основная информация.

Так что, если ответить одним предложением, то чем сложнее структура сайта и чем больше экспертного контента он содержит, тем выше потенциальная ценность llms.txt.

Почему хороший FAQ пока важнее любого llms.txt?

Когда ChatGPT, Алиса, ChatGPT или Google AI Mode, Яндекс формируют ответ, им нужна не ссылка на страницу, а понятная информация, которая действительно отвечает на вопрос пользователя. Если сайт содержит подробные инструкции, исследования, кейсы, FAQ и хорошо структурированные статьи, вероятность использования такого материала значительно выше независимо от того, существует ли на сайте llms.txt. И наоборот, если компания добавила новый файл, но контент по-прежнему состоит из коротких SEO-текстов без практической ценности, рассчитывать на заметный эффект не стоит.

Получается, что многие обсуждают инструмент, который потенциально может стать стандартом в будущем, забывая о вещах, которые уже сейчас напрямую влияют на видимость сайта.

Какие ошибки совершают компании?

1) Воспринимать файл  llms.txt, как отдельный инструмент продвижения. Некоторые компании рассчитывают, что после его публикации сайт автоматически начнёт чаще цитироваться нейросетями. Пока для таких ожиданий нет оснований.

2) Переносить в llms.txt ссылки практически на все страницы сайта. В результате документ превращается ещё в одну карту сайта и теряет свою основную идею. Если файл и правда помогает языковой модели быстрее понять структуру проекта, он должен содержать только самые важные разделы.

3) Уделять больше внимания самому файлу, чем качеству контента. Это тоже самое, как долго настраивать меню ресторана, забыв приготовить блюда.

Любой ИИ-сервис в первую очередь оценивает информацию, а уже потом способы её организации.

Стоит ли внедрять llms.txt уже сейчас?

Если сайт активно развивается, регулярно публикует экспертные материалы, имеет документацию, базу знаний или большое количество обучающего контента, добавить llms.txt конечно можно.

Его внедрение занимает совсем немного времени. Да и если этот формат со временем получит широкую поддержку, сайт уже будет готов к изменениям. Но ожидать мгновенного роста органического трафика, увеличения числа цитирований или появления сайта в ответах нейросетей только благодаря новому файлу точно не стоит.

Речь идёт больше об элементе долгосрочной подготовки, чем инструменте, способном заменить классическое SEO. В этом и заключается главный вывод. Технологии, которые со временем становятся отраслевым стандартом, сначала проходят период экспериментов. llms.txt сейчас находится на этом этапе. Следить за его развитием нужно, но важнее продолжать работать над тем, что влияет на качество сайта сейчас: структурой, экспертным контентом, понятной навигацией и удобством для пользователей.

Если искусственный интеллект сможет быстро найти на сайте полезную и хорошо организованную информацию, наличие llms.txt станет приятным дополнением. Но заменить качественный контент и сильную техническую базу он точно не сможет.