llms.txt для сайта: когда он полезен и чего от него не ждать

Отведите файлу llms.txt 10 минут, если у него есть конкретная задача: например, помочь агенту разобраться в вашей документации. Для малого бизнеса, который рассчитывает чаще попадать в ответы ИИ, это необязательная работа по поддержке сайта. Google Search прямо заявляет, что не использует llms.txt, а проверенные правила работы краулеров OpenAI, Anthropic и Perplexity не обещают читать этот файл.

Сверено с предложением формата и действующей документацией четырёх компаний 14 октября 2026 года. Здесь сравнивается то, как компании описывают работу своих систем, а не измеряется число их обращений к вашему сайту. Рекомендации Google Search сформулированы однозначно; более узкие заявления остальных компаний разобраны ниже.

Владельцу бизнеса, который оказывает услуги в своём городе, важнее привести в порядок непонятную страницу услуг, чем добавить этот файл. У основателя программного продукта, чьи клиенты работают с агентами для написания кода, актуальный указатель документации решает конкретную задачу. Именно от этого различия и стоит отталкиваться.

Что такое llms.txt и зачем он нужен сайту?

llms.txt — это предлагаемый формат путеводителя по сайту на Markdown для ИИ-агентов. Название отсылает к большим языковым моделям, на которых работают многие ИИ-ассистенты. Агенты выполняют задачи с помощью моделей и инструментов. Markdown — обычный текст с простой разметкой заголовков и ссылок. Представьте список литературы, составленный библиотекарем: короткое вступление и ссылки на полезные материалы, а не перечень всех книг в здании.

Предложение на llmstxt.org задаёт такой порядок:

• Название сайта или проекта в заголовке H1 с символом #. Это единственный обязательный раздел.
• Необязательное краткое описание, которое начинается с >.
• Необязательный поясняющий текст без дополнительных заголовков.
• Разделы H2 с разметкой ##, содержащие списки ссылок. Каждый пункт записывается как [Page name](URL); после него можно поставить двоеточие и добавить описание.

Для второстепенных ссылок можно использовать раздел Optional. Файл даёт контекст и помогает ориентироваться в материалах; robots.txt задаёт предпочтения по обходу сайта, а карта сайта перечисляет URL для обнаружения страниц. llms.txt не заменяет ни то ни другое.

В актуальной версии файл может находиться не только в корне сайта

Редакция v2, датированная августом 2026 года, уточняет: /docs/llms.txt охватывает страницы внутри /docs/, причём приоритет имеет файл для наиболее конкретного раздела. Также рекомендуются ссылки для обнаружения материалов: rel="describedby" указывает на соответствующий указатель, а rel="alternate" с type="text/markdown" — на Markdown-версию страницы.

Разработчик может задать эти связи в HTML или HTTP-заголовках ответа. Они показывают явный путь агенту, который готов ими воспользоваться, но не обязывают ИИ-сервис следовать по нему. В v2 раздел Optional остаётся полезным соглашением, однако больше не имеет особого значения для обработки, которое ему придавали прежние инструменты расширения контекста.

Читают ли llms.txt ИИ-сервисы? Что говорят сами компании

Публиковать собственный llms.txt и использовать такие файлы на чужих сайтах — разные вещи. Все четыре компании ниже размещают указатели своей документации для разработчиков. Но из публичных инструкций для их краулеров не следует, что ваш файл обязательно будет прочитан.

Каждую строку подтверждают официальные страницы, ссылки на которые приведены ниже. Отсутствие упоминания означает «не описано на проверенной странице». Оно не доказывает, что ни один сотрудник, продукт, экспериментальная система или агент никогда не запрашивает этот файл.

OpenAI и llms.txt: что следует из правил работы краулеров

OpenAI указывает OAI-SearchBot как агента для поиска, GPTBot — для сбора материалов, которые могут использоваться при обучении, а ChatGPT-User — для некоторых посещений по запросу пользователя. В документации по краулерам описаны средства управления доступом и опубликованы диапазоны IP-адресов. Обязательства читать ваш llms.txt там нет.

Та же документация ссылается на собственный указатель OpenAI. Это подтверждает, что компания использует такой способ публикации документации. Но этого недостаточно, чтобы утверждать, будто добавление файла приносит упоминания со ссылками в ChatGPT. Основателю бизнеса стоит попросить агентство показать, какой документально описанный механизм стоит за таким обещанием.

Anthropic и llms.txt: документация и обход сайтов

На справочной странице о краулерах Anthropic различает ClaudeBot, Claude-SearchBot и Claude-User. Они отвечают за сбор материалов для возможного обучения, поиск и получение страниц по запросу пользователя. Указаний по llms.txt на этой странице нет.

При этом Anthropic публикует указатель документации для разработчиков, а документация Claude Code направляет читателей к собственному указателю. Claude Code — ИИ-ассистент для написания кода. Это подтверждает, что указатель может служить входной точкой в документацию, но не доказывает, что веб-краулер Claude проверяет такой файл на каждом сайте компании.

Google: поиск и Lighthouse решают разные задачи

В руководстве Google Search по оптимизации для ИИ прямо сказано, что поиск не использует llms.txt, в том числе для своих генеративных ИИ-функций. При этом краулер всё же может обратиться к текстовому файлу как к обычному контенту. Поэтому запрос от Googlebot не опровергает заявление Google об отсутствии особой обработки этого файла.

Отдельно команда Chrome в Google описывает необязательную проверку llms.txt в Lighthouse для работы браузерных агентов. Lighthouse — инструмент аудита сайтов. Если файл отсутствует и сервер возвращает 404, проверка помечается как неприменимая; если при получении файла возникает серверная ошибка, она фиксируется. Это проверка доступности для агентов, а не требование для ранжирования в поиске.

Google также публикует указатель документации Gemini API. Эти факты не противоречат друг другу: указатель может помогать конкретному агенту ориентироваться в документации, не будучи средством оптимизации для Google Search.

Perplexity: ссылка в документации не означает, что краулер прочитает файл

Perplexity описывает PerplexityBot как поискового краулера, а Perplexity-User — как агента, который получает страницы по запросу пользователя. На странице о краулерах даны рекомендации по настройке доступа и проверке IP-адресов. Там не сказано, что какой-либо из этих агентов автоматически находит или использует ваш llms.txt.

На странице есть ссылка на указатель документации Perplexity. Однако инструкцию по навигации в документации нельзя продавать владельцу малого бизнеса как свидетельство существования программы включения сайтов в поиск.

Где файл полезен уже сейчас: когда агенту поручают прочитать документацию

Самый понятный сценарий — задача, в которой вы сами передаёте агенту указатель. Основатель программного продукта может попросить ассистента для написания кода прочитать llms.txt продукта, найти актуальное руководство по аутентификации и опираться на него при реализации интеграции. Здесь ясно и кто будет читать файл, и зачем.

Аналогичный сценарий для агентства — передать ассистенту указатель публичных страниц об услугах и правилах клиента, прежде чем составлять коммерческое предложение. Польза в том, что появляется отправная точка, которую можно использовать повторно. Сэкономит ли это время, зависит от качества страниц по ссылкам и способности агента их загрузить; роста трафика такой сценарий не подразумевает.

Инструкцию можно сформулировать так: «Начни с этого указателя документации, открой страницы об аутентификации и для каждого использованного требования укажи точную страницу-источник». Проверьте, что ответ действительно опирается на эти страницы. Сам указатель не содержит всех изложенных в них подробностей.

Платформы документации могут поддерживать файл автоматически

Платформа для размещения документации Mintlify автоматически публикует llms.txt со ссылками на Markdown-страницы. Она также создаёт llms-full.txt. На сайтах, где весь контент доступен только после входа, эти файлы тоже требуют аутентификации. Размещение на платформе не делает закрытую документацию общедоступной.

Если вы отвечаете за рост SaaS-продукта, сначала проверьте, что уже есть на сайте, и только потом заказывайте генератор. Возможно, полезнее улучшить описания страниц и убрать устаревшие инструкции из самой документации.

Другая платформа документации, GitBook, автоматически создаёт llms.txt для опубликованной документации. Это подтверждает наличие файла, но не доказывает измеренного роста числа ссылок в ответах ИИ. Владельцу всё равно нужно проверить созданный файл и страницы, на которые он ведёт.

llms-full.txt: указатель и полный текст решают разные задачи

llms-full.txt обычно объединяет саму документацию; в реализации Mintlify содержимое страниц собирается в один файл. Компактный указатель позволяет агенту выбрать нужные страницы. Полная выгрузка полезна, когда вам целенаправленно нужен весь корпус текстов, но передача всех материалов может без необходимости занимать контекст — объём текста, который ИИ-система способна учитывать одновременно.

Небольшому бизнесу в сфере услуг стоит начать с указателя. Превращать весь сайт в дополнительный документ незачем, если этого не требует конкретный рабочий процесс.

Как создать llms.txt: шаблон для малого бизнеса на десять минут

Десять минут — это лимит времени, а не гарантия, что всё получится за этот срок. Здесь предполагается, что вы уже можете опубликовать общедоступный текстовый файл. Если ваша платформа затрудняет эту задачу, остановитесь и обратитесь к специалисту, который поддерживает сайт. Не превращайте необязательную работу по поддержке в переделку сайта.

1. 1

   Выберите полезные страницы: две минуты

   Выберите страницы, которые отвечают на вопросы клиентов: услуги, территория обслуживания, запись, контакты и важные правила. Используйте страницы, которые поддерживаете в актуальном состоянии, а не список всех публикаций. Убедитесь, что платформа ещё не создала указатель автоматически.

2. 2

   Адаптируйте шаблон: четыре минуты

   Компания ниже вымышленная. Замените название, описание, домен и пути к страницам собственными проверенными данными. Скопируйте каждую показанную строку в обычный текстовый файл с именем llms.txt, сохранив пустые строки между разделами.

# Northline Plumbing

> Residential plumbing services in our published service area.

Use the linked pages for current services, availability and policies.

## Services

- [Services](https://example.com/services): Plumbing work we offer.
- [Service area](https://example.com/service-area): Locations we serve.

## Booking and Support

- [Book a visit](https://example.com/booking): How to request an appointment.
- [Contact](https://example.com/contact): Contact details and opening hours.
- [Policies](https://example.com/policies): Booking and cancellation terms.

## Optional

- [About](https://example.com/about): Company background.

Это примеры URL, а не рабочие адреса, которые нужно оставить в файле. Ссылайтесь на чистые Markdown-версии страниц, если они есть. В остальных случаях используйте настоящие общедоступные страницы с читаемым содержимым: добавление .md к адресу не создаёт страницу.

1. 1

   Опубликуйте и проверьте: две минуты

   Разместите файл по выбранному пути — для небольшого сайта это обычно /llms.txt. Откройте URL без входа в аккаунт. Убедитесь, что по нему возвращается текст файла, а не главная страница, HTML-страница ошибки или форма входа. Попросите специалиста по поддержке сайта подтвердить HTTP-статус 200 и подходящий тип ответа для обычного текста.

2. 2

   Проверьте ссылки и назначьте ответственного: две минуты

   Откройте все страницы по ссылкам и проверьте, что описания соответствуют содержимому. Включите указатель в тот же список регулярных проверок, что и страницы услуг. Когда страница переезжает или правила меняются, одновременно обновляйте источник и связанные с ним описания в указателе.

Как проверить обращения к файлу по серверным логам и установить отправителя

Серверный лог подтверждает, что запрос поступил. Он не подтверждает, что содержимое использовано в ответе ИИ. Лог — это журнал запросов к серверу; обычная браузерная аналитика может вообще не зафиксировать такие обращения.

Если файл отдаётся из кеша сети доставки контента, или CDN, запросите у хостинг-провайдера или разработчика её журналы доступа. В логах исходного сервера может не быть запросов, обработанных на уровне CDN. Сохраняйте время, имя хоста, путь запроса, строку параметров, метод, статус, user-agent и IP-адрес клиента. User-agent — это название программы, которое клиент сообщает о себе сам.

Для начала можно выбрать 30-дневный период наблюдения. Это выбранный срок измерения, а не ожидаемый график посещений краулеров.

Сначала отберите запросы по пути к файлу, затем — по боту

Сначала выберите запросы с точным нормализованным путём /llms.txt или тем путём внутри раздела, где вы разместили файл. Сохраните исходный URL запроса, чтобы были видны параметры. На этом этапе учитывайте все значения user-agent: агент для написания кода может представляться как браузер или обычный HTTP-клиент.

Если журналы Nginx или Apache выгружены в стандартном формате combined, разработчик с установленным ripgrep может начать с такой команды:

rg '"(GET|HEAD) /llms\.txt(\?[^ ]*)? HTTP/' access.log

Команда предполагает, что строка запроса заключена в кавычки. Для логов в JSON вместо этого фильтруйте разобранные поля пути и метода. Если файл находится по адресу /docs/llms.txt, измените путь; если публикуете /llms-full.txt, проверяйте его отдельно.

Затем среди найденных запросов отберите те, которые содержат опубликованные идентификаторы:

Эти обозначения взяты со страниц компаний, приведённых выше, и из справочника краулеров Google. Сопоставляйте имена без привязки к версии браузера или бота.

Для того же формата combined более узкий фильтр выглядит так:

rg '"(GET|HEAD) /llms\.txt(\?[^ ]*)? HTTP/' access.log | rg -i 'OAI-SearchBot|GPTBot|ChatGPT-User|Claude-SearchBot|ClaudeBot|Claude-User|Googlebot|PerplexityBot|Perplexity-User'

Google-Extended — это обозначение в robots.txt для управления использованием контента продуктами Google, а не отдельный идентификатор, который стоит искать в HTTP-логах. Если считать только эту строку, реальные запросы Google останутся незамеченными.

Проверьте отправителя и ответ сервера

Имя бота можно подделать. Сверяйте IP-адреса клиентов с актуальными списками, на которые ссылаются страница краулеров OpenAI, опубликованный список Anthropic, страница краулеров Perplexity и справочник краулеров Google. Если принадлежность запроса не проверена, фиксируйте её как заявленную, а не как подтверждённый трафик компании.

Разделяйте результаты:

• GET со статусом 200 означает успешный ответ. Проверьте, что сервер действительно вернул ваш файл, а не страницу ошибки со статусом успеха.
• Запрос HEAD проверяет метаданные ответа, не скачивая тело.
• 304 означает проверку актуальности кеша, а не повторную передачу тела ответа.
• 404 означает, что запрошенный ресурс не найден. Серверная ошибка — это неудачная попытка получения, а не успешное считывание контента.

Эти различия следуют из семантики HTTP. Собственные тесты и запросы мониторинга учитывайте отдельно. Если вы сами попросили ассистента загрузить файл, отметьте обращение как вызванное пользователем: оно не доказывает автоматическое обнаружение.

Описывайте наблюдения без преувеличений

Обоснованный отчёт показывает, какие проверенные агенты запрашивали файл, когда это происходило, с каким результатом и следовали ли затем обращения к соответствующим страницам. Даже близкие по времени запросы не доказывают, что последующий визит произошёл благодаря указателю.

Чтобы измерить видимость в ответах, проверяйте сами ответы отдельно: записывайте вопрос, продукт, дату и URL, на который дана ссылка. В нашем сравнении инструментов для отслеживания видимости в ИИ разобрана эта отдельная задача измерения. Само по себе изменение числа упоминаний до и после добавления llms.txt не доказывает, что причиной стал файл.

Если подходящих запросов нет, это означает лишь, что они не встретились в изученных логах, по выбранным путям и за выбранный период. Такой результат не исключает другие идентификаторы, неполные логи, кеши или будущие посещения. Но для владельца малого бизнеса это всё же практический довод не тратить больше времени без конкретного сценария применения.

llms.txt и SEO: какие обещания преувеличены?

Сам факт создания файла не доказывает, что он улучшает позиции или помогает получать ссылки в ответах ИИ. Валидатор может проверить формат. Платформа может разместить указатель. Краулер может его запросить. Ни одно из этих наблюдений не означает, что система генерации ответов порекомендует ваш бизнес.

Стоит оспаривать три утверждения: что файл обязателен для видимости в ИИ, что все крупные ИИ-краулеры автоматически его читают и что его добавление гарантирует цитирование. Проверенные здесь официальные страницы не подтверждают эти обещания. Рекомендации Google Search прямо отвергают необходимость специального файла для собственных поисковых функций.

Не платите за значок «готово для ИИ» вместо доказательств полезной работы. Спрашивайте, какой контент сделали доступным для чтения, какие страницы-источники улучшили, чьи запросы подтвердили и какие ответы изменились. Наш материал о различиях GEO и SEO помогает увидеть более широкий контекст продвижения: GEO касается видимости в сгенерированных ответах, а SEO — видимости в поиске. Этот файл — лишь небольшое техническое решение в рамках такой работы.

Кому стоит внедрять файл, кому — подождать, а кому — пропустить?

Командам, которые ведут документацию для разработчиков, стоит внедрять файл, если указатель нужен в работе с агентом. По возможности создавайте его автоматически из актуальных источников, предоставляйте полезные Markdown-страницы и передавайте агенту начальный URL. Проверьте ответ на типичный вопрос об интеграции по страницам, указанным в ссылках.

Владельцы и администраторы сайтов малого бизнеса могут провести ограниченный эксперимент. Если опубликовать файл просто, используйте шаблон, а затем наблюдайте за обращениями. Если страница услуг непонятна, контактные данные неверны или сайт блокирует допустимые запросы на получение контента, сначала исправьте это.

Заказчикам услуг агентств стоит требовать конкретный результат работы. Актуальный указатель, рабочие ссылки и отчёт по логам можно проверить. Обещание повысить позиции в ИИ благодаря одному имени файла — нельзя.

Первый шаг в понедельник: откройте URL файла llms.txt на своём сайте. Если файл есть, изучите его, прежде чем что-либо добавлять. Если его нет, решите, оправдывает ли конкретный рабочий процесс десятиминутное упражнение. Оставшуюся часть часа потратьте на вопрос клиента, на который ваш сайт всё ещё отвечает плохо.

Частые вопросы о файле и его названии

Как создать файл llms.txt для своего сайта?

Возьмите шаблон выше, замените данные из примера своими, опубликуйте обычный текстовый файл по доступному вам пути и проверьте ответ сервера и каждую ссылку. Возможно, ваша платформа документации уже создаёт этот файл автоматически.

Какие 5 LLM-моделей считаются лучшими?

Для этой задачи нет неизменной пятёрки лучших моделей. llms.txt описывает содержимое сайта, и для его использования не нужно выбирать модель из рейтинга.

Что означает расширение .txt?

Обычно оно обозначает файл с обычным текстом. Внутри llms.txt этот текст содержит заголовки и ссылки в формате Markdown.

Что означает LLM в тексте?

В данном техническом контексте LLM означает «большая языковая модель» — модель ИИ, которая работает с языком. Именно к таким моделям отсылает имя файла.

Что значит LLM на сленге поколения Z?

Чтобы понять отдельную аббревиатуру в сообщении, нужен контекст. В обсуждаемом здесь имени файла для сайта используется техническое значение из области ИИ.

Что означает "LLM" в разговорном сленге?

По одной аббревиатуре нельзя установить её сленговое значение. Для понимания этого файла на сайте оно не требуется.

Как расшифровывается LLM в Snapchat?

Платформа сама по себе не определяет смысл сообщения: нужно читать окружающую переписку. Если речь об этом файле, сокращение обозначает большие языковые модели.

Что означает LLM в соцсетях?

В публикациях об ИИ так обычно называют большую языковую модель. В посте на другую тему значение может быть иным — его нужно определять по контексту.

Как расшифровывается LLM в TikTok?

Изучите контекст публикации, а не приписывайте аббревиатуре универсальную расшифровку для всей платформы. В названии llms.txt имеются в виду большие языковые модели.

Чтобы получать практические заметки о том, как ИИ меняет работу бизнеса, подпишитесь на рассылку.