Контекстное окно нейросети: лимиты и работа с длинными запросами

Контекстное окно — это общий объём токенов, доступный большой языковой модели (LLM) для одного запроса: в него входят и входные данные, которые модель читает, и текст, который она генерирует. В окне на 1M токенов инструкции, документы и история переписки делят место с ответом, а у моделей с рассуждениями — ещё и с ходом этих рассуждений. Заполнить окно не значит добиться того, чтобы модель правильно учла каждую деталь.

Что такое контекстное окно нейросети?

Представьте контекстное окно как рабочий стол. На нём лежат документы, инструкции и незаконченная работа. Чем больше стол, тем больше материалов можно разложить. Но место для самой работы тоже нужно, а все разложенные документы ещё не гарантируют, что вы заметите нужный пункт.

Токен — единица, с которой работает модель. Часто это фрагмент слова, а не целое слово. Текст, код и другие входные данные преобразуются в токены по правилам конкретной модели. Поэтому считайте токены в реальном запросе, а не оценивайте вместимость по числу страниц или размеру файлов. Это различие объясняется в руководстве Google по токенам.

Во входные данные может попасть и то, чего вы никогда не вводили в поле чата:

• Системные инструкции, задающие поведение ассистента.
• Текущее сообщение и сохранённая история переписки.
• Описания инструментов — действий, доступных модели.
• Результаты работы инструментов, найденные фрагменты, изображения и документы.

Anthropic прямо включает эти компоненты в подсчёт контекста. Поэтому короткий вопрос пользователя может оказаться частью очень большого запроса.

Чем контекстное окно отличается от лимита токенов?

Контекстное окно ограничивает запрос целиком, а лимит выходных токенов — только генерируемую часть. Модели с рассуждениями могут потратить часть этого выходного бюджета на обдумывание, прежде чем начать видимый ответ. В документации OpenAI входные данные, ответ и рассуждения учитываются в одном окне.

Для общего окна действует простое правило:

Входные токены и токены, зарезервированные для генерации, вместе должны помещаться в контекстное окно.

Если модель относит рассуждения к этому бюджету, оставляйте место и для них. Учитывайте также отдельный максимум выходных токенов. Увеличение лимита ответа не добавляет места в окне.

На что влияет контекстное окно в ИИ-инструменте?

Оно определяет, сколько материала модель может рассматривать одновременно в рамках запроса. Но не показывает, насколько точно модель этим материалом воспользуется, что приложение хранит между сессиями и какие сохранённые данные отправит модели в следующий раз.

Для сотрудника поддержки это вполне практическое различие: обращение может оставаться в системе поддержки, но отсутствовать в текущих входных данных ассистента. Для разработчика сохранение переписки и сборка следующего запроса к модели — две отдельные задачи.

Размер контекстного окна Claude, GPT-6 и Gemini 4

Основные API-модели ниже предлагают окна примерно на миллион токенов. Однако правила генерации ответа не менее важны, чем эта цифра. Характеристики сверены с актуальными страницами разработчиков моделей 16 октября 2026 года. В каждой строке есть прямая ссылка на источник. Это спецификации API, а не гарантии для пользовательского тарифа чата или ограничений конкретного приложения.

На текущей странице моделей Claude для всех перечисленных моделей указаны одинаковые размер окна и предел генерации. Поэтому выбирать между ними по размеру окна мало смысла: лучше сравнить ответы на вашей задаче.

GPT-6 Astra, GPT-6.1 Sol и GPT-6 Luna тоже имеют одинаковые заявленные лимиты. При этом модели с одним и тем же окном могут по-разному справляться с извлечением данных, планированием и написанием кода. Спецификация говорит о вместимости, а не о месте модели в рейтинге качества.

Лимит long decode у Gemini 4 Argon входит в общее окно. По документации Google, API ограничивает запрошенный объём генерации местом, которое осталось после входных данных; рассуждения тоже расходуют этот бюджет. Нельзя заполнить всё окно входными данными и добавить большой ответ сверх него. Точное правило приведено в документации по учёту токенов Gemini.

Пример расчёта: запрос помещается, а ответ — нет

Промпт на миллион токенов оставляет для ответа меньше места, чем можно подумать по максимальному объёму генерации модели.

Возьмём лимиты GPT-6 Astra из документации. Допустим, собранный запрос содержит 1,000,000 входных токенов: инструкции, инструменты, историю и исходные документы. Это условный пример расчёта, а не замер реальной нагрузки. Вы хотите зарезервировать весь доступный модели объём генерации — 128,000 токенов.

Считаем:

• Размер окна: 1,050,000 токенов.
• Место после входных данных: 1,050,000 − 1,000,000 = 50,000 токенов.
• Запланированный вход и выход: 1,000,000 + 128,000 = 1,128,000 токенов.
• Не хватает: 78,000 токенов.

Входные данные помещаются. Запланированный бюджет ответа — нет. В оставшееся место должны войти и рассуждения, и видимый ответ.

Чтобы зарезервировать весь допустимый объём генерации, объём входных данных не должен превышать 922,000 токенов: 1,050,000 − 128,000. Если вашему процессу нужен дополнительный запас, его придётся вычесть отдельно. Резервировать максимум для каждой задачи необязательно — исходите из того, какой ответ ей нужен.

Почему большое окно не гарантирует точного извлечения информации?

Запрос может целиком поместиться в окно, но модель всё равно упустит важные сведения из него. Это ошибка в качестве ответа, даже если API принял промпт.

В руководстве по контекстной инженерии Anthropic описывает, как с ростом контекста снижается способность модели находить нужные сведения. Сбой не обязательно выглядит как явный отказ отвечать. Ассистент может не заметить исключение, смешать старую версию правил с новой или опереться на соседний фрагмент, который лишь кажется подходящим.

В исследовании Lost in the Middle, выполненном Nelson F. Liu и коллегами, качество ответов на вопросы по документам и поиска значений по ключам зависело от расположения нужной информации. Сведения из середины контекста могли использоваться хуже, чем сведения ближе к его началу или концу. Это более раннее исследование, а не бенчмарк актуальных моделей из таблицы.

Проверяйте качество работы с длинным контекстом на собственных задачах. Универсального числа токенов, после которого любая модель внезапно становится ненадёжной, здесь нет.

Для ассистента поддержки соберите небольшой набор проверочных задач об исключениях из правил, где правильные ответы уже известны. Сравните короткий запрос с нужными правилами и длинный, в который добавлены ещё и посторонние. Перемещайте решающий фрагмент в начало, середину и конец. Проверяйте, применяет ли ответ нужное исключение и ссылается ли на верный источник.

Для ассистента по программированию задайте вопрос, ответ на который зависит от файла с реализацией и кода, который её вызывает. Добавляйте посторонние файлы только после того, как проверите ответ с минимально необходимым контекстом. Если с длинным запросом результат хуже, покупка большей вместимости не поможет понять причину ошибки.

Успешный поиск характерной фразы полезен для оценки извлечения информации. Но он не доказывает, что модель умеет согласовывать противоречащие друг другу документы или соблюдать все ограничения на протяжении долгой задачи.

Что делать при ошибке Context Too Long?

Разработчику нужно проверить запрос в собранном виде. Пользователю — сохранить текущее состояние задачи, прежде чем продолжать сессию. В обоих случаях важно отличать отклонённый запрос от ответа, который оборвался из-за нехватки места.

Для актуальных моделей Claude Anthropic описывает ошибку prompt-too-long: она возникает, когда уже одни входные данные превышают размер окна. Если вход помещается, но генерация доходит до границы окна, ответ может завершиться с причиной model_context_window_exceeded. Проверяйте фактическую ошибку или причину остановки, а не предполагайте, что система незаметно отбросила старые сообщения. Подробности — в документации о переполнении контекста Claude.

1. 1

   Посчитайте всё, что отправляет приложение

   Проверяйте инструкции, сообщения переписки, описания инструментов, найденные фрагменты и результаты инструментов вместе. Используйте средство подсчёта токенов провайдера, если оно поддерживает структуру вашего запроса, а затем сравните оценку с данными о расходе токенов в ответе. Эндпоинт подсчёта Anthropic принимает структурированные сообщения и многие типы входных данных, но имеет ограничения для серверных инструментов и некоторых источников файлов.

2. 2

   Зарезервируйте место для генерации

   Зафиксируйте размер окна модели, максимальный объём генерации и нужный вам запас выходных токенов. При необходимости включите в него рассуждения. Соответственно уменьшите бюджет входных данных: не считайте каждый свободный токен местом для ещё одного документа.

3. 3

   Найдите, какие данные постоянно накапливаются

   Ищите повторяющиеся результаты поиска, полные логи, дубликаты документов и заброшенные ветки разговора. Агенту для работы с кодом могут понадобиться падающий тест и нужная функция. Но полный вывод всех предыдущих успешных команд ему редко нужен на каждом шаге. Оставляйте сведения, необходимые для проверки следующего действия.

4. 4

   Сохраните заметку для продолжения работы

   Перед перезапуском или сжатием контекста сохраните цель, подтверждённые решения, открытые вопросы, расположение нужных источников и следующее действие. Сотруднику поддержки, который разбирает обращение клиента, стоит сохранить текущий запрос и применимое исключение из правил. Когда важна точная формулировка, заново открывайте первоисточник.

5. 5

   Проверьте правильность ответа после изменений

   Повторите задачу, на которой произошёл сбой, с меньшим запросом. Убедитесь, что нужные сведения сохранились, а ответ верен. Если промпт уже помещается, но модель всё ещё упускает решающую деталь, разберитесь с отбором материала и извлечением информации, а не продолжайте сокращать запрос вслепую.

Если короткий и стабильный процесс уже даёт правильные ответы и укладывается в лимиты, менять модель незачем. Само по себе более крупное заявленное окно — не повод для перехода.

Что выбрать: поиск, резюме, сжатие контекста или кеширование?

Выбор зависит от того, что именно занимает место. Эти методы решают разные проблемы и могут работать вместе.

Используйте поиск по источникам, когда их общий объём намного больше, чем нужно для ответа. Генерация с дополнением результатами поиска (RAG) передаёт модели отобранные материалы перед тем, как она ответит. Ассистенту поддержки стоит получить применимые правила возврата и сведения о заказе, а не читать всю базу знаний. В руководстве по агентному RAG разобрано, как агент может повторить поиск, если найденных сведений оказалось недостаточно.

Ограничение здесь — качество отбора: если поиск пропустил решающее исключение, модель не сможет его учесть. Когда задача действительно требует постоянно сопоставлять детали документов, держите в контексте ограниченный набор полных текстов и проверяйте, не теряются ли нужные сведения при его сокращении.

Используйте резюме, когда подробности прошлой работы можно заменить записью о состоянии задачи. В ней должно остаться то, что уже решили, что пока неясно и где находятся подтверждающие источники. Для изменения кода это могут быть выбранный подход, текущее ошибочное поведение и пути к нужным файлам. Не заменяйте точный пункт договора или текст ошибки вольным пересказом, если следующее решение зависит от формулировки.

Используйте сжатие контекста, когда основное место занимает сама переписка. Сжатие, или компактизация, заменяет накопленную историю более коротким контекстом для продолжения работы. Anthropic предупреждает: слишком агрессивное сжатие может привести к потере важных деталей. Проверяйте, что сохранилось, а не считайте сжатую переписку архивом без потерь. Этот компромисс разбирается в материале Anthropic о компактизации.

В более общем руководстве по контекстной инженерии объясняется, как выбирать и поддерживать содержимое контекста по ходу работы агента.

Используйте кеширование промптов, когда полезные входные данные повторяются. Оно позволяет повторно использовать результаты обработки совпадающего префикса промпта — неизменного начала запроса. Размещайте стабильные инструкции и общие материалы перед меняющимся содержимым и соблюдайте правила кеша конкретной модели. В актуальном руководстве OpenAI описано поведение явных точек разделения для кеширования, а на странице Gemini 4 Argon указано только неявное кеширование. См. кеширование OpenAI и поддержку кеширования Gemini.

Длинные промпты увеличивают число оплачиваемых входных токенов. Попадания в кеш могут снизить плату за повторяющийся ввод с учётом правил записи в кеш, но сами токены по-прежнему занимают место в окне. Механика кеширования разобрана отдельно.

Сжатие или переписывание начала промпта может снизить повторное использование кеша. Сохраняйте стабильный префикс, пока он полезен, и удаляйте постороннюю историю, когда она мешает запросу. Высокая доля попаданий в кеш не гарантирует хорошего ответа.

Какие ожидания от длинного контекста завышены?

От показателя вместимости часто ждут доказательств того, чего он не измеряет. Он не подтверждает ни безошибочное извлечение информации, ни постоянную память, ни возможность заменить любой процесс поиска одним большим промптом.

У большого окна есть конкретный полезный сценарий: задаче одновременно нужно больше релевантных сведений, короткий запрос теряет существенные связи, а длинный даёт верные результаты в ваших проверках. Это основание использовать дополнительную вместимость.

Действуйте, когда логи, история или наборы источников вытесняют место для ответа. Сначала улучшите состав запроса. Рассматривайте модель с большим окном, если нужные материалы всё ещё не помещаются. Не торопитесь с переходом, если существующий процесс надёжен, а единственный мотив — более высокая цифра в спецификации.

Частые вопросы о контекстном окне

Что такое контекстное окно языковой модели?

Это доступный модели объём токенов на один запрос, включающий входные данные, которые она рассматривает, и генерируемый ответ. Для моделей с рассуждениями учитывайте также затраты на обдумывание по правилам разработчика.

Какой объём текста помещается в контекстное окно 200K?

200K означает 200,000 токенов. Это не фиксированное число слов или страниц, а в общем окне нужно ещё оставить место для генерации. Считайте токены своих материалов с помощью токенизатора выбранной модели или поддерживаемого эндпоинта подсчёта.

Что означает контекст в программировании?

Контекст — это окружающая информация, доступная операции. В приложении на базе LLM это инструкции, сообщения и дополнительные материалы, собранные для текущего запроса к модели.

Как выглядит контекстная инженерия на практике?

Ассистент поддержки получает текущее обращение, применимые правила и краткую запись предыдущих решений. По мере необходимости он находит дополнительные сведения, а не получает весь архив обращений сразу.

Сколько зарабатывают специалисты по контекстной инженерии?

По размеру контекстного окна нельзя определить зарплату. При найме сначала уточните, связана ли работа с поиском по источникам, разработкой приложений, оценкой качества или инфраструктурой. Затем сравнивайте вакансии с такими же обязанностями в своём регионе.

Как освоить контекстную инженерию?

Изучайте полные запросы небольшого приложения. По отдельности меняйте инструкции, найденные сведения или сохраняемую историю и сверяйте ответы с заранее известными правильными результатами. Учитесь объяснять, почему изменение повысило точность, а не просто сократило промпт.

Чем контекстная инженерия отличается от промпт-инженерии?

Промпт-инженерия сосредоточена на инструкциях и примерах, которые получает модель. Контекстная инженерия также охватывает отбор сведений, предоставление инструментов и сохранение нужного состояния по мере работы.

Какие подходы помогают правильно управлять контекстом?

Считайте бюджет всего запроса, оставляйте место для генерации, сохраняйте нужные сведения, а в резюме указывайте, где искать источники. После сокращения или сжатия контекста проверяйте, что ответ остаётся правильным.

Какие навыки работы с контекстом нужны агентам?

Дайте агенту специализированные средства для поиска источников, изучения нужных фрагментов и сохранения состояния задачи. Оценивайте инструменты по тому, помогают ли их результаты принять следующее решение, не перегружая запрос лишними данными.

С чего начать на практике

Возьмите запрос, который завершился ошибкой или в ответе на который была упущена важная деталь. Посчитайте весь входной объём, оставьте место для ожидаемого ответа и найдите самый большой блок, который не помогает ответить на вопрос. Замените его отобранными сведениями или заметкой для продолжения работы, затем повторите задачу и сверьте результат с известным правильным ответом. Оставляйте сокращённый запрос только в том случае, если он сохраняет и нужные сведения, и результат.

Чтобы получать практические руководства по созданию надёжных рабочих процессов с ИИ, подпишитесь на рассылку.