Токены в нейросетях: как их считать и за что вы платите

Токены в нейросетях — это небольшие фрагменты текста, которые языковая модель читает и генерирует: слова, части слов и знаки препинания. По приблизительной оценке OpenAI для английского языка, на токен приходится около трёх четвертей слова, то есть на 100 токенов — 75 слов. От количества токенов зависят стоимость использования модели и объём текста, с которым она может работать. Источник: руководство OpenAI по токенам.

Что такое токены в нейросетях?

Токен — единица текста, а не сообщение или выполненная задача. Большая языковая модель, или LLM, — это разновидность ИИ, которая генерирует текст. Подготовкой текста для неё занимается токенизатор: программа, разбивающая его на фрагменты.

Представьте предложение в виде мозаики. Вы видите его целиком, а модель работает с отдельными элементами. Размер у них разный: привычное слово может поместиться в один элемент, а для другого понадобится несколько. Границы этих фрагментов не обязаны совпадать со слогами или словарными единицами.

Токенизатор также присваивает каждому фрагменту числовой идентификатор. Модель обрабатывает эти идентификаторы и генерирует новые токены, которые затем преобразуются обратно в читаемый текст. В документации OpenAI по токенизатору показаны и сами фрагменты, и их идентификаторы.

Для тех, кто отвечает за рабочие процессы, вывод простой: количество сообщений плохо отражает объём работы модели. Короткая инструкция с приложенным документом может содержать гораздо больше текста, чем длинный вопрос сам по себе.

Как подсчитать токены?

Чтобы подсчитать токены, нужно обработать конкретный текст конкретным токенизатором. Пересчёт количества слов по коэффициенту даёт приблизительную оценку. Токенизатор разработчика модели показывает количество токенов по своим правилам.

Пример подсчёта с помощью инструмента OpenAI

Токенизатор tiktoken с открытым исходным кодом от OpenAI разбивает точный текст tiktoken is great! на 6 токенов, если использовать cl100k_base — именованный набор правил преобразования текста в токены:

t · ik · token · is · great · !

Этот результат был воспроизведён с помощью инструмента OpenAI 15 октября 2026 года. Само предложение и его разбиение также приведены в практическом руководстве OpenAI по токенизатору. Здесь подсчитаны токены обычного текста, а не полное количество токенов запроса к чату.

Обратите внимание на пробелы в начале is и great. Пробел может входить в один токен со следующим словом, а восклицательный знак в этом примере выделен отдельно. Даже название самого инструмента разбивается на части. Надёжно посчитать токены по пробелам между словами не получится.

Набор правил в примере указан не случайно. При смене токенизатора модели текст может разбиться иначе. Результат подсчёта имеет смысл только вместе с исходным текстом и указанием токенизатора.

Калькулятор токенов ChatGPT: используйте инструменты разработчика

В визуальный инструмент Tokenizer от OpenAI можно вставить текст и посмотреть, на какие фрагменты он делится. Выберите доступный набор правил или модель, подходящие для вашей задачи: пример с другой кодировкой не гарантирует такой же подсчёт при оплате.

У других разработчиков есть свои инструменты подсчёта:

• Anthropic Claude: метод API для подсчёта токенов подсчитывает поддерживаемые входные данные сообщений для выбранной модели. В документации указано, какие элементы запроса он не умеет учитывать.
• Google Gemini: инструмент count_tokens подсчитывает входные токены до генерации, а сведения об использовании в ответе показывают фактический расход.

Каждый инструмент считает по правилам своего разработчика. Если автоматизированный процесс работает через API — интерфейс, который связывает приложение с моделью ИИ, — попросите разработчика подсчитать токены для той модели и того формата запроса, которые используются на деле.

Сколько слов в одном токене?

Для английского текста OpenAI приводит такие ориентиры: токен — это примерно 4 символа или три четверти слова, а 100 токенов — около 75 слов. Это оценки разработчика, а не точные коэффициенты пересчёта. В справочной статье OpenAI прямо сказано, что соотношение меняется в зависимости от языка и структуры текста.

Такой прикидки достаточно, чтобы понять, большой перед вами черновик или маленький. Но прежде чем обещать определённую вместимость или бюджет для многоязычной кампании, товарного каталога или документа с кодом, подсчитайте токены в самом материале.

Входные и выходные токены: что получает и что выдаёт модель

Входные токены — то, что модель получает; выходные — то, что она генерирует. Входные данные могут включать гораздо больше, чем последнюю введённую вами фразу.

Представьте процесс работы службы поддержки. Ваша видимая инструкция — составить ответ клиенту. Но приложение может вместе с ней отправить постоянные инструкции, предыдущие сообщения клиента и нужный раздел правил возврата. Всё это относится к входным данным. Черновик ответа — к выходным.

В документации Anthropic по подсчёту рассматриваются структурированные входные данные: инструкции, сообщения и инструменты. А примеры диалогов от Google показывают, почему предыдущие реплики могут увеличивать расход токенов в следующих запросах.

Маркетологу стоит задуматься, оправданно ли прикладывать весь архив бренда к каждому небольшому запросу на текст. Основателю бизнеса — попросить разработчика измерить полный запрос, а не оценивать расход по видимому сообщению в чате.

У выходных токенов есть ещё одна особенность. В документации OpenAI по рассуждающим моделям сказано, что токены внутренних рассуждений учитываются как выходные, хотя в тексте ответа их не видно. Поэтому у короткого на вид ответа выходных токенов может оказаться больше, чем можно предположить по показанным словам.

Почему выходные токены часто стоят дороже?

Чтение готового запроса и генерация его продолжения по-разному нагружают вычислительную систему. Весь входной текст доступен сразу, поэтому значительную часть его обработки можно выполнять параллельно. При обычной генерации выходные токены создаются последовательно: следующие зависят от предыдущих. NVIDIA объясняет эту разницу в техническом руководстве по обработке входных данных и генерации.

Это помогает понять, почему для входных и выходных токенов действуют разные тарифы. Но универсального соотношения цен из этого не следует: провайдеры устанавливают их сами, а устройство моделей и способы их обслуживания различаются.

На практике процесс, который читает документы и возвращает короткие метки, расходует токены в другой пропорции, чем процесс, который пишет длинные отчёты. Чтобы сравнить такие нагрузки, отдельно учитывайте суммарные входные и выходные токены.

Пример расчёта за месяц: Anthropic сейчас указывает для Claude Sonnet 5.5 стандартные тарифы API: $2 за миллион входных токенов и $10 за миллион выходных токенов. Если за месяц суммарно израсходован 1 миллион некэшированных входных токенов и 1 миллион выходных, по нашему расчёту стоимость токенов модели составит $2 + $10 = $12. В этом условном примере предполагается стандартная глобальная обработка без кэширования и скидок за пакетные запросы; платные инструменты и налоги не учтены. Тарифы разработчика, проверены 15 октября 2026 года.

Это стоимость указанного объёма использования, а не цена подписки и не прогноз вашего месячного расхода. В автоматизированном процессе токены суммируются по всем запросам к API. Доработки и повторные попытки тоже добавляют работу.

Для кэшированных входных данных, когда провайдер повторно использует уже обработанную часть запроса, могут действовать другие правила оплаты. Подробнее об этом — в нашей статье о KV-кэше и кэшировании промптов. Если выбираете модель, пригодится сравнение недорогих API моделей ИИ; задача приведённого здесь примера — объяснить единицу расчёта.

Что именно означает лимит токенов?

Прежде чем менять тариф, выясните, в какой именно лимит вы упёрлись. Слишком большой запрос, слишком частая отправка запросов и исчерпанная квота подписки требуют разных решений.

Лимит контекста определяет, с каким объёмом материала модель может работать в рамках запроса. Лимит выходных токенов — сколько она может сгенерировать. Оставляйте место и для ответа, и для передаваемого материала. Подробнее об этом — в нашем руководстве по размеру контекста и контекстной инженерии.

Ограничение скорости API определяет, насколько быстро можно отправлять запросы или токены. Лимит расходов относится к оплате. Ни тот ни другой не показывает, сколько материала поместится в отдельном запросе. OpenAI разграничивает эти ограничения в руководстве по токенам.

Квота тарифного плана чата регулирует использование по правилам конкретного продукта. По данным Anthropic, расход в Claude зависит от длины и сложности разговора, выбранной модели, функций и уровня усилий при обработке. В руководстве по лимитам использования и длины диалога также объясняется, что квота использования и ограничение длины разговора — разные вещи.

Для тех, кто управляет рабочими процессами, следствие вполне практическое: покупка дополнительного объёма использования не обязательно позволит вместить слишком большой документ. Новый разговор может уменьшить объём контекста, который передаётся дальше, но уже потраченные токены от этого не вернутся.

Как купить токены для нейросети?

Обычно вы оплачиваете доступ или фактическое использование через выбранный продукт. Прежде чем вносить деньги, проверьте, что именно вам предлагают: подписку, оплату API по расходу или внутренние кредиты приложения.

Например, OpenAI указывает, что подписки ChatGPT и использование API оплачиваются отдельно. Оплата чата не отменяет плату за токены API. Другие продукты могут включать использование в тариф по иной схеме: читайте условия того сервиса, которому платите.

Почему количество токенов переоценивают?

Больше токенов — не значит качественнее ответ. Вместимость показывает, какой объём может поместиться в запросе. Она не говорит о том, будет ли ответ верным, полезным и оправдает ли затраты.

Точно так же низкая цена токенов сама по себе не определяет, какая модель дешевле решит вашу задачу. Разные токенизаторы могут по-разному разбивать один и тот же материал, а рабочие процессы — требовать разного объёма ответов и рассуждений. Сравнивайте стоимость получения приемлемого результата.

Не превращайте экономию токенов в соревнование за самый короткий промпт. Убрать ненужные вложения разумно. Выкинуть из правил исключение, без которого ответ клиенту окажется неверным, — ложная экономия. Сохраняйте информацию, которая влияет на ответ, и убирайте то, что не помогает решить задачу.

Что изменить в работе уже на следующей неделе?

Стоит действовать уже сейчас, если вы отвечаете за автоматизированный процесс или регулярно упираетесь в лимиты. Если заходите в чат изредка и укладываетесь в квоту, считать каждое предложение не нужно.

1. 1

   Отвечаете за рабочий процесс? Определите, что именно ограничено

   Изучите экран со статистикой использования и сообщение о лимите. Зафиксируйте, что стало ограничением: длина запроса, частота запросов, расходы или квота тарифа. Подберите решение для этой причины.

2. 2

   Занимаетесь маркетингом? Подсчитайте токены для типичной задачи

   Возьмите реальный бриф и материалы, которые обычно отправляете вместе с ним. Проверьте их инструментом подсчёта от разработчика модели, затем запросите нужный для задачи формат ответа. Сохраните важные инструкции по бренду и фактам.

3. 3

   Основываете бизнес или выбираете поставщика? Запросите разбивку расхода

   Попросите разработчика или поставщика показать расход входных, выходных и кэшированных токенов, а также отдельную плату за инструменты на примере типичной выполненной задачи. На основе этой разбивки спрогнозируйте свой объём использования, прежде чем повышать тариф или менять модель.

Частые вопросы о токенах в ИИ

Что такое токен в ИИ?

Токен — это фрагмент текста, который обрабатывает языковая модель. Им может быть часть слова, целое слово или знак препинания. Считать, что токен всегда равен слову, нельзя.

Что такое токенизация в ИИ?

Токенизация — это разбиение входных данных на фрагменты, с которыми работает модель, и представление этих фрагментов в её словаре. Границы разбиения определяются правилами токенизатора.

Кто входит в топ-4 компаний в сфере ИИ?

Такая формулировка относится к рейтингам компаний, а не к стандарту токенов. Для подсчёта и расчёта стоимости нужно знать разработчика и точную модель, на которой работает ваш инструмент. Список известных компаний не поможет определить расход токенов.

Сколько стоит 1 миллион токенов в ChatGPT?

Универсального пересчёта токенов ChatGPT в доллары нет. Сам продукт ChatGPT и API OpenAI оплачиваются отдельно. Для расчёта через API нужно определить модель и разделить входные и выходные токены; для чата — проверить правила использования своего тарифа.

Сколько стоит один токен ИИ?

Фиксированной денежной стоимости у него нет. Плата за использование зависит от провайдера, модели и категории токенов. Токен — единица обработки, а не валюта, которую можно передавать другим.

Кто платит за токены ИИ?

При прямой оплате API провайдер выставляет счёт владельцу аккаунта, от которого идут запросы. В готовом приложении условия сервиса определяют, платите ли вы за подписку, фактический расход или за то и другое. Уточняйте, какие платежи включены в предложенную цену.

1000 токенов в ИИ — это сколько?

Если речь о цене, она зависит от модели и типа токенов: входных, выходных или кэшированных. Если об объёме текста — от токенизатора и языка. Проверяйте текст токенизатором разработчика модели, а не считайте это фиксированным количеством слов.

Как работают токены в ChatGPT?

Для обработки и генерации текст разбивается на токены. Введённый вами текст и полученный ответ не обязательно составляют весь расход: в него могут входить переданный контекст и, у поддерживающих это рассуждающих моделей, внутренние рассуждения.

У какой нейросети больше всего токенов?

Сначала определите, что имеется в виду: самое большое контекстное окно, самый длинный возможный ответ или наибольший включённый в тариф объём использования. Это разные показатели. Сравнивайте актуальную документацию конкретных моделей или тарифов по выбранному критерию.

Можно ли пользоваться ИИ бесплатно?

Да. Например, у Claude есть бесплатный тариф, но с ограничениями. Бесплатный доступ не означает неограниченное использование или безразмерное контекстное окно.

Если хотите получать практические объяснения инструментов ИИ и решений, связанных с их использованием, подпишитесь на рассылку.