Что такое токены в ChatGPT: простое объяснение и примеры

Токены — это части текста, которыми модель ChatGPT обрабатывает запрос и формирует ответ. Токеном может быть слово, часть слова, отдельный символ, пробел или знак препинания. Проще говоря, это технический способ измерить объём текста, с которым работает модель, а не отдельная валюта внутри обычного ChatGPT.

Как текст превращается в токены

Когда вы пишете вопрос, система сначала разбивает строку на фрагменты по правилам конкретной модели и её кодировки. Затем модель обрабатывает эти фрагменты и на их основе строит ответ. Подробное описание есть в справке OpenAI о подсчёте токенов.

Например, короткая фраза «Привет!» может разделиться на несколько частей: фрагмент слова, знак препинания и, в зависимости от токенизатора, другие элементы. Длинное или редкое слово иногда разбивается на части. Пробел перед словом тоже может влиять на то, как фрагмент будет записан.

Поэтому разбиение зависит от самой строки, языка, пробелов, регистра, знаков препинания, кодировки и выбранной модели. Одно и то же правило нельзя механически переносить с одной модели или языка на другой.

Почему токены не равны словам

Число слов видно глазами, но точное число токенов по нему не вывести. В одном тексте много коротких привычных слов, в другом — длинные термины, числа, адреса сайтов или код. При одинаковом количестве слов такие строки могут занимать разное число токенов.

Русский текст также не стоит пересчитывать по формуле, найденной для английского. Оценки вроде «один токен — это несколько символов» показывают только порядок величин и не дают точного результата для русского, смешанного текста или кода.

Запрос из пяти коротких слов не обязан занимать пять токенов, а строка из одного длинного слова не обязана занимать один токен. Если нужно точное значение, проверьте конкретную строку целиком в OpenAI Tokenizer, а не оценивайте её по числу пробелов.

Токены, сообщения и подписка — разные вещи

Если вы пользуетесь ChatGPT как готовым приложением, вам обычно важнее выбранный план, его ограничения и лимиты использования. Вы не покупаете отдельную пачку токенов для каждого сообщения и не пополняете токенами подписку Plus.

Токены описывают объём текста внутри обработки, а лимит подписки может быть связан с числом сообщений, периодом, выбранной моделью или текущими правилами сервиса. Одно длинное сообщение и несколько коротких могут занимать разный объём текста, но правило конкретного плана не сводится автоматически к числу токенов.

Если после этого объяснения нужен именно платный доступ к ChatGPT из России, можно посмотреть месячное подключение ChatGPT через Amber Market. Это подключение ChatGPT Go, Plus или Pro на аккаунте покупателя, с оплатой после подтверждения условий, в том числе через СБП. Карточка не продаёт токены, не увеличивает контекстное окно и не пополняет OpenAI API. Перед заказом проверьте вариант и условия: подключение не означает безлимитное использование.

Какие бывают токены в запросе

В техническом описании обычно встречаются несколько категорий.

Входные токены — текст, который передаётся модели. Сюда относятся ваш вопрос, инструкции, история диалога, прикреплённые текстовые данные и другие элементы, которые endpoint отправляет на обработку.

Выходные токены — текст, который модель сгенерировала в ответ. Чем подробнее ответ, тем больше таких токенов может понадобиться.

Кэшированные токены — ранее обработанная часть входных данных, которую система может учитывать по отдельным правилам кэширования. В API это отдельная техническая категория, если её поддерживает конкретный способ вызова.

Токены рассуждений — внутренние токены, которые reasoning-модель может использовать для решения задачи. Они не обязаны отображаться в видимом ответе. Поэтому пользователь может увидеть короткий итог, хотя внутренняя обработка была объёмнее.

Эти категории не нужно складывать с количеством сообщений в интерфейсе ChatGPT. Они отвечают на разные вопросы: сколько текста обрабатывалось, сколько текста создано и сколько раз вам разрешено пользоваться функцией по условиям продукта.

Что такое контекстное окно

Контекстное окно — это максимальный объём токенов, с которым модель может работать в одном запросе. В него попадает не только последняя строка, которую вы напечатали, но и та часть переписки или переданных данных, которую система включила в текущий контекст.

Если текст слишком большой, его приходится сокращать, разбивать на части или обрабатывать в нескольких запросах. Точное ограничение зависит от модели и используемого режима.

Контекстное окно не равно лимиту частоты запросов. Лимит частоты отвечает на вопрос, как часто можно отправлять запросы. Контекстное окно — какой объём токенов может быть обработан за один раз. Месячный лимит расходов API — ещё одна отдельная настройка, уже связанная с оплатой программного доступа.

Как токены связаны с расходами API

Тарификация по токенам относится к API, когда программа отправляет запросы к модели. В таком сценарии учитываются входные и выходные токены, а правила и ставки зависят от модели и категории токенов. Поэтому длинные инструкции, большие документы и подробные ответы могут влиять на расход сильнее, чем короткий запрос.

Подписка ChatGPT Plus не превращается в баланс API. Это разные продукты и способы расчёта. Если нужен программный доступ, вводный пример первого запроса к OpenAI API поможет перейти к отдельной теме.

Как проверить число токенов на практике

Для одной фразы или небольшого запроса используйте Tokenizer: вставьте текст и посмотрите результат разбиения.

Для программной проверки в Python часто используют библиотеку tiktoken. Она позволяет токенизировать строку в коде, но важно выбрать совместимую с задачей кодировку и учитывать зависимость результата от модели.

При реальном вызове API смотрите поле usage в ответе. В зависимости от endpoint там могут быть поля prompt_tokens, completion_tokens, total_tokens либо input_tokens, output_tokens, total_tokens. Это фактические данные конкретного запроса, а не приблизительная оценка по длине текста.

Для обычного вопроса в ChatGPT запоминать эти названия не требуется. Достаточно держать в голове три вещи: токен — часть текста, число токенов не равно числу слов, а расходы по токенам относятся прежде всего к API. Когда нужна точность, проверяйте сам текст токенизатором или смотрите usage в ответе API.

Если интересуют именно ограничения готовой подписки, не переводите их автоматически в токены — разбор лимитов ChatGPT Plus лучше рассматривать отдельно.