Как устроен ChatGPT: объяснение Стивена Вольфрама

Когда ChatGPT отвечает на вопрос, легко представить внутри него маленького собеседника: он будто бы понял смысл, вспомнил нужный факт и сформулировал фразу. Для разговора такая картина удобна, но принцип работы устроен иначе. В объяснении Стивена Вольфрама о работе ChatGPT есть простая опора: модель продолжает уже данный текст, каждый раз выбирая вероятное продолжение.

Это не означает, что ChatGPT механически ищет готовую фразу в большой базе. Модель оценивает закономерности языка и строит ответ шаг за шагом. Поэтому полезно разделить процесс на несколько этапов: сначала модель обучают, затем она превращает запрос в токены, обрабатывает полученный контекст и последовательно создаёт новые токены.

Сначала модель учится продолжать текст

До того как модель начинает отвечать пользователям, для неё готовят данные и проводят обучение. В ходе предварительного обучения она видит множество примеров текста и настраивает параметры так, чтобы лучше отражать закономерности языка: какие элементы часто встречаются рядом, как обычно устроена фраза, какой ответ может следовать за вопросом. Затем модель могут дополнительно обучать, чтобы её ответы лучше соответствовали требованиям к диалогу и полезности.

Важно правильно понимать результат этого процесса. Параметры модели — не папка с точными копиями всей обучающей выборки. Они представляют выученные закономерности в числовом виде. Поэтому объяснение «ChatGPT достаёт из памяти готовый абзац» слишком грубо и часто вводит в заблуждение. Подробнее о подготовке данных и этапах разработки OpenAI рассказывает в справочных материалах How ChatGPT and our foundation models are developed и Our approach to data and AI.

Что такое токены

Для модели текст не поступает в виде привычных нам слов и предложений. Сначала он разбивается на токены — единицы, с которыми система умеет работать. Токеном может быть целое слово, часть слова, отдельный символ или знак препинания. Поэтому выражение «модель генерирует слова» удобно в разговоре, но технически точнее говорить о токенах, часто похожих на слова или их части.

Например, короткая фраза на русском может разделиться не так, как её видит читатель: одно слово способно стать несколькими токенами, а пробел или запятая могут учитываться вместе с соседним фрагментом. Конкретное разбиение зависит от используемого токенизатора. В справке OpenAI есть описание токенов и способа их подсчёта.

После токенизации модель получает последовательность входных токенов. К ней относятся не только слова пользователя, но и доступный служебный контекст, который нужен для текущего диалога и настроек ответа. На выходе появляются новые токены, из которых затем собирается видимый текст.

Как запрос превращается в ответ

Представим условный запрос: «Почему зимой на окнах появляется лёд?» Сначала система превращает его в токены и рассматривает всю полученную последовательность как контекст. Затем модель оценивает, какие токены могли бы логично появиться дальше.

Условная последовательность может выглядеть так:

1. В контексте появляется фраза «Зимой обычно идёт».
2. Модель оценивает возможные продолжения: например, «снег», «дождь» или другое слово.
3. Выбирается один из вариантов, и он добавляется к последовательности.
4. Теперь модель смотрит уже на расширенный контекст и снова выбирает следующий токен.

Так продолжается до тех пор, пока не будет построен ответ или не сработает условие остановки. Это иллюстрация общего принципа, а не измерение поведения конкретной версии ChatGPT. На практике модель учитывает гораздо больше контекста и выполняет сложные вычисления, но саму последовательность действий можно понять именно так: следующий фрагмент выбирается с учётом того, что уже было перед ним.

Вольфрам подчёркивает важную особенность такого подхода: модель не обязана заранее составить весь ответ целиком, а потом вывести его. Текст возникает последовательно. Каждый новый токен меняет контекст, на который опирается следующий выбор. Из-за этого начало ответа влияет на его продолжение: выбранное объяснение, термин или порядок мысли становятся частью дальнейшего расчёта.

Почему один вопрос может дать разные ответы

Для следующего токена обычно есть не один правдоподобный вариант. Если попросить объяснить одну и ту же тему дважды, оба ответа могут остаться близкими по смыслу, но различаться словами, примерами и порядком объяснения. В одном запуске начало будет более кратким, в другом появится бытовая аналогия или иной переход между абзацами.

Это связано с вероятностной природой генерации. Модель оценивает варианты, а механизм выбора может привести к разным продолжениям. Поэтому нельзя обещать, что одинаковый запрос всегда выдаст побуквенно один и тот же текст. При этом слово «вероятностный» не означает, что ответ каждый раз случаен или обязательно ошибочен: выбор ограничен контекстом, настройками и закономерностями, которым модель научилась следовать.

Почему связный ответ не равен проверенному факту

Модель обучена строить правдоподобное продолжение текста. Это помогает ей поддерживать тему, объяснять сложное простыми словами и подбирать подходящую форму ответа. Но правдоподобие фразы само по себе не доказывает, что изложенное соответствует действительности.

Иными словами, ChatGPT может уверенно сформулировать предложение, которое звучит убедительно, но содержит ошибку, неточную дату или вымышленную ссылку. Для важных сведений ответ нужно проверять по надёжным источникам, а не принимать гладкость текста за результат отдельной проверки фактов. OpenAI также описывает развитие моделей и связанные с ними ограничения в материалах о том, как создаются ChatGPT и базовые модели.

Отсюда следует практическое правило: уточняйте условия задачи и отдельно проверяйте сведения, от которых зависят деньги, здоровье, право или безопасность. Сам принцип генерации не превращает модель в справочник с гарантией безошибочности.

Есть ли у ChatGPT сознание и хранит ли он весь интернет

Описанный механизм не требует приписывать ChatGPT человеческое сознание. Модель может поддерживать диалог, подстраивать тон и связывать части ответа, но из этого не следует наличие человеческого опыта, намерений или понимания в том же смысле, в каком понимает человек.

Не стоит также представлять обучение как буквальное хранение всей обучающей выборки внутри модели. Она настраивает параметры, чтобы воспроизводить обнаруженные закономерности и строить новые последовательности. Это объясняет, почему ответ может быть похож на знакомый стиль или содержать распространённый факт, но не означает, что система открывает точную страницу во внутренней библиотеке при каждом вопросе.

Если после основного объяснения вам нужен платный доступ к самому сервису, подписку ChatGPT можно оформить через карточку Amber Market. В карточке доступны варианты ChatGPT Go, ChatGPT Plus и ChatGPT Pro x5/x20 на один месяц; продавец указывает подключение на аккаунте покупателя. Перед заказом проверьте выбранный план и итоговую сумму, а оплату можно провести через СБП. Подписка нужна для доступа к выбранным условиям использования, но не меняет фундаментальный принцип, по которому модель строит текст.

Короткая схема работы

Весь процесс можно удержать в четырёх шагах:

1. На этапе обучения модель настраивает параметры по примерам и учится закономерностям текста.
2. При запросе текст преобразуется в токены и соединяется с доступным контекстом.
3. Модель оценивает варианты следующего токена.
4. Выбранный токен добавляется к ответу, после чего расчёт повторяется, пока ответ не завершится.

Так объяснение Вольфрама помогает увидеть основу работы ChatGPT без экскурсии во всю архитектуру современных моделей. Перед нами не человек внутри компьютера и не поисковая строка, заранее лежащая в базе, а обученная система, которая продолжает контекст последовательными вероятностными выборами. Она умеет делать это настолько связно, что диалог кажется естественным, однако окончательная проверка важных фактов всё равно остаётся необходимой.

Если после понимания общего принципа вы хотите разобраться в возможностях и ограничениях самого сервиса, можно перейти к обзору ChatGPT. А сравнение конкретных версий имеет смысл читать отдельно: общий механизм генерации объясняет основу работы, но не заменяет описание различий между моделями — для этого есть сравнение версий GPT.