GPT-OSS 20B и 120B: отличия и запуск на своём компьютере

В этой статье

GPT-OSS — две модели OpenAI с открытыми весами: 20B и 120B. Веса — это числовые значения, которые модель получила при обучении и использует, когда строит ответ. Их можно скачать и запустить на своём компьютере с помощью специальной программы, например Ollama. Описание обеих моделей доступно в официальном репозитории GPT-OSS.

Так вы получаете модель для собственных диалогов, а не копию веб-сервиса ChatGPT с готовым аккаунтом и привычным интерфейсом. Для локального запуска GPT-OSS подписка Plus не нужна. Поиск в интернете и другие внешние инструменты тоже не появляются автоматически: их подключают отдельно.

Если вам удобнее готовый ChatGPT в браузере, Amber Market — сервис оплаты зарубежных сервисов — помогает оформить месячную подписку ChatGPT Plus на своём аккаунте через менеджера. Заказ можно оплатить через СБП. Для оформления аккаунт должен быть Free без действующей подписки; продление возможно после её окончания. Актуальные условия и итоговую стоимость проверьте перед оплатой. У Plus отдельное назначение: по справке OpenAI, подписка и API оплачиваются отдельно. Plus не пополняет API-баланс и не меняет квоту организации.

Чем отличаются GPT-OSS 20B и 120B

Буква B в названии означает миллиарды параметров, а число округлено. При формировании ответа задействуются не все параметры сразу, поэтому у моделей указывают и общее, и активное количество.

Критерий GPT-OSS 20B GPT-OSS 120B
Общее количество параметров Около 21 млрд Около 117 млрд
Активные параметры Около 3,6 млрд Около 5,1 млрд
Рекомендация по памяти для Ollama От 16 ГБ VRAM или общей памяти От 60 ГБ VRAM или общей памяти
Когда выбирать для первого запуска Компьютер соответствует рекомендации для 20B; нужна первая проба локального диалога Компьютер соответствует рекомендации для 120B; вы готовы проверить, даёт ли крупная версия преимущество на ваших задачах

Количество параметров приведено в репозитории OpenAI, а ориентиры по памяти — в официальном руководстве по локальному запуску через Ollama. Более крупная модель не становится одинаково лучше на каждом запросе. Для выбора полезнее сравнить ответы на одной задаче и посмотреть, как с каждой версией справляется ваш компьютер.

Как выбрать версию по памяти

Для первого знакомства начинайте с 20B, если компьютер соответствует рекомендации от 16 ГБ видеопамяти или общей памяти. К 120B стоит переходить при наличии от 60 ГБ в конфигурации, подходящей для этого сценария Ollama.

Эти числа относятся к памяти для работы модели, а не к размеру загрузки или свободному месту на SSD. Рекомендация не гарантирует комфортного запуска на любом ноутбуке с 16 ГБ: имеют значение устройство компьютера, доступная память, длина диалога и настройки. Ollama может переносить часть работы на CPU, но это способно заметно замедлить ответы.

В README GPT-OSS также описан запуск 120B на GPU с 80 ГБ памяти. Это другая конфигурация; для приведённых ниже команд ориентируйтесь на руководство по Ollama. Если доступной памяти меньше рекомендованного объёма, возможность частично использовать CPU сама по себе ещё не означает, что диалог будет удобным.

Первый диалог через Ollama

Команды ниже предназначены для уже установленной актуальной версии Ollama. Порядок запуска описан в официальном локальном гайде. Сначала скачайте веса выбранной модели — для этого требуется интернет, — затем запустите диалог.

Для GPT-OSS 20B:

ollama pull gpt-oss:20b
ollama run gpt-oss:20b

Для GPT-OSS 120B:

ollama pull gpt-oss:120b
ollama run gpt-oss:120b

Команда pull загружает модель, а run запускает её. Ollama сам применяет необходимый Harmony-шаблон — формат сообщений, который использует GPT-OSS. Для первого диалога его не нужно настраивать вручную.

После запуска вставьте такое задание:

Договор — готово; Счёт — ожидает подписи; Макет — готово

Верни только названия задач, у которых статус не «готово», без комментариев.

Для этого примера критерий правильного ответа — единственное слово Счёт. По нему легко проверить сразу две вещи: верно ли модель отобрала задачу и выполнила ли просьбу обойтись без комментариев.

Затем замените строки своим коротким списком и заранее отметьте, какие названия должны попасть в ответ. Сначала выполните задание на 20B. Если компьютер подходит для 120B, повторите на ней тот же запрос с теми же данными. Сравните правильность отбора, соблюдение формата, задержку по своим часам и расход памяти; обратите внимание, остаётся ли система отзывчивой. Так станет понятнее, даёт ли большая версия полезное для вас улучшение и устраивает ли вас время ожидания.

Бесплатно ли можно пользоваться GPT-OSS 120B

Веса GPT-OSS 120B, как и 20B, можно скачать бесплатно, без подписки на ChatGPT. Бесплатность относится к весам: оборудование, электричество и аренда облачного сервера имеют собственную стоимость. У облачного провайдера запуск этой модели может быть платным.

После загрузки сама локальная текстовая генерация не отправляет запрос в OpenAI API. Если вы подключаете внешние инструменты или используете дополнительную оболочку, их обращения к сети зависят от их собственных функций и настроек.

Для первой пробы достаточно подходящей по памяти модели и небольшой задачи с понятным правильным ответом. Если 20B справляется с вашей работой и отвечает за приемлемое время, число 120B в названии само по себе ещё не повод менять версию.

Источники

Есть следующая задача?Ещё по теме «Модели ChatGPT» →