GPT-3: что это за нейросеть и чем она отличается от ChatGPT

GPT-3 — языковая модель OpenAI, представленная 28 мая 2020 года. Она строит текстовое продолжение по заданному контексту и может выполнять разные языковые задачи через текстовые инструкции и примеры. В исследовании описана модель со 175 миллиардами параметров. Публикация OpenAI.

Название «ChatGPT 3» требует уточнения. GPT-3 и ChatGPT появились в разное время: первый ChatGPT представили 30 ноября 2022 года, и его обучили на основе модели серии GPT-3.5. Поэтому описывать GPT-3 как первоначальную версию самого чата неточно. Анонс ChatGPT.

Какую задачу решает GPT-3

GPT-3 работает с текстом. В исследовании проверяли перевод, ответы на вопросы, заполнение пропусков и другие задачи. Существенная особенность эксперимента: новую задачу задавали примерами прямо во входном тексте, без дополнительного изменения параметров модели для каждого задания. Это называют few-shot — работой по нескольким примерам. Аннотация исследования.

Представьте, что нужно распределить короткие обращения по трём темам. Вместо длинного описания каждой категории можно показать образцы:

Определи тему обращения: доставка, оплата или возврат.

Обращение: Курьер ещё не приехал.
Тема: доставка

Обращение: Не прошёл платёж картой.
Тема: оплата

Обращение: Хочу вернуть полученный товар.
Тема: возврат

Обращение: Заказ привезли в другой подъезд.
Тема:

Для последней строки ожидаемая категория — «доставка». Это наш учебный пример формата, а не полученный ответ GPT-3. Он показывает, как задача и образцы могут помещаться в одном запросе.

Проверьте и неоднозначный случай: «Хочу вернуть деньги за доставку». Если правила не объясняют, куда относить такое обращение, нельзя однозначно оценить ответ. Сначала определите правило маршрутизации: например, все требования о возврате денег передавать в категорию «возврат». Затем добавьте подходящий пример и проверьте оба случая.

Для рабочего процесса важно заранее решить, что делать с неизвестной темой. Обращение «Измените мой номер телефона» не относится ни к одной из трёх категорий. Можно добавить вариант «другое» и направлять его на ручной разбор. Само продолжение текста не заменяет правила вашей системы.

GPT-3, GPT-3.5 и ChatGPT — разные названия

Название	Что означает в этом контексте	Как читать старые материалы
GPT-3	Модель, описанная в исследовании 2020 года	Проверяйте конкретную модель и задачу эксперимента
GPT-3.5	Серия, на основе которой обучили первоначальный ChatGPT	Не сокращайте название до GPT-3, если речь о запуске чата
ChatGPT	Диалоговый продукт, впервые представленный в 2022 году	Дата статьи важна: возможности продукта со временем меняются

Хронология основана на двух первоисточниках: исследовании GPT-3 и описании запуска ChatGPT. Она помогает понять, почему статья про «GPT-3» может показывать интерфейс, который появился значительно позже.

Если видите обещание «чат на GPT-3», уточните, что именно имеется в виду: историческая модель, разговорный интерфейс стороннего сервиса или неточное название ChatGPT. Одна подпись не устанавливает, какую модель использует сервис.

Почему GPT-3 не стоит считать источником безошибочных ответов

В исходной работе авторы отмечали и сильные результаты, и задачи, с которыми few-shot-подход справлялся хуже. Результат на отдельных тестах нельзя переносить на любой ваш запрос. Исследование.

Для примера с обращениями заведите небольшую проверочную таблицу: текст, правильная категория, фактический ответ и причина ошибки. Включите обычные, неоднозначные и не относящиеся к справочнику сообщения. После добавления категории «другое» проверьте смену телефона. Если модель всё равно выдаёт «оплата», она нарушает ваши правила, даже если ответ выглядит аккуратно.

То же относится к текстовым черновикам: отделяйте заданные факты от придуманных связок. Если во входе нет срока доставки, его нельзя принимать из ответа без отдельной проверки.

Можно ли пользоваться старыми примерами GPT-3 сейчас

Старые названия моделей в API могут уже не работать. В журнале OpenAI для базовых ada, babbage, curie и davinci указано отключение 4 января 2024 года. Это конкретные старые модели, а не дата закрытия всего ChatGPT. Журнал отключений API.

Если задача — запустить программу сегодня, выпишите из старой инструкции имя модели, адрес API и используемую библиотеку. Сверьте их с текущей документацией перед запуском. Если задача — просто работать с текстом в чате, ищите доступный вам современный интерфейс и проверяйте результат на своих данных; возвращаться к GPT-3 ради этого необязательно.

Для новой интеграции начните с инструкции про первый запрос к OpenAI API.

Исторический пример полезен для понимания принципа: задача задаётся текстом, образцы уточняют формат, а качество проверяется на отдельных случаях. Для воспроизведения конкретного исследования понадобится его собственная методика, а не только похожий запрос в современном чате.