Данные и ML · Профессиональный — набор 2
Данные и ML · терминов: 10 · усвоено: 0
Экран 1 из 10Войдите, чтобы сохранять прогресс и получать баллы
GPT · GPT (Generative Pre-trained Transformer)
Частота: очень высокая · Сложность: 3/5 · растёт
Семейство больших языковых моделей на архитектуре трансформера, предобученных на больших текстовых корпусах для генерации и понимания текста.
GPT — это генеративная предобученная трансформерная модель, то есть нейросеть на архитектуре decoder-only Transformer, обученная предсказывать следующий токен в тексте. Предобучение на больших корпусах даёт модели общее понимание языка, а последующая тонкая настройка и выравнивание (RLHF, инструктивное дообучение) превращают её в ассистента. На практике GPT-модели применяются для генерации и суммаризации текста, написания и объяснения кода, извлечения данных, построения диалоговых интерфейсов и как «мозг» ИИ-агентов. Доступ к ним обычно получают через API или локальный инференс-сервер (например, llama.cpp, vLLM). Термин GPT происходит от названия моделей OpenAI, но сейчас употребляется шире — как обозначение класса авторегрессионных LLM.
Примеры употребления
Сгенерируй unit-тесты для этого класса через GPT-модель.
Мы снизили стоимость запроса, перейдя на меньшую GPT-модель.
GPT-модели не подходят для точных арифметических вычислений без инструментов.
Контекстное окно GPT-модели ограничивает размер передаваемого документа.
#LLM#трансформер#NLP#генерация текста
Источники
https://github.com/OpenHands/OpenHandshttps://en.wikipedia.org/wiki/Generative_pre-trained_transformerhttps://arxiv.org/abs/2005.14165Полная карточка в словаре — открыть в новой вкладке ↗
