Оптимизация токенов · Token optimization
Сокращение количества токенов, отправляемых в языковую модель и возвращаемых ею, ради снижения стоимости, задержки и соблюдения лимитов контекстного окна.
Подробно
Оптимизация токенов — это набор приёмов работы с LLM, направленных на уменьшение объёма контекста в токенах: сжатие и структурирование промптов, удаление дублирующихся инструкций, суммаризация истории диалога, выбор более дешёвой модели и ограничение длины ответа. Токены — единица тарификации и основной потребитель контекстного окна, поэтому их количество напрямую влияет на стоимость запроса, время ответа и на то, поместятся ли в промпт нужные данные (документы, логи, код). Приёмы включают подсчёт токенов перед отправкой (tiktoken, токенайзеры провайдера), кэширование неизменяемой части промпта, RAG вместо вставки всего корпуса и батчинг похожих запросов. В продакшене оптимизация токенов — часть бюджета LLM-приложения: без неё счёт за API и latency растут быстрее пользовательской базы.
Примеры употребления
- Подсчёт длины промпта: encoding = tiktoken.get_encoding("cl100k_base"); len(encoding.encode(text)).
- Сокращение системного промпта с 3000 до 500 токенов за счёт удаления дублирующих инструкций.
- Суммаризация истории чата вместо отправки всех предыдущих сообщений.
- Включение prompt caching для неизменяемой части контекста и снижение цены повторных запросов.