Оптимизация токенов (token optimization) · Token Optimization
Данные и MLЧастота употребления: средняя· Сложность: 3/5· Актуальность: 5/5· Тренд: растёт
Сокращение числа токенов во входе и выходе LLM, чтобы уменьшить стоимость, задержку и расход контекстного окна.
Подробно
Токен-оптимизация — это набор практик по уменьшению количества токенов, которые языковая модель обрабатывает на входе и генерирует на выходе. Токен — единица разбиения текста при токенизации, и именно по токенам тарифицируется большинство провайдеров LLM. Приёмы включают сжатие системных инструкций и промптов, удаление избыточных few-shot примеров, кеширование статичных префиксов, суммаризацию истории диалога, обрезку контекста и выбор более компактной модели для простых задач. Особенно критична эта практика в RAG-системах и агентах, где контекст быстро разрастается и каждая итерация цикла умножает расходы.
Примеры употребления
- Подсчёт токенов перед отправкой: client.messages.count_tokens(...) в Anthropic SDK.
- Вынос статичной части промпта в prompt caching, чтобы не платить за неё при каждом запросе.
- Замена передачи целого документа на top-k релевантных чанков в RAG-пайплайне.
- Ограничение max_tokens и summarization истории чата для длинных диалогов.