Кэш промптов и счёт за месяц
У нас системный промпт на 9 тысяч токенов и 40 тысяч запросов в день. Включение кэша срезало счёт на 38 %. Но не везде.
Где помогло
Поддержка: один длинный префикс, короткие вопросы. Префикс читается из кэша почти всегда, платим в основном за ответ.
Где нет
Разбор документов: каждый документ уникален, кэшировать нечего, кроме инструкции на 400 токенов. Экономия в пределах погрешности.
| Сценарий | Было, ₽/день | Стало |
|---|---|---|
| Поддержка | 6 100 | 3 300 |
| Документы | 2 800 | 2 700 |
| Поиск | 900 | 850 |
Грабли
Кэш привязан к точному префиксу. Мы вставляли дату в начало системного промпта «для контекста», и кэш не срабатывал никогда. Перенесли дату в конец — заработало.