Кэширование промптов в длинных ролевых чатах
Кэширование промптов позволяет провайдеру ИИ переиспользовать неизменную часть вашего запроса (пресет, карточку персонажа, лорбук и прошлую историю чата) со скидкой 90–95%, не списывая полную цену за входные токены на каждом ответе.
Почему 95% вашего счёта в ролке — это входные токены
Когда вы пишете реплику на 100 токенов в ролевом чате объёмом 32 000 токенов, SillyTavern отправляет не только ваши 100 токенов — он каждый раз заново пересылает все 32 000 токенов истории, чтобы модель помнила сюжет. За вечер из 50 ответов набегает около 1 600 000 входных токенов и 20 000 выходных. На Claude Opus 5.5 ($2.80/MTok за вход, $14.00/MTok за выход) такой вечер из 50 реплик без кэширования обойдётся примерно в $4.76. С активным кэшированием чтение из кэша падает до $0.14/MTok — и тот же самый вечер стоит уже около $1.03.
| Модель | 50 ответов без кэша | 50 ответов с кэшем TavernAPI | Экономия |
|---|---|---|---|
| Claude Opus 5.5 | ~4,76 $ | ~1,03 $ | на ~78 % дешевле |
Как TavernAPI применяет кэширование автоматически
Обычно режим Custom (OpenAI-compatible) в SillyTavern не расставляет метки cache_control за вас. TavernAPI автоматически добавляет их на сервере — и с нашим пресетом TavernAPI, и с вашим собственным локальным пресетом:
Три вещи, которые ломают кэш промптов (и как их избежать)
1. Случайные макросы в самом начале промпта
Кэширование работает только тогда, когда начало промпта полностью совпадает с предыдущим ходом. Если локальный пресет ставит {{random}} или {{roll}} в открывающий системный промпт, кэш сбрасывается на каждом сообщении. Держите случайные макросы ближе к концу списка промптов.
2. Постоянно меняющиеся записи лорбука на глубине 0 (в шапке промпта)
Когда записи World Info то срабатывают, то исчезают в самом верху промпта, весь текст после них приходится кэшировать заново. Если вы используете большие динамические лорбуки, ставьте срабатывающие записи на небольшую глубину внутри чата (например, @depth 2 или 4) — так основной кэш истории останется целым.
3. Паузы дольше окна жизни кэша у провайдера
Провайдеры хранят закэшированный префикс в памяти около 5 минут бездействия (таймер обновляется с каждым вашим сообщением). Если сделать перерыв на час и вернуться, первый ответ перезапишет кэш, а все следующие снова пойдут по льготному тарифу чтения.
Точная сумма экономии прямо в консоли
Большинство API-шлюзов поддерживают кэширование «вслепую», не сообщая, сработало ли оно. В консоли TavernAPI на странице Usage показаны входные токены, чтение кэша, запись кэша и точная сумма в USD, которую кэширование сэкономило вам за выбранный период.
Частые вопросы
Сгорает ли баланс и как работают пакеты на 30 дней?
Обычный баланс, внесённый через крипто-пополнение или коды пополнения, никогда не сгорает. Если вы хотите получить бонусные средства без подписки, вы можете вручную купить пакет на 30 дней: $9 за $10, $19 за $23 (Рекомендуем) или $39 за $48. Средства пакета действуют на всех пяти моделях, не продлеваются автоматически и действительны 30 дней с момента покупки.
Как ваши цены соотносятся с официальными тарифами API?
Наши модели Claude и Gemini стоят на 20–40% дешевле официальных прайс-листов: Claude Opus 5.5 — $2.80/$14 за 1 млн токенов (скидка 30%), Sonnet 5.5 — $1.60/$8 (скидка 20%), Gemini 4 Argon — $1.20/$6 (скидка 40%), а Gemini 3.8 Flash — $0.49/$2.45 (скидка ~35%). DeepSeek V4 Pro работает через официальный API DeepSeek по единому тарифу 24/7 ($1.49/$4.49, близко к официальной пиковой цене).
Как автоматическое кэширование промптов экономит деньги?
Наш сервер ставит точки кэширования на системный промпт/пресет, карточку персонажа и историю диалога, благодаря чему провайдеры переиспользуют эти токены со скидкой 90–95% на следующих ответах. В типичной сессии из 50 ответов при контексте 32k на Claude Opus 5.5 (~1,6 млн входных и 20k выходных токенов) кэширование снижает общую стоимость примерно с $4.76 до $1.03.
Как получить пробные $0.30 и на каких моделях они работают?
Новые аккаунты получают $0.30 бесплатного баланса автоматически после подтверждения email-адреса или входа через подтверждённый аккаунт Google или Discord. Пробный баланс сразу доступен для Gemini 3.8 Flash (gemini-3.8-flash) и Gemini 4 Argon (gemini-4-argon).