장기 롤플레잉 채팅을 위한 프롬프트 캐싱 안내
프롬프트 캐싱은 매 턴 바뀌지 않는 앞부분(프리셋, 캐릭터 카드, 로어북, 이전 대화 기록)을 AI 제공사가 메모리에 기억해 두었다가, 다음 턴부터 정상 입력 단가 대신 90%~95% 할인된 가격으로 재사용하는 기술입니다.
롤플레잉 요금의 95%가 입력 토큰에서 나오는 이유
32,000토큰이 쌓인 롤플레잉 채팅방에서 100토큰짜리 짧은 대사를 치더라도, 실리태번은 모델이 앞 내용을 기억할 수 있도록 기존 32,000토큰 전체를 매번 처음부터 다시 묶어서 보냅니다. 한 저녁 동안 50번 답변을 주고받으면 입력 토큰은 약 1,600,000개, 출력 토큰은 20,000개 정도가 됩니다. Claude Opus 5.5(입력 $2.80/MTok, 출력 $14.00/MTok) 기준으로 캐싱 없이 50턴을 진행하면 약 $4.76가 나오지만, 프롬프트 캐싱이 작동하면 캐시 읽기 단가가 $0.14/MTok로 낮아져 똑같은 한 저녁 대화가 약 $1.03로 줄어듭니다.
| 모델 | 50턴 (캐싱 미적용) | 50턴 (TavernAPI 캐싱 적용) | 예상 절감률 |
|---|---|---|---|
| Claude Opus 5.5 | ~$4.76 | ~$1.03 | 약 78% 절감 |
TavernAPI가 자동으로 캐싱을 적용하는 방식
원래 실리태번의 기본 Custom (OpenAI-compatible) 모드는 cache_control 중단점을 자동으로 찍어주지 않습니다. TavernAPI는 전용 프리셋을 쓰든 개인 로컬 프리셋을 쓰든 상관없이 서버에서 세 곳에 캐시 중단점을 자동으로 잡아줍니다:
프롬프트 캐싱이 깨지는 3가지 원인과 예방법
1. 프롬프트 맨 앞에 들어간 랜덤 매크로
프롬프트 캐싱은 프롬프트의 시작 부분이 이전 턴과 완전히 똑같을 때만 작동합니다. 로컬 프리셋의 최상단 시스템 프롬프트에 {{random}}이나 {{roll}} 같은 매크로가 들어 있으면 매 턴 앞부분이 달라져서 전체 캐시가 깨집니다. 랜덤 매크로는 프롬프트 순서의 맨 아래쪽에 배치하세요.
2. 최상단(Depth 0)에서 수시로 켜지고 꺼지는 로어북 항목
프롬프트 맨 위쪽에서 월드 인포 항목이 매 턴 새로 발동되거나 사라지면 그 뒤에 오는 모든 내용까지 캐시를 새로 써야 합니다. 키워드로 자주 변하는 동적 로어북을 많이 쓴다면 삽입 위치를 채팅 끝에서 가까운 깊이(예: @depth 2 또는 4)로 두어야 앞쪽 대화 캐시가 온전히 유지됩니다.
3. 캐시 유지 시간(TTL)을 넘긴 긴 휴식
상위 AI 제공사들은 보통 마지막 메시지 전송 후 약 5분 동안만 캐시를 메모리에 보관합니다(메시지를 보낼 때마다 계속 갱신됨). 한 시간쯤 쉬었다가 돌아와서 첫 대사를 치면 캐시를 한 번 새로 쓰게 되고, 그다음 답변부터는 다시 할인된 캐시 읽기 요금으로 돌아갑니다.
아낀 금액을 콘솔에서 바로 확인하세요
대부분의 API 게이트웨이는 캐싱이 제대로 작동했는지, 얼마를 아꼈는지 따로 알려주지 않습니다. TavernAPI 콘솔의 Usage 페이지에서는 Input tokens, Cache read tokens, Cache write tokens 수와 함께 선택한 기간 동안 캐싱으로 절약한 정확한 USD 금액을 한눈에 확인할 수 있습니다.
자주 묻는 질문
충전한 잔액에 유효기간이 있나요? 30일 크레딧 팩은 어떻게 다른가요?
암호화폐 충전이나 리딤 코드로 추가한 일반 종량제 잔액은 유효기간 없이 평생 유지됩니다. 정기 구독 없이 보너스 크레딧을 더 받고 싶다면 수동으로 30일 크레딧 팩을 구매할 수 있습니다: $9 결제 시 $10, $19 결제 시 $23(추천), $39 결제 시 $48가 지급됩니다. 팩 크레딧은 5개 모델 전체에서 사용할 수 있으며 자동 갱신되지 않고 구매일로부터 30일간 유효합니다.
공식 API 요금과 비교하면 얼마나 저렴한가요?
Claude와 Gemini 모델은 공식 정가 대비 20%~40% 저렴합니다: 100만 토큰당 입출력 기준 Claude Opus 5.5는 $2.80/$14(30% 할인), Sonnet 5.5는 $1.60/$8(20% 할인), Gemini 4 Argon은 $1.20/$6(40% 할인), Gemini 3.8 Flash는 $0.49/$2.45(약 35% 할인)입니다. DeepSeek V4 Pro는 공식 DeepSeek API를 통해 24시간 단일 요금($1.49/$4.49, 공식 피크타임 수준)으로 제공됩니다.
자동 프롬프트 캐싱으로 어떻게 비용을 아끼나요?
서버가 시스템·프리셋 앞부분, 캐릭터 카드, 이전 대화 내역에 캐시 중단점을 자동으로 찍어두어, 다음 답변부터는 상위 제공사가 해당 토큰들을 90%~95% 할인된 단가로 재사용하게 합니다. 예를 들어 Claude Opus 5.5로 32k 컨텍스트에서 50턴(입력 약 160만 + 출력 2만 토큰)을 진행할 때 약 $4.76가 나올 비용이 약 $1.03까지 낮아집니다.
$0.30 무료 체험 크레딧은 어떻게 받고 어느 모델에서 쓸 수 있나요?
신규 가입 후 이메일 주소를 인증하거나 이메일이 인증된 Google·Discord 계정으로 로그인하면 $0.30 무료 체험 크레딧이 자동 지급됩니다. 체험 크레딧은 Gemini 3.8 Flash(gemini-3.8-flash)와 Gemini 4 Argon(gemini-4-argon)에서 즉시 사용할 수 있습니다.