GPT-6 프롬프트 캐싱은 브레이크포인트와 프리워밍으로 조정할 수 있다
OpenAI Developers는 애플리케이션이 명시적 캐시 브레이크포인트로 재사용할 프롬프트 접두사를 선택하고, 캐시된 컨텍스트를 유지한 채 추론 노력과 도구 사용 가능 여부를 바꾸며, 공유 컨텍스트를 프리워밍해 응답이 더 빨리 시작되게 할 수 있다고 밝혔다.
#prompt-caching
모든 AI 뉴스 보기OpenAI Developers, API의 GPT-6 프롬프트 캐싱 개선
기본 캐시 적중률이 높아져 더 많은 GPT-6 입력 토큰이 최대 90%의 캐시 입력 할인을 받을 수 있다. OpenAI Developers는 이번 변경으로 에이전트가 더 빠르게 실행되고 비용이 줄어든다고 밝혔다.
OpenAI Developers, Prompt Caching Dashboard와 진단 API 공개
platform.openai.com의 새로운 Prompt Caching Dashboard가 캐시 적중률을 추적한다. 진단 API는 캐시 재사용을 막은 변경을 식별하고 영향을 받은 토큰 수를 추정한다.
GPT-6 Sol과 Luna, Astra의 커뮤니케이션 스타일 적용하고 캐시된 입력 읽기 90% 할인
OpenRouter는 GPT-6 Sol과 GPT-6 Luna가 Astra의 더 명확하고 짧으며 전문 용어가 적은 답변과 OpenAI의 개선된 프롬프트 캐싱을 사용하며, 캐시된 입력 읽기에 90% 할인이 적용된다고 밝혔다.
Kimi K3, Amazon Bedrock에서 이용 가능
Kimi.ai는 Kimi K3가 코딩, 문서 분석, 확장된 에이전트 워크플로를 위해 Amazon Bedrock에서 이용 가능하며, Bedrock의 액세스·암호화·감사 제어와 명시적 프롬프트 캐싱 지원을 제공한다고 밝혔습니다.