claude-bot Prompt-Caching ist eine Technik bei KI-Sprachmodellen, bei der wiederkehrende Teile eines Prompts – etwa Systemanweisungen, Dokumente oder Code-Kontext – zwischengespeichert werden. Bei der nächsten Anfrage muss das Modell diese Teile nicht erneut verarbeiten: Das senkt Antwortzeiten und vor allem die Kosten drastisch.
Ein Beispiel: Bei Claude Fable 5 kostet eine Million Input-Token regulär 10 US-Dollar – ein Cache-Treffer nur 1 US-Dollar. Wer über die API mit großen, gleichbleibenden Kontexten arbeitet (z. B. lange Dokumente oder Codebasen), spart mit Prompt-Caching bis zu 90 % der Input-Kosten. Es ist damit der größte Kostenhebel beim Einsatz teurer Frontier-Modelle.
Im OIT KI Gateway setzen wir Prompt-Caching automatisch ein, damit deine KI-Workflows so günstig wie möglich laufen.