Fast jede AI-Session beginnt mit derselben stillen Verschwendung. Das System liest, was es schon einmal gelesen hat, versteht, was es schon einmal verstanden hat, und verrechnet beides erneut. Niemand würde einem Mitarbeiter jeden Morgen das Onboarding wiederholen. Maschinen gegenüber tun wir es täglich.
Wiederverwendung als Haltung
Caching gilt als Optimierung, die man am Ende einbaut. Tatsächlich ist es eine Grundsatzfrage: Darf ein System behalten, was es verstanden hat? Wer sie mit Ja beantwortet, baut anders. Verstehen wird dann zu einem Bestand, der wächst, statt zu einer Ausgabe, die verfällt.
Verstehen, das nicht behalten wird, ist Arbeit, die man nur gemietet hat.
Was ein Prompt-Cache tatsächlich tut
Die Anbieter haben dafür inzwischen eine eigene Mechanik. Bei Anthropic kostet das Lesen aus dem Prompt-Cache ein Zehntel des normalen Eingabepreises, das Schreiben je nach Haltbarkeit das 1,25-Fache oder das Doppelte. Das ist der Stand vom August 2026, andere Anbieter rechnen anders, und Preise ändern sich. Die Ersparnis ist erheblich, aber sie hängt an einer Bedingung, die viele Systeme unbeabsichtigt verletzen.
Ein Treffer verlangt einen exakt identischen Präfix. Der Cache-Eintrag wird über den kumulierten Anfang der Anfrage gebildet, in der Reihenfolge Werkzeuge, System-Prompt, Nachrichten. Ändert sich irgendetwas an oder vor der markierten Stelle, ist der Hash ein anderer und der Treffer weg. Ein Zeitstempel im System-Prompt genügt.
Der häufigste Fehler
Er sieht harmlos aus. Die Cache-Markierung sitzt am Ende des Prompts, also auf der eingehenden Nutzernachricht oder auf einem Block mit Zeitstempel. Damit schreibt jede Anfrage brav einen neuen Eintrag und liest nie einen, weil an dieser Stelle nie zuvor einer geschrieben wurde. Die Rechnung steigt dabei sogar, denn Schreiben kostet mehr als gewöhnliche Eingabe. Wer den Cache einschaltet und danach höhere Kosten sieht, hat mit hoher Wahrscheinlichkeit genau das gebaut.
Die Korrektur ist unspektakulär. Die Markierung gehört auf den letzten Block, der über die Anfragen hinweg identisch bleibt, und der Prompt sollte so gebaut sein, dass das Stabile vorne steht und das Wechselnde hinten. Damit wird aus einer Detailfrage eine Entwurfsregel: Die Reihenfolge eines Prompts entscheidet darüber, ob Wiederverwendung überhaupt möglich ist.
Was ein Gedächtnis braucht
Behalten ist nur nützlich, wenn das Behaltene stimmt. Ein Gedächtnis braucht deshalb drei Dinge. Es braucht Invalidierung, damit vergessen wird, was sich geändert hat. Es braucht Herkunft, damit jeder Eintrag seine Quelle kennt und ein Fehler zurückverfolgt werden kann. Und es braucht ein Budget, denn auch Erinnerung konkurriert um das Fenster.
Ein Wort zur Vorsicht: Ein Cache, der ganze Antworten statt Präfixe wiederverwendet, ist etwas anderes. Wer eine frühere Antwort ausliefert, weil die neue Frage ähnlich klingt, hat die Verwechslung von Ähnlichkeit und Relevanz nur an eine andere Stelle im System verschoben.
Der ehrlichste Massstab für ein System ist darum nicht, wie viel es lesen kann, sondern was es beim zweiten Mal nicht mehr lesen muss.