Wenn ein Team über AI-Kosten spricht, meint es fast immer die Rechnung des Anbieters. Das ist die sichtbarste der drei Grössen, aber es ist dieselbe Zahl, die auch die beiden anderen bestimmt. Ein Prompt, der zehnmal grösser ist als nötig, kostet nicht nur zehnmal mehr Geld. Er braucht länger, und er belegt Rechenzeit in einem Rechenzentrum, das dafür Strom zieht.
Prefill und Decode sind zwei verschiedene Rechnungen
Eine Anfrage zerfällt in zwei Phasen. Im Prefill liest das Modell den gesamten Prompt, im Decode erzeugt es die Antwort Token für Token. Die beiden Phasen verhalten sich unterschiedlich. Prefill lässt sich gut parallelisieren und hängt an der Länge der Eingabe. Decode läuft sequenziell und hängt an der Länge der Antwort. Wer seinen Prompt halbiert, halbiert die Prefill-Arbeit und lässt Decode unberührt.
Für die Praxis heisst das: Die Frage, ob ein System langsam ist, bleibt zu grob. Nützlich wird sie erst, wenn man die Zeit bis zum ersten Token von der Zeit bis zur fertigen Antwort trennt. Kontext-Kürzungen wirken stark auf die erste Zahl und kaum auf die zweite. Wir messen beide getrennt, weil sie an verschiedenen Schrauben hängen.
Tokens sind keine Wörter, und Deutsch ist teurer
Ein Token ist ein Textstück, meist ein paar Zeichen lang. Die gängigen Tokenizer sind überwiegend an englischem Text trainiert, deshalb zerfallen deutsche Wörter häufiger in mehrere Stücke, und bei Komposita wird der Abstand grösser. Derselbe Sachverhalt kostet auf Deutsch spürbar mehr Tokens als auf Englisch. Für ein Schweizer Unternehmen mit deutschsprachigen Dokumenten ist das kein Detail, sondern ein Aufschlag auf jede einzelne Anfrage. Wer seine Kosten schätzt, sollte an den eigenen Texten zählen statt an einer englischen Faustregel.
Die Spalte, die fast überall fehlt
Für den Energieverbrauch gibt es kaum belastbare Zahlen. Die Anbieter veröffentlichen wenig darüber, was eine einzelne Anfrage kostet, und die öffentlich kursierenden Schätzungen liegen um Grössenordnungen auseinander, weil sie verschiedene Modelle, Hardware und Auslastungen annehmen. Wir führen die Spalte trotzdem, aber als Schätzung mit offengelegter Annahme daneben.
In LeanCTX steht diese Schätzung im Code und nicht auf einer Folie. Wir rechnen mit 0,4 Joule pro eingespartem Token, einem bewusst konservativen Mittelwert gemessener Inferenz auf aktueller Hardware, und leiten daraus Wattstunden ab. Der CO₂-Wert folgt mit 475 Gramm pro Kilowattstunde, der globalen durchschnittlichen Netzintensität. Wer einen saubereren Strommix hat, kann diesen Wert überschreiben, damit die eigene Zahl ehrlich bleibt. Zur Einordnung: 9000 eingesparte Tokens ergeben genau eine Wattstunde.
Zwei Dinge halten die Schätzung ehrlich. Sie ist nach unten angesetzt, weil vor allem günstigere Prefill-Tokens wegfallen, und sie wandert nicht in das manipulationssichere Protokoll, in dem die eingesparten Tokens stehen. Energie ist dort eine abgeleitete Grösse und keine Messung, und eine Schätzung hat in einer Beweiskette nichts verloren.
Eine Grösse, die niemand ausweist, optimiert auch niemand.
Was wir sagen können, ist relativ statt absolut. Braucht ein Lauf halb so viele Eingabe-Tokens, sinkt die Prefill-Arbeit ungefähr proportional mit. Das ist keine Wattzahl, aber es ist eine Richtung, und eine Richtung reicht für eine Entscheidung. Absolutwerte behaupten wir nicht, und wir halten Anbieter für die Einzigen, die sie seriös liefern könnten.
Was wir nicht behaupten
Ein Kontext-Budget ist kein Klimaprogramm. Der Anteil, den ein einzelnes Team einspart, ist gemessen am Verbrauch der Branche klein. Dazu kommt ein Effekt, den man aus anderen Feldern kennt: Was günstiger wird, wird öfter benutzt, und ein Teil der Ersparnis verschwindet in zusätzlicher Nutzung. Diesen Rückprall wegzulassen wäre bequem und unehrlich.
Warum die Zahl trotzdem zählt
Die Ersparnis entscheidet darüber, wer mitmachen kann. Ein Prozess, der pro Lauf einen Franken kostet, ist für einen Verein oder eine Gemeindeverwaltung eine andere Entscheidung als für einen Konzern. Sinkt derselbe Lauf auf zehn Rappen, verschiebt sich die Grenze, ab der sich jemand diese Technologie überhaupt leisten kann. Dasselbe gilt für die Modellgrösse: Wer mit einem Bruchteil des Kontexts auskommt, kann Aufgaben auf kleinere Modelle verlegen, auch auf solche, die auf eigener Hardware laufen.
Es ist die einzige Grösse in diesem Feld, die gleichzeitig günstiger, schneller und sparsamer macht, und sie kostet nichts ausser Sorgfalt. Solche Hebel sind selten genug, dass man sie benutzen sollte.