Was eine AI-Antwort wirklich kostet

Eine schnelle Antwort ist noch keine fertige Aufgabe. Ein Entwurf, den jemand zwei Stunden lang nachbessert, verschiebt die Arbeit nur. Sie wandert vom Computer zum Menschen. Umgekehrt lohnt sich eine zusätzliche Prüfung, wenn sie einen Fehler früh findet. Wir schauen deshalb auf den ganzen Weg: vom ersten Auftrag bis zum brauchbaren Ergebnis. Dazu gehören Vorbereitung, Rückfragen, Wartezeit und Korrekturen.

Das gilt an drei Stellen, auf die wir unsere Produkte ausrichten. Menschen arbeiten mit AI. AI-Systeme arbeiten miteinander. Und gewöhnliche Programme tauschen Daten aus. Ein Mensch braucht eine Antwort, die er versteht. Ein AI-System braucht das Ergebnis des vorherigen Schritts. Ein Programm braucht Daten in einem Format, das es lesen kann. Oft bringt eine bessere Übergabe mehr als ein schnellerer Rechenschritt.

Jede Aufgabe braucht dafür einen klaren Massstab. Nehmen wir eine AI, die aus fünf Dokumenten eine Entscheidungsvorlage schreibt. Die Anforderungen könnten lauten: Alle wichtigen Optionen kommen vor. Jede Zahl hat eine aktuelle Quelle. Offene Fragen stehen sichtbar am Schluss. Erst so lassen sich zwei Wege fair vergleichen. Ein kurzer Text, der die entscheidende Ausnahme weglässt, ist noch nicht fertig.

Ein solcher Vergleich darf klein anfangen. Zehn typische Aufgaben zeigen schon viel. Wichtig sind die schwierigen Fälle: Dokumente, die sich widersprechen. Angaben, die fehlen. Ein Auftrag, der sich mitten in der Arbeit ändert. Wir wollen wissen, wo ein Ansatz trägt und wo er Hilfe braucht. Diese Grenzen gehören zum Ergebnis, genau wie die gelungenen Durchläufe.

Mit LeanCTX haben wir unter anderem eine Buchhaltung für Einsparungen gebaut. Dieses Savings Ledger hält fest, wie stark eine bearbeitete Ausgabe geschrumpft ist. Zusammengefasste Einträge lassen sich signieren. Eine Signatur zeigt, ob jemand den Eintrag verändert hat und von welchem Schlüssel er stammt. Sie sagt nichts darüber, ob die Antwort gut war. Und sie misst keinen eingesparten Strom. [1]

Diese Unterscheidung ist uns wichtig. Ein Token ist eine kleine Texteinheit, in der viele AI-Systeme rechnen. Weniger Token können weniger Übertragung und weniger Rechenarbeit bedeuten. Wie viel Zeit, Geld oder Energie das spart, hängt vom ganzen Ablauf ab. Auch das Auswählen und Aufbereiten kostet Rechenzeit. Wir zählen diesen eigenen Aufwand mit, statt ihn wegzulassen.

Vor einer Entscheidung legen wir deshalb mehrere Beobachtungen nebeneinander. War die Aufgabe richtig erledigt? Wie lange hat sie insgesamt gedauert? Wie viel musste ein Mensch nachbessern? Wie viel wurde gerechnet? Eine Verbesserung kann bei einem Punkt gross sein und beim nächsten klein. Dieses Bild hilft mehr als eine einzelne grosse Zahl.

Wiederholbarkeit gibt dem Vergleich Gewicht. Wir halten fest, womit wir gestartet sind, welche Informationen wir verwendet haben und unter welchen Bedingungen wir geprüft haben. So kann man dieselbe Frage später noch einmal stellen. Ein besonders guter Versuch ist ein Hinweis, mehr nicht. Ein schlechter Versuch gehört genauso ins Bild. Er zeigt, wann eine Abkürzung zusätzliche Arbeit macht.

Software läuft auf echten Geräten. Die Software Carbon Intensity Specification trennt drei Dinge: den Strom, die Emissionen dieses Stroms und einen Anteil an der Herstellung der Hardware. Sie verlangt ausserdem eine klar definierte Einheit geleisteter Arbeit und klare Systemgrenzen. Diese Trennung hilft uns. Energie, Emissionen und Textmenge sind drei verschiedene Dinge. [2]

Wir wollen Zeit, Rechenleistung und Energie sorgfältig einsetzen. Wo wir keine Energiemessung haben, sagen wir das. Aus gesparten Token machen wir keine gemessene Klimawirkung. Und ein sparsamer Einzelfall sagt wenig über die Summe. Wird ein Ablauf zehnmal häufiger benutzt, müssen wir auch das Gesamtvolumen anschauen.

Daraus folgt eine schlichte Arbeitsweise. Wir suchen einen Schritt, den wir verbessern können. Wir prüfen, was er für die Aufgabe bringt. Dann schauen wir, was er im Rest des Ablaufs auslöst. Manchmal hilft eine bessere Auswahl der Informationen. Manchmal eine klarere Rückfrage. Manchmal genügt eine kleine, gewöhnliche Softwarefunktion ganz ohne AI.

In unseren Produkten soll man Effizienz daran merken, dass eine Aufgabe mit vernünftigem Aufwand gut gelingt. Das halten wir auch dann durch, wenn eine einzelne Kennzahl dadurch weniger beeindruckt. Wer mit unseren Produkten arbeitet, soll den Unterschied selbst beurteilen können. Die gewonnene Zeit gehört den Menschen, die sie nutzen: für die nächste Idee, für eine sorgfältigere Entscheidung oder einfach für etwas anderes.