AI-Systeme antworten flüssig, und Flüssigkeit wird regelmässig mit Richtigkeit verwechselt. Der einzige belastbare Unterschied zwischen beiden ist die Spur: Welcher Kontext hat diese Antwort erzeugt, und woher kommt er? Fehlt die Spur, wird jede Prüfung zur Grabung.
Warum nachträgliches Belegen scheitert
Der verbreitete Reflex ist, Antworten im Nachhinein mit Quellen zu schmücken. Wer aber erst antwortet und dann sucht, findet Belege für die Antwort und nicht für die Wahrheit. Echte Nachvollziehbarkeit entsteht früher, nämlich bei der Auswahl dessen, was das System überhaupt liest.
Dazu kommt ein technisches Problem. Formuliert das Modell die Quellenangabe selbst, ist sie Text wie jeder andere und kann genauso danebenliegen wie der Rest. Eine Fussnote, die plausibel aussieht und auf einen Abschnitt zeigt, der die Aussage nicht trägt, ist schlechter als gar keine Fussnote, weil sie Prüfung vortäuscht und die Kontrolle einschläfert.
Nachvollziehbarkeit ist keine Funktion, die man nachrüstet. Sie ist eine Eigenschaft der Architektur.
Auswahl erzeugt Beleg
Ein System, das seinen Kontext bewusst auswählt, weiss in jedem Moment, was es gelesen hat. Der Beleg fällt als Nebenprodukt an, weil die Auswahl ohnehin protokolliert werden muss. Nützlich wird er allerdings erst, wenn er auf eine Textstelle zeigt und nicht auf ein Dokument. Der Hinweis, es stehe irgendwo in diesen achtzig Seiten, ist keine Prüfbarkeit, sondern eine Hausaufgabe.
Was in einer brauchbaren Spur steht
Eine Spur, die nur die verwendeten Quellen nennt, ist die halbe Auskunft. Interessanter ist oft, was das System betrachtet und dann verworfen hat. Wir halten deshalb drei Dinge fest: welche Kandidaten in die Auswahl kamen, welche davon ins Fenster gingen und welche Regel die übrigen aussortiert hat. Wenn eine Antwort falsch ist, liegt der Fehler häufiger im Aussortieren als im Formulieren, und ohne die verworfenen Kandidaten sieht man genau das nicht.
Das ist nicht gratis. Spuren belegen Speicher, und sie enthalten Auszüge aus Quellen, die vertraulich sein können. Wer sie aufhebt, muss entscheiden, wie lange und wer sie sehen darf. Wir halten sie deshalb kurz und an derselben Stelle wie die Daten, aus denen sie stammen, statt sie in ein separates System zu kopieren.
Was Nachvollziehbarkeit nicht leistet
Eine Spur macht eine Antwort nicht wahr. Sie zeigt, worauf sie sich stützt, und das ist etwas anderes. Ist die Quelle veraltet, falsch oder missverstanden, führt die Spur sauber zu einer falschen Aussage. Der Gewinn liegt darin, dass der Fehler auffindbar wird statt unsichtbar zu bleiben. Wer Nachvollziehbarkeit als Qualitätsgarantie verkauft, verkauft etwas, das sie nicht ist.
Im Audit
Am deutlichsten zeigt sich der Unterschied, wenn jemand von aussen fragt. Ein nachvollziehbares System beantwortet die Frage, woher es etwas weiss, in Sekunden und liefert die Stelle mit. Ein unbelegtes beantwortet sie gar nicht und wiederholt stattdessen seine Behauptung. In regulierten Umgebungen entscheidet dieser Unterschied darüber, ob ein System überhaupt eingesetzt werden darf.