Belegen statt raten – was eine KI-Antwort prüfbar macht

Fragt man ein frei trainiertes Sprachmodell nach der Definition der Solvenzkapitalanforderung, erhält man eine flüssige, fachlich klingende Antwort – so gut wie ausnahmslos. Ob die Datengrundlage die Antwort trägt, entscheidet dabei nicht das Modell: Es erzeugt eine statistisch plausible Fortsetzung eines Textes, nicht eine belegte. Die Forschung beschreibt dieses Verhalten als Halluzination [1]. Im Aktuariat, wo jede Definition und jede Zahl gegenüber Vorstand, Wirtschaftsprüfer und Aufsicht vertreten wird, hat eine solche Antwort keinen Arbeitswert.

Daraus folgt eine Architektur-Entscheidung, keine Prompt-Frage: Ein Wissenssystem für aktuarielle Fragen antwortet nur aus einem kuratierten Wissensbestand, bindet seine Sätze an die belegenden Textstellen – und verweigert die Antwort, wenn die Evidenz nicht reicht. Der folgende Text begründet dieses Prinzip in vier Thesen und rechnet an drei Beispielen vor, wie die Deckungs-Schranke entscheidet und was sie kostet, wenn die Beleglage nachgibt. Er eröffnet eine Serie über die Technik dahinter.

1 · Eine unbelegte Antwort spart keine Arbeit

Der Wert einer Fachantwort bemisst sich nicht an ihrer Plausibilität, sondern am Aufwand, sie zu prüfen. Drei Stufen von Quellenarbeit verfehlen diese Latte – jede auf ihre Art.

Keine Quellenangabe. Die Antwort verlagert die eigentliche Arbeit nur: Wer sie verwenden will, muss die Recherche vollständig selbst führen – er hat keine Antwort, sondern eine Vermutung mit gutem Sprachgefühl.

Ein generiertes Zitat. Auch Quellenangaben selbst sind noch kein Beleg. Für kommerzielle KI-Recherchewerkzeuge der Rechtsbranche – ein Fachgebiet, in dem eine Aussage wie im Aktuariat an einer benennbaren Stelle hängt – haben Magesh et al. in der ersten präregistrierten Evaluation nachgemessen (Abfragen im Frühjahr 2024): Die Systeme halluzinierten in 17 bis 33 % der Fälle – darunter Zitate, die zwar existieren, die behauptete Aussage aber nicht tragen. Eines der Werkzeuge hatte „hallucination-free” Zitate ausdrücklich beworben [2]. Bemerkenswert ist, worauf diese Systeme zugreifen: auf die gepflegten Rechtsbestände ihrer Anbieter – Rechtsprechung, Kodifikationen, Kommentierung. Ein guter Bestand allein verhindert das Problem also nicht. Was die Studie nicht sehen kann, ist die Kontrolle dahinter; über die technische Umsetzung dieser Produkte ist wenig veröffentlicht [2]. Der Mechanismus dagegen ist derselbe wie bei der Halluzination: Ein generiertes Zitat ist eine Behauptung des Modells über eine Quelle – es kann ebenso frei erfunden sein wie die Aussage, die es stützen soll.

Eine Angabe auf Dokumentebene. „Siehe DAV-Ergebnisbericht” ist bei einem Bericht von 80 Seiten kaum besser als keine Angabe; die Prüfung bleibt eine Suchaufgabe. Die Messlatte dafür, was stattdessen gelten muss, formuliert das AIS-Framework: Eine Aussage ist attributierbar, wenn ein benannter Quelltext sie trägt – geprüft gegen die Quelle, nicht gegen den Eindruck [3].

Prüfbar wird eine Antwort erst durch Belege auf Satzebene: Jede inhaltliche Aussage soll eine Fundstelle tragen, die den konkreten Satz der Quelle bezeichnet – einschließlich Dokumentversion und Zeichenposition. Die Fundstelle wird dabei nicht vom Sprachmodell formuliert, sondern aus dem Quelltext geschnitten: Als Ausschnitt einer real vorliegenden Stelle kann sie nicht erfunden sein. Die Prüfung einer einzelnen Aussage reduziert sich damit auf ein Gegenlesen von Satz gegen Satz – Sekunden statt Stunden. Geprüft ist damit die Aussage gegen ihre Stelle; ob die Stelle im Kontext des Dokuments trägt und ob die Antwort als Ganzes nichts Wesentliches auslässt, bleibt fachliches Urteil. Verkürzt wird die Suche, nicht die Verantwortung: Die bleibt beim Aktuar – und er kann sie nur übernehmen, wenn die Prüfung praktikabel ist.

2 · Verweigern ist eine Funktion, kein Versagen

Ein System, das immer antwortet, ist im Fachkontext nicht robust, sondern unkontrolliert. In der hier beschriebenen Architektur durchläuft deshalb jede Antwort zwei Schranken, die fail-closed arbeiten: Unterhalb der Schwelle wird abgelehnt, nie stillschweigend durchgewunken.

Die erste Schranke – vor der Formulierung. Nach der Suche über den Wissensbestand wird jede gefundene Textstelle daraufhin bewertet, wie gut sie die konkrete Frage tatsächlich beantwortet. Liegt schon die beste Stelle unter einer festgelegten Relevanz-Schwelle, ist die Beleglage zu dünn – das System verweigert, bevor das Sprachmodell ein Wort formuliert hat.

Die zweite Schranke – nach der Formulierung. Die fertige Antwort wird in Sätze zerlegt und gemessen, welcher Anteil davon eine Fundstelle trägt – die Beleg-Deckung. Unterschreitet sie die Schwelle, wird die gesamte Antwort verworfen. Nicht, weil sich belegte und unbelegte Sätze nicht unterscheiden ließen – die Fundstellen machen genau das sichtbar. Sondern weil das Streichen der unbelegten Sätze keine geprüfte Antwort erzeugt, sondern eine andere, nie so formulierte: Eine Fachantwort ist ein Argumentgang, kein Satzvorrat; fällt ein tragender Satz, verschiebt sich die Aussage der übrigen. Verwerfen und neu ansetzen ist deshalb sauberer als beschneiden.

Warum das erklärbar bleibt. Beide Entscheidungsregeln sind bewusst einfach: feste Schwellen, klare Vergleiche. Die aktuarielle Fachdiskussion um Erklärbarkeit unterscheidet, ob ein Anwender versteht, „wie das Ergebnis zustande kommt oder zumindest, worauf sich das Ergebnis stützt” – direkt nachvollziehbar ist das interne Verhalten meist nur bei White-Box-Modellen, bei Black-Box-Modellen bleibt in der Regel das indirekte Verständnis [4]. Eine Architektur muss die Frage deshalb nicht für das ganze System beantworten, sondern kann sie an der Stelle entscheiden, an der es zählt: In die erste Schranke fließt eine Modell-Bewertung ein, die Entscheidung selbst ist ein Schwellenvergleich – die Regel ist damit direkt nachvollziehbar in dem Sinn, in dem ein White-Box-Modell es ist. Erklärbar ist die Regel, nicht der Score: Ein Prüfer sieht, welche Schwelle galt, welcher Wert erreicht wurde und dass derselbe Wert dieselbe Entscheidung ergibt – die Bewertung bleibt ein Modell-Urteil, ihre Verwendung eine nachvollziehbare, testbare Regel. Was das nicht bedeutet: dass der Score beliebig reproduzierbar wäre. Er ist es in derselben Umgebung – dieselbe Modellversion, derselbe Rechen-Unterbau; und genau darauf lässt sich der Nachweis prüfen, indem ein zweiter Lauf die Bewertung neu berechnet und gegen den protokollierten Wert stellt. Weicht sie ab, scheitert die Prüfung sichtbar – der protokollierte Nachweis selbst bleibt, was er war, aber er gilt für diesen Lauf nicht mehr als reproduziert.

Was die Deckung leistet – und was nicht. Die Deckungs-Schranke misst bewusst nur, was sich modellfrei messen lässt: ob einem Satz eine geschnittene Fundstelle zugeordnet ist. Dass diese Fundstelle den Satz auch inhaltlich trägt, sichert sie nicht; dafür arbeitet die Konstruktion – der Satz wird aus dem vorgelegten Belegmaterial verdichtet, die Fundstelle stammt wörtlich aus der Quelle. Garantiert ist das damit nicht: Genau der Fehler, den Magesh et al. messen – ein Zitat, das die Aussage nicht stützt –, passiert eine reine Existenzprüfung [2]. Und die Deckung ist ein Anteil, also ungewichtet: Sie unterscheidet nicht, ob der unbelegte Satz ein Bindeglied oder die Kernaussage ist, und ihr Nenner hängt an der Satztrennung – wer anders segmentiert, verschiebt die Deckung, ohne die Beleglage zu ändern. Bei einer Schwelle unter 1 verlässt deshalb auch eine Antwort das System, in der einzelne Sätze keine Fundstelle tragen.

Dass die Schwelle nicht bei 1 liegt, ist dabei kein Zugeständnis, sondern kalibriert: Wer für jeden Satz eine Fundstelle verlangt, verwirft auch gut belegte Antworten – ein formulierendes Modell schreibt Überleitungen und Einschränkungen, die nichts behaupten – und erzieht es dazu, genau diesen Sätzen einen Anker anzuhängen, damit sie die Schranke passieren. Der Preis ist die Unschärfe von oben: Was ohne Fundstelle durchgeht, sollte ein Bindeglied sein; ob es das war, sieht der Prüfer. Das ist der Grund, warum die Fundstellen am Ergebnis sichtbar bleiben und nicht hinter einem grünen Häkchen verschwinden: Der Prüfer sieht, welcher Satz keine trägt, und das ist die Stelle, an der sein Urteil ansetzt. Was an semantischer Prüfung bleibt, ist das Sekunden-Gegenlesen aus These 1 – nur eben nicht abgeschafft, sondern auf die Stellen konzentriert, an denen es zählt.

Eine nachvollziehbare Verweigerung („dafür reicht die Beleglage nicht”) ist in diesem Design kein Fehlerfall. Sie ist dieselbe professionelle Geste, mit der ein Aktuar eine Rechnung auf unzureichender Datengrundlage zurückweist.

3 · Das Sprachmodell bekommt die Aufgabe, bei der es am wenigsten schaden kann

Die Verlässlichkeit eines solchen Systems liegt nicht im Sprachmodell, sondern in der Arbeitsteilung um das Modell herum. Der zugrunde liegende Ansatz ist als Retrieval-Augmented Generation seit Jahren beschrieben [5] – entscheidend ist, wie kompromisslos man ihn umsetzt: Auch die Werkzeuge mit den 17 bis 33 % Halluzinationen aus These 1 setzen bereits auf RAG [2]. Bis eine Antwort formuliert wird, ist die inhaltliche Arbeit bereits getan:

Suchen. Die Suche ist so anzulegen, dass sie eine Vektor-Suche über Embeddings (findet Bedeutungsähnliches auch bei abweichender Wortwahl) mit einer exakten Stichwort-Suche (BM25) verbindet – im Aktuariat unverzichtbar, weil „Solvenzkapitalanforderung”, „SCR” und „Bedeckungsquote” keine austauschbaren Wörter sind.

Neu bewerten. Die zusammengeführten Kandidaten bewertet ein Cross-Encoder neu – ein Modell, das Frage und Textstelle gemeinsam liest, statt beide getrennt in Vektoren zu übersetzen, und deshalb genauer urteilt, wo die Vektor-Suche nur ähnlich klingt. Dort entsteht der Relevanz-Score, an dem die erste Schranke aus These 2 misst: Der Aufwand liegt damit an der Stelle, die über Antwort oder Verweigerung entscheidet. Am Ende dieser Kette stehen die belegenden Sätze fest, mit Versions- und Positionsangabe.

Erst dann: formulieren. Das Sprachmodell erhält die Frage und das ausgewählte Belegmaterial und verdichtet daraus die Antwort; die Verknüpfung von Satz und Fundstelle löst das System auf, indem es jeden Beleg-Verweis gegen die geschnittenen Stellen prüft. Das Modell soll nicht recherchieren und nichts aus dem Trainingsgedächtnis ergänzen – erzwingen lässt sich das nicht, auffangen teilweise: Ein Beleg-Verweis, der auf keine erzeugte Fundstelle zeigt, ist ein Integritätsfehler und führt fail-closed zum Verwurf der gesamten Antwort, unabhängig von der Deckung. Was diese Prüfung nicht fängt, ist der ergänzte Satz, der auf eine existierende, aber sachfremde Stelle verweist – er zählt in die Deckung hinein und bleibt Sache des Gegenlesens.

Die Arbeitsteilung ist damit an einer Stelle nachprüfbar, an der das übliche Chatbot-Muster nichts anzubieten hat: Wechselt das formulierende Sprachmodell, ändert sich, wie oft eine Antwort die Deckungs-Schranke passiert – nicht, woran ein Prüfer sie messen kann. Die Fundstellen entstehen vor dem Modell und überleben es. Umgekehrt heißt das auch: Austauschbar ist das Modell nur in der Rolle, nicht in der Wirkung. Von ihm hängt ab, wie oft eine Antwort die Schranke passiert – es gehört damit zu den Hebeln, die These 4 gegen das Senken der Schwelle abwägt.

4 · Die Schwelle ist eine Risikoentscheidung, keine Stellschraube

Zwei Fehlerarten. Jede Schranke mit Schwelle kann zwei Fehler machen: Sie liefert eine Antwort aus, deren Beleglage zu dünn ist – der teure Fehler, denn er untergräbt genau das Vertrauen, für das die Architektur gebaut ist. Oder sie verweigert eine Antwort, die belegbar gewesen wäre – der ärgerliche Fehler, denn er kostet Nutzen im Alltag. Fail-closed heißt: Im Zweifel wird der ärgerliche Fehler in Kauf genommen, um den teuren selten zu machen. Damit sind die beiden Schwellen – die Relevanz-Schwelle der ersten und die Deckungs-Schwelle $\tau$ der zweiten Schranke – keine technischen Feinheiten, sondern die Stellen, an denen das System seine Risikopräferenz festlegt. Sie gehören je Wissensbestand kalibriert und dokumentiert – und zwar zusammen mit der Regel, nach der eine Antwort in Sätze zerlegt wird, denn die verschiebt die Deckung mit.

Die Latte dafür ist nicht neu. ISAP 1, der Modellstandard der internationalen Aktuarvereinigung, nennt eine Dokumentation ausreichend, wenn sie genug Detail enthält, dass ein anderer, im selben Praxisfeld qualifizierter Aktuar die Arbeit versteht und die getroffenen Urteile beurteilen kann [6] – eine gesetzte Schwelle ist genau so ein Urteil. Ein Ergebnisbericht der DAV-Ausschüsse Rechnungslegung und Regulierung sowie Actuarial Data Science leitet für KI-Anwendungen aus Art. 46 Abs. 1 der Solvency-II-Richtlinie ab, welche internen Kontrollen ein Governance-Rahmen braucht – darunter solche, die „die Nachvollziehbarkeit und die Erklärbarkeit der Ergebnisse” betreffen [4]. Keiner der beiden Texte bindet unmittelbar; als Maßstab genügen sie: Eine Schwelle, deren Begründung niemand nachlesen kann, ist gegen keinen von ihnen prüfbar.

Der Hebel. Was eine gesetzte Schwelle bei nachgebender Beleglage anrichtet, lässt sich unter einer vereinfachenden Annahme vorrechnen: Bekommt jeder Satz einer Antwort unabhängig mit Wahrscheinlichkeit $p$ eine geschnittene Fundstelle zugeordnet – $p$ misst damit genau das, was die Schranke zählt: Es steigt mit der Güte des Retrievals, ist aber nicht mit ihr identisch, denn ein vorhandener, aber sachfremder Verweis zählt mit –, dann ist die Zahl belegter Sätze binomialverteilt, und die Lieferwahrscheinlichkeit hängt nichtlinear an $p$. Der Hebel gilt dabei nicht über den ganzen Bereich, sondern sitzt in einem Fenster: Bei $n = 10$ und $\tau = 0{,}80$ kostet ein verlorener Punkt Verweis-Präsenz mehr als zwei Punkte Lieferwahrscheinlichkeit, solange $p$ zwischen 0,635 und 0,886 liegt; am Wendepunkt $p = 7/9$ sind es gut drei. Darunter wird die Kurve wieder flach – bei $p = 0{,}50$ kostet derselbe Punkt nur 0,7 Punkte, dann liefert das System aber ohnehin kaum noch.

Nur gilt die Unabhängigkeit nicht. Die Belege eines Laufs stammen aus einem Retrieval-Ergebnis zu einer Frage: Deckt der Bestand diese Frage schlecht ab, fehlt er nicht einem Satz, sondern allen. Die Verteilung wird dadurch breiter als die binomiale, und der Hebel flacher – schon mäßige Abhängigkeit zehrt den Faktor zwei auf, und die steilste Stelle wandert nach oben in den Bereich hoher Güte. Erhalten bleibt die Richtung, nicht die Größenordnung: Selbst im Grenzfall vollständiger Abhängigkeit, in dem die Schranke nur noch Alles-oder-nichts entscheidet, kostet ein Punkt Verweis-Präsenz noch einen Punkt Lieferwahrscheinlichkeit. Für die Kalibrierung heißt das: Der Hebel gehört am eigenen Bestand gemessen, nicht aus dem Binomialmodell übernommen.

Die Konsequenz. Wer die Lieferwahrscheinlichkeit heben will, ohne die Schwelle zu senken, hat vor allem zwei Hebel – einen besser kuratierten Wissensbestand und eine bessere Neu-Bewertung der Kandidaten; daneben wirken der Zuschnitt der Belegstücke und, wie These 3 zeigt, die Wahl und Disziplin des formulierenden Modells. „Besser kuratiert” ist dabei keine Haltung, sondern Arbeit an messbaren Eigenschaften: Deckt der Bestand die gestellten Fragen überhaupt ab, sind die Belegstücke so geschnitten, dass ein einzelnes eine Aussage trägt, und ist die geltende Fassung eindeutig? Die Schwelle selbst zu senken hieße, den teuren Fehler wieder einzukaufen und die Qualitätslücke des Bestands in die Antworten durchzureichen.

Was diese Serie behandelt

Belegen statt raten ist keine einzelne Funktion, sondern ein Bauprinzip, das sich durch eine gesamte Architektur zieht. Die folgenden Essays dieser Serie nehmen sich je einen Baustein vor: welche Anforderungen eine Fundstelle auf Satzebene erfüllen muss, damit sie auch nach einer Änderung ihrer Quelle noch trägt; wie ein Lauf zu protokollieren ist, damit nachträgliche Änderungen erkennbar bleiben – und was Wiederholbarkeit neben einem probabilistischen Baustein überhaupt heißen kann; wie sich der Wissensstand zu einem Stichtag rekonstruieren lässt („Was wusste das System am 1. Januar?”); und welche Anforderungen Vertraulichkeitsstufen und Mandanten-Trennung an eine solche Architektur stellen.

Grundlage der Serie ist das Wissenssystem, das wir für die eigene aktuarielle Arbeit entwickeln – ein Prototyp in aktiver Entwicklung, betrieben auf europäischer Infrastruktur und ohne Aufrufe an US-Dienste; einen Überblick gibt die Seite Aktuarielles Wissenssystem.