Warum der unauffällige Fehler das Kernrisiko ist
Eine völlig unsinnige Antwort fällt sofort auf und richtet selten Schaden an. Eine Antwort, die fast stimmt, wird freigegeben. Sprachmodelle sind gerade darin gut, Antworten zu erzeugen, die zum Kontext passen. Ihre Fehler sehen deshalb oft so aus wie richtige Antworten. Das unterscheidet sie von vielen klassischen Softwarefehlern, die sich durch Abstürze oder offensichtlich falsche Werte zeigen.
Typische Formen
Ein typischer Fall ist die Frist, die für einen ähnlichen, aber anderen Vorgang gilt. Oder der Betrag aus der vorigen Preisliste. Oder eine Zusammenfassung, die eine Bedingung weglässt, ohne dass der Text dadurch holpert. Auch richtige Aussagen mit falschem Bezug gehören dazu, etwa eine korrekte Regel, die auf den falschen Kunden angewendet wird.
Warum Lesen allein nicht genügt
Wer eine plausible Antwort liest, sucht unbewusst nach Bestätigung. Ohne die Quelle vor Augen fehlt der Vergleichsmaßstab. Deshalb ist der entscheidende Prüfschritt nicht „klingt das richtig?“, sondern „steht das so in der genannten Unterlage, und passt die Unterlage zu diesem Fall?“. Gerade bei Zahlen, Namen und Bedingungen lohnt sich dieser Abgleich.
Abläufe, die den plausiblen Fehler abfangen
Wirksam sind Quellenbindung mit präziser Fundstelle, die Regel „keine Quelle, keine Antwort“, markierte Unsicherheiten, gezielte Prüflisten für kritische Angaben und eine Freigabe durch Fachleute vor jedem Versand. Bei KheepU sind diese Elemente fester Bestandteil jedes Ablaufs, und eine erfundene Antwort im Goldset führt dazu, dass die Abnahme nicht bestanden ist.
Was trotzdem durchrutschen kann
Ist die Quelle selbst falsch oder veraltet, ist auch die quellentreue Antwort falsch. Und bei sehr ähnlichen Vorgängen kann das System die richtige Quelle für den falschen Fall heranziehen. Deshalb gehören zur Absicherung auch gepflegte Unterlagen und eine Prüfung, ob die gewählte Quelle überhaupt zum Anliegen passt.