Zum Inhalt springen
Made in Austria

Ratgeber · Wissen validieren

Warum sollten Konfiguration und Bewertung einer KI getrennt sein?

Wer eine KI-Lösung einrichtet, kennt ihre Stärken und richtet Prüfungen unbewusst danach aus. Deshalb sollten andere Personen die Ergebnisse bewerten als jene, die Quellen, Anweisungen und Abläufe konfiguriert haben. Die Trennung verhindert, dass ein System an den Fragen gemessen wird, auf die es zugeschnitten wurde.

Das Problem der Selbstprüfung

Wer eine Lösung baut, testet sie laufend und passt sie an die Fälle an, die gerade nicht klappen. Am Ende funktioniert sie für genau diese Fälle sehr gut. Bewertet dieselbe Person anschließend, wählt sie bewusst oder unbewusst ähnliche Fragen und liest die Antworten mit dem Wissen, was gemeint war. Das Ergebnis fällt freundlicher aus als die Wirklichkeit.

Was getrennt werden sollte

Zu trennen sind drei Dinge: das Festlegen der Fragen und Referenzantworten, das Einrichten der Lösung und das Bewerten der Ergebnisse. Die Fragen sollten feststehen, bevor konfiguriert wird, und wer konfiguriert, sollte die Referenzantworten nicht vorab kennen. Bewertet wird von Fachleuten, die an der Einrichtung nicht beteiligt waren.

Umsetzung in kleinen Teams

In einem kleinen Betrieb gibt es nicht für jede Rolle eigene Leute. Eine pragmatische Lösung ist, dass ein externer Partner konfiguriert und das eigene Team bewertet, oder dass zwei Personen die Rollen tauschen. Wichtig ist weniger die perfekte Trennung als die bewusste Entscheidung, wer welche Rolle hat, und dass diese Zuordnung festgehalten wird.

Woran man eine verwischte Trennung erkennt

Warnzeichen sind Prüfkataloge, die erst nach den ersten Versuchen ergänzt wurden, Referenzantworten, die nachträglich an die Ausgaben angepasst wurden, oder Bewertungen ohne Begründung. Auch wenn der Anbieter einer Lösung die Prüfergebnisse selbst liefert, sollte man nachfragen, wer die Fragen ausgewählt und wer bewertet hat.

So halten wir es bei KheepU

Wir richten Abläufe ein; ob sie gut genug sind, beurteilen Sie. Die Fragen für die Abnahme stammen aus Ihrem Alltag und werden gemeinsam erhoben, die Bewertung liegt bei Ihren Fachleuten. Damit bleibt die Entscheidung über den Betrieb einer Fähigkeit dort, wo auch die Verantwortung dafür liegt.

Erstgespräch

Sehen wir uns Ihren größten Zeitfresser an.

Ein Gespräch, keine Präsentation. Wir schauen uns an, worüber in Ihrem Betrieb kommuniziert wird, wo Vorgänge auseinanderfallen und was sich mit welchem Aufwand automatisieren lässt. Unverbindlich.

Erstgespräch vereinbaren

Häufig gestellte Fragen

Kontakt
Ist das nicht übertrieben für einen kleinen Betrieb?

Die Trennung muss nicht aufwendig sein. Schon die Regel, dass Fragen vor dem Einrichten feststehen und eine zweite Person bewertet, verbessert die Aussagekraft deutlich.

Darf die Person, die konfiguriert, beim Sammeln der Fragen helfen?

Beim Strukturieren ja. Über die Referenzantworten und die Auswahl der Fragen sollte sie nicht allein entscheiden.