Zum Inhalt springen
Made in Austria

Begriff · Wissen validieren

Goldset

Ein Goldset ist eine Sammlung realer Fragen aus dem Betrieb, jede mit einer abgestimmten Referenzantwort und der Fundstelle, auf die sich diese Antwort stützt. An ihm wird geprüft, ob eine KI-Lösung richtig antwortet, bevor sie in den Alltag geht. Die Messlatte legt der Betrieb fest, nicht der Anbieter.

Woraus ein Goldset besteht

Jeder Eintrag hat drei Teile: die Frage so, wie sie tatsächlich gestellt wurde, die Antwort, die eine erfahrene Fachkraft geben würde, und die Stelle in den eigenen Unterlagen, aus der diese Antwort hervorgeht. Ohne Fundstelle ist ein Eintrag nur eine Meinung. Mit ihr lässt sich später nachvollziehen, ob ein System die richtige Quelle gefunden oder bloß zufällig eine passende Formulierung erzeugt hat.

Gemeinsam erhoben, nicht am Schreibtisch erfunden

Die Fragen stammen aus dem Posteingang, aus Telefonnotizen, aus Rückfragen im Team. Ausgedachte Testfragen sind meist zu sauber formuliert und treffen die Schwierigkeiten des Alltags nicht: Tippfehler, halbe Sätze, Fragen, die zwei Themen mischen. Deshalb sammeln die Menschen, die diese Fragen heute beantworten, die Einträge mit. Wer von außen begleitet, strukturiert und fragt nach, entscheidet aber nicht über den Inhalt der Referenzantwort.

Der Betrieb legt die Messlatte fest

Wann eine Lösung gut genug ist, hängt vom Einsatz ab. Für eine interne Suche reicht vielleicht, dass die richtige Unterlage oben steht. Für einen Antwortentwurf an Kunden muss auch der Wortlaut stimmen. Diese Schwelle beschreibt der Betrieb vor der Prüfung in eigenen Worten. Wird sie erst nach dem Ergebnis festgelegt, passt man die Latte unbewusst an das an, was das System gerade kann.

Erfundene Antworten schließen aus

Eine falsche Antwort mit nachprüfbarer Quelle ist ärgerlich, aber auffindbar. Eine Antwort, die eine Fundstelle oder einen Sachverhalt erfindet, ist gefährlicher, weil sie überzeugend wirkt. Deshalb gilt bei einem Goldset sinnvollerweise eine harte Regel: Tritt eine erfundene Antwort auf, ist die Abnahme nicht bestanden, egal wie gut der Rest aussieht. Der Ablauf wird überarbeitet und erneut geprüft.

Grenzen und Pflege

Ein Goldset deckt nur ab, was darin steht. Seltene Sonderfälle fehlen oft, und Unterlagen ändern sich. Es braucht daher eine zuständige Person, die neue Fragen ergänzt und Referenzantworten nachzieht, wenn sich eine Vorgabe ändert. Bei KheepU wird jeder Ablauf an einem solchen Goldset abgenommen, bevor er in Betrieb geht; erstellt wird es mit Ihrem Team, bewertet von Ihnen.

Erstgespräch

Sehen wir uns Ihren größten Zeitfresser an.

Ein Gespräch, keine Präsentation. Wir schauen uns an, worüber in Ihrem Betrieb kommuniziert wird, wo Vorgänge auseinanderfallen und was sich mit welchem Aufwand automatisieren lässt. Unverbindlich.

Erstgespräch vereinbaren

Häufig gestellte Fragen

Kontakt
Ist ein Goldset dasselbe wie ein Testdatensatz?

Im Prinzip ja, mit einem Unterschied in der Herkunft: Ein Goldset besteht aus echten Fragen des eigenen Betriebs und aus Antworten, die die eigenen Fachleute als richtig bestätigt haben. Allgemeine Testdaten sagen wenig darüber, wie ein System mit Ihren Unterlagen zurechtkommt.

Wer darf eine Referenzantwort ändern?

Am besten nur die Person, die für den jeweiligen Ablauf fachlich zuständig ist. Jede Änderung sollte mit Datum und Grund festgehalten werden, damit spätere Prüfungen vergleichbar bleiben.

Was passiert, wenn das System eine Frage nicht beantworten kann?

Das ist kein Fehler, sondern oft das richtige Verhalten. Ein ehrliches „dazu liegt keine Quelle vor“ ist besser als eine erfundene Antwort und wird im Goldset auch so bewertet.