Zum Inhalt springen
Made in Austria

Ratgeber · Wissen validieren

Wie sammelt man gute Referenzfragen für eine KI-Prüfung?

Gute Referenzfragen stammen aus dem echten Alltag: aus dem Posteingang, aus Telefonnotizen, aus Rückfragen unter Kolleginnen und Kollegen. Sie werden im Originalwortlaut übernommen, um eine abgestimmte Antwort und die Fundstelle ergänzt und bewusst um schwierige und unbeantwortbare Fälle erweitert. Gesammelt wird von den Menschen, die diese Fragen heute beantworten.

Wo die Fragen herkommen

Die ergiebigsten Quellen sind die Stellen, an denen heute Fragen ankommen: das allgemeine Postfach, Ticketsysteme, Gesprächsnotizen, interne Chats. Auch wiederkehrende Rückfragen neuer Mitarbeitender sind wertvoll, weil sie zeigen, was nicht selbsterklärend dokumentiert ist. Personenbezogene Angaben werden vor der Verwendung herausgenommen oder ersetzt.

Originalwortlaut bewahren

Es ist verlockend, Fragen beim Sammeln sauber umzuformulieren. Damit verliert man genau das, was die Prüfung realistisch macht: Abkürzungen, Umgangssprache, fehlender Kontext, zwei Anliegen in einer Nachricht. Eine Frage wie „geht das mit dem Termin noch, wie besprochen?“ ist schwer, aber typisch. Solche Fälle gehören hinein.

Auf eine gute Mischung achten

Ein brauchbarer Katalog enthält häufige Routinefragen, einige knifflige Fälle mit Ausnahmen, Fragen, die mehrere Quellen erfordern, und Fragen, auf die es in den Unterlagen bewusst keine Antwort gibt. Die letzte Gruppe prüft, ob das System Lücken zugibt. Fehlt sie, bleibt ungeprüft, wie es sich verhält, wenn es eigentlich nichts weiß.

Antwort und Fundstelle dazuschreiben

Zu jeder Frage gehört die Antwort, die eine erfahrene Fachkraft geben würde, und die Stelle in den Unterlagen, auf die sie sich stützt. Bei unbeantwortbaren Fragen wird festgehalten, dass die richtige Reaktion ein Hinweis auf die Lücke ist. Uneinigkeit im Team über die richtige Antwort ist ein wertvoller Fund und sollte geklärt werden, bevor gemessen wird.

Häufige Fehler beim Sammeln

Typisch sind zu wenige schwierige Fälle, Fragen, die nur eine Person beigesteuert hat, und Referenzantworten ohne Fundstelle. Ebenso problematisch ist es, Fragen gezielt so auszuwählen, dass ein bestimmtes System gut abschneidet. Deshalb sollte die Sammlung abgeschlossen sein, bevor jemand Ergebnisse sieht. Bei KheepU entsteht dieser Katalog gemeinsam mit Ihrem Team als Grundlage für die Abnahme.

Erstgespräch

Sehen wir uns Ihren größten Zeitfresser an.

Ein Gespräch, keine Präsentation. Wir schauen uns an, worüber in Ihrem Betrieb kommuniziert wird, wo Vorgänge auseinanderfallen und was sich mit welchem Aufwand automatisieren lässt. Unverbindlich.

Erstgespräch vereinbaren

Häufig gestellte Fragen

Kontakt
Dürfen Fragen mit Kundendaten verwendet werden?

Für die Prüfung braucht es meist keine echten Namen oder Kontaktdaten. Ersetzen Sie diese durch neutrale Platzhalter; wie Sie mit solchen Daten umgehen müssen, klären Sie mit Ihrer Datenschutzverantwortung.

Wer entscheidet, welche Antwort als richtig gilt?

Die fachlich zuständige Person. Gibt es im Team unterschiedliche Auffassungen, ist das ein Hinweis auf eine unklare Regel, die zuerst geklärt werden sollte.