Warum Wechsel unvermeidlich sind
Sprachmodelle werden laufend weiterentwickelt, ältere Versionen eingestellt, Preise und Bedingungen ändern sich. Wer eine KI-Lösung länger betreibt, wird deshalb früher oder später wechseln, ob gewollt oder nicht. Die Frage ist nicht, ob, sondern wie man den Wechsel beherrscht.
Dieselbe Messlatte vor und nach dem Wechsel
Grundlage ist eine Sammlung realer Fragen mit Referenzantworten, an der der bisherige Ablauf abgenommen wurde. Das neue Modell durchläuft genau diese Fragen mit denselben Quellen und denselben Anweisungen. Bewertet wird nach denselben Kriterien und möglichst von denselben Fachleuten. Nur so lassen sich die Ergebnisse vergleichen.
Auf Verschiebungen achten, nicht nur auf den Durchschnitt
Ein neues Modell kann insgesamt ähnlich gut abschneiden und trotzdem bei bestimmten Fragen schlechter sein, etwa bei Ausnahmen oder beim ehrlichen Ablehnen unbeantwortbarer Fragen. Diese Verschiebungen sind wichtiger als der Gesamteindruck. Auch Ton, Länge und Formatierung können sich ändern und Nacharbeit verursachen.
Parallelbetrieb und Rückweg
Bewährt hat sich, das neue Modell eine Zeit lang im Hintergrund mitlaufen zu lassen, ohne dass seine Ergebnisse verwendet werden. Die Entwürfe beider Modelle lassen sich so an echten Vorgängen vergleichen. Zusätzlich sollte vorab feststehen, wie man zurückwechselt, falls nach der Umstellung Probleme auftauchen.
Grenzen der Planbarkeit
Nicht jeder Wechsel lässt sich in Ruhe vorbereiten, etwa wenn ein Modell kurzfristig abgekündigt wird. Umso wichtiger ist, dass Goldset und Bewertungskriterien schon vorher existieren und gepflegt sind. Bei KheepU wird jeder Modellwechsel an Ihrem Goldset geprüft, bevor er für einen abgenommenen Ablauf wirksam wird; welche Modelle wir einsetzen, beschreiben wir auf unserer Sicherheitsseite.