Warum Vorführungen nicht vergleichbar sind
Jeder Anbieter zeigt in der Präsentation die Fälle, die bei ihm gut funktionieren. Die Fragen sind unterschiedlich, die Unterlagen auch, und der Eindruck hängt stark davon ab, wie überzeugend vorgetragen wird. Aus drei solchen Vorführungen lässt sich kaum ableiten, welche Lösung mit den eigenen Anfragen am besten zurechtkommt.
Ein gemeinsames Goldset als Grundlage
Der faire Weg ist ein eigener Katalog realer Fragen mit Referenzantworten und Fundstellen, den alle Kandidaten durchlaufen. Jede Lösung bekommt Zugriff auf dieselben Unterlagen, keine Lösung kennt die Referenzantworten vorab. Fragen ohne Antwort in den Unterlagen gehören dazu, um zu sehen, wer Lücken zugibt und wer rät.
Blind bewerten
Wer weiß, von welcher Lösung eine Antwort stammt, bewertet sie unwillkürlich im Licht des eigenen Eindrucks. Deshalb hilft es, die Antworten ohne Herkunftsangabe vorzulegen und erst nach der Bewertung aufzudecken. Das ist ohne großen Aufwand möglich, etwa durch eine Tabelle mit gemischter Reihenfolge.
Mehr als die Antwortqualität
Neben der Richtigkeit zählen weitere Punkte: Zeigt die Lösung ihre Quellen? Lassen sich Freigabestufen je Fähigkeit festlegen? Bleiben die eigenen Systeme führend, oder müssen Daten umgezogen werden? Wie werden Änderungen dokumentiert? Diese Kriterien sollten ebenfalls vorab festgelegt und gewichtet werden, damit nicht nachträglich umgedeutet wird.
Grenzen des Vergleichs
Ein Vergleich zeigt einen Zustand zu einem Zeitpunkt. Lösungen entwickeln sich weiter, und eine kurze Prüfung deckt nicht alle Situationen des Alltags ab. Er ist trotzdem viel aussagekräftiger als Produktblätter. Wer KheepU mit anderen Angeboten vergleichen möchte, kann dafür gern dasselbe Goldset verwenden.