Wie man die Ergebnisse eignungsdiagnostischer Testverfahren richtig interpretiert

Nicht wenige Menschen werden sich im Rahmen einer Stellenbewerbung früher oder später einem „psychometrischen“ Testverfahren stellen müssen. Die Liste potenzieller Eignungstests ist lang. Oft handelt es sich um Leistungstests (z.B. Intelligenz, Gedächtnis, Konzentration), aber auch Persönlichkeitstests (z.B. Motivation, Extra- versus Introversion) kommen in einigen Unternehmen regelmäßig zum Einsatz. Diese psychologischen Testverfahren messen die Eigenschaften oder Fähigkeiten, die sie eigentlich erfassen sollen, niemals ganz genau. Bei der Interpretation der Ergebnisse einer Person muss daher immer die Messungenauigkeit des verwendeten Tests mit berücksichtigt werden.

Ich arbeite seit vielen Jahren im Bereich der Eignungsdiagnostik, aber eine kompetent-seriöse Interpretation der Ergebnisse erlebe ich leider selten. Warum ist das so? Mangelnde Kompetenz der Testanwender? Ignoranz? Bequemlichkeit? Angst, widersprüchliche Aussagen treffen zu müssen? Ich weiss es nicht. Natürlich setzt die Testdurchführung und -auswertung Know-how voraus, welches i.d.R. im Rahmen eines Psychologiestudiums erworben wird. Zur Auffrischung würde ich jedem Interessierten Markus Bühners Buch, insbesondere Kapitel 2 zu den testtheoretischen Grundlagen ans Herz legen. Ergänzend bietet Christian Stein das dazu passende Programm zur psychometrischen Einzelfalldiagnostik zu einem fairen Preis an (Website ist down, ich stelle auf Anfrage den Kontakt her.). Ich möchte in diesem Beitrag exemplarisch zeigen, wie eine typische Fragestellung der Eignungsdiagnostik statistisch abgesichert werden kann: Ist Kandidat A oder Kandidat B besser geeignet?

Beispiel: Kandidat A hat im Intelligenztest einen Gesamtwert von 102 erreicht. Kandidat B war besser, sein Testwert liegt bei 112. Nehmen wir an, der eingesetzte Intelligenztest hat in der Normierungsgruppe einen Mittelwert von 100 und eine Standardabweichung von 10. Als Reliabilität nehmen wir r=.80 an, wobei wir für unser Beispiel ein Konsistenzmaß einer Retest-Reliabilität vorziehen würden. Wir finden diese (hoffentlich) im Testmanual angegeben. Weitere Daten benötigen wir nicht, um statistisch absichern zu können, ob Kandidat B tatsächlich intelligenter als Kandidat A ist.

Wir füllen die Eingabemasken wie folgt:

1. Screenshot 1: „Kritische Differenzen für den Unterschied zwischen zwei Testwerten zweier Personen im gleichen Test“
2. Screenshot 2: „Zweiseitige Testung“ & Sicherheitswahrscheinlichkeit „80%“
3. Screenshot 3: „Standardwert (SW)“
4. Screenshot 4: beobachteter Wert 1 = 102; beobachteter Wert 2 = 112; Reliabilität = 0.80

Das Programm gibt anschließend folgendes Ergebnis aus:

• Kritische Differenz: 8,11
• beobachtete Differenz: 10,00

Wir können also mit 80%iger Sicherheit davon ausgehen, dass Kandidat B tatsächlich intelligenter ist, als Kandidat A und die in der Testung beobachtete Differenz von 10 (112-102) nicht ausschließlich auf Messungenauigkeiten zurück zu führen ist. Hätte Kandidat B „nur“ einen Wert von 110 erreicht, würden wir unsere Aussage so nicht aufrecht erhalten können und akzeptieren, dass trotz unterschiedlicher Testergebnisse, wir nicht ausschließen können, dass beide Probanden den selben „wahren“ Intelligenzwert aufweisen.

Tatsächlich ist die in meinem Beispiel mit 80% gewählte Sicherheitswahrscheinlichkeit sogar noch diskussionswürdig. Wenn wir wirklich sicherer sein wollten, würden wir diese vielleicht sogar auf 95% festsetzen, was die kritische Differenz auf 12,40 erhöhen würde. Also würde für Kandidat B erst ein Wert von über 114,4 die Aussage zulassen, dass dieser tatsächlich „intelligenter“ sei.

Die Software kann übrigens auch bei anderen Fragestellungen helfen. Zum Beispiel bei der Frage, ob die mathematischen Fähigkeiten tatsächlich besser sind als die sprachlichen oder ob sich eine bestimmte Fähigkeit (zum Beispiel nach einem Training) tatsächlich verbessert hat. Ein Highlight der Software ist die Hilfe-Funktion, in der viel Hintergrundwissen vermittelt wird.