Situational Judgment Tests richtig konzipieren

Dieser Beitrag berichtet die Ergebnisse einer interessanten Studie über “Situational Judgment Test” von Stefan Krumm und Kollegen. Funktionieren diese so, wie allgemein angenommen?

Situational Judgment Tests (SJTs) sind so konstruiert, dass den Probanden zunächst eine kritische Situation (Text oder Video) geschildert wird. Diese müssen im Anschluss eine fiktive Entscheidung treffen, wie sie selbst in dieser Situation reagieren würden.

Die Reaktionsmöglichkeiten werden meist in Form von Multiple-Choice Antwortoptionen vorgegeben. Der Test wertet also aus, ob die getesteten Personen für eine bestimmte kritische berufliche Situation das möglichst optimale Verhalten kennen.

D.h. diese Messinstrumente haben den Anspruch, situationsspezifisches Wissen abzufragen (z.B. Verhalten gegenüber einem Vorgesetzten in einer konkret dargestellten Situation; siehe Beispiel). Dies bedeutet natürlich auch, dass das “optimale” Verhalten spezifisch für die geschilderte Situation gelten sollte und nicht unabhängig von dieser ganz prinzipiell erste Wahl sein darf.

Ihr Vorgesetzter kritisiert ihre Leistung. Sie meinen jedoch, dass diese Kritik nicht gerechtfertigt ist. Wie sollten Sie sich in dieser Situation am besten verhalten?

• Ich beschwere mich bei einem Kollegen über den Vorgesetzten.
• Ich benachrichtige den Betriebsrat.
• Ich nehme die Kritik hin und versuche meine Leistung zu verbessern.
• Ich benachrichtige den nächst höheren Vorgesetzten.
• Ich versuche, mit meinem Vorgesetzten in einer sachlichen Diskussion meine Fehler zu klären.

Eine aktuell im Journal of Applied Psychology erschienen Studie von Krumm, Lievens, Hüffmeier, Lipnevich, Bendels und Hertel (2014) stellt diese Annahme grundlegend in Frage. In mehreren Studien konnten diese Forscher zeigen, dass Testpersonen häufig auch dann SJTs gut beantworten konnten, wenn ihnen die dazu eigentlich notwendigen Situationsbeschreibungen gar nicht gezeigt wurden, sondern sie nur aus Multiple-Choice Antwortoptionen eine effektive Verhaltensweise wählen sollten (ohne z.B. die im Beispiel oben dazugehörige Situation mit all ihren Spezifika zu kennen). Man kann sich beispielsweise durchaus vorstellen, dass die letzte Antwortalternative prinzipiell keine schlechte Verhaltensweise ist und damit eher eine allgemeine, denn eine situationsabhängige Verhaltenskompetenz darstellt..

Dieses erstaunliche Ergebnis legt den Schluss nahe, dass Situational Judgment Tests nicht fraglos als „situationale“ oder simulations-orientierte Messinstrumente gelten können, sondern vielmehr allgemeines Wissen über die in vielen Situationen effektiven Verhaltensweisen ebenfalls beim Beantworten eines SJTs hilft. Sollte sich dieses Ergebnis verallgemeinern lassen, hieße dies, dass eine aufwendige Ermittlung von Situationsbeschreibungen (z.B. anhand von Critical Incidents) bei der Konstruktion von SJTs überflüssig ist. Auf Basis empirischer Ergebnisse geben die Autoren der Studie konkrete Hinweise, wie SJTs konstruiert werden sollten, um tatsächlich situational zu sein. Nachzulesen sind diese im Originalartikel:

Literatur: Krumm, S, Lievens, F., Hüffmerier, J., Lipnevich, A.a., Bendels, H., Hertel, G. (2014). How “Situational” Is Judgment in Situational Judgment Tests? Journal of Applied Psychology.

Foto: Gwenael Piaser (CC BY-NC-SA 2.0)