Wie steht es um die Reliabilität von 360° Feedback-Instrumenten?
Gibt es bei einer 360°-Befragung über die unterschiedlichen Feedbackgeber hinweg ein geteiltes Verständnis? Wenn Mitarbeiter und Vorgesetzte beispielsweise die “Ergebnisorientierung” einer zu bewertenden Person einschätzen, meinen Sie dann das selbe? Dies ist eine wichtige Frage, denn aus diagnostischer Sicht wäre es sonst völlig unzulässig die Ergebnisse miteinander zu vergleichen. Methodischer ausgedrückt, sollten die Ergebnisse aus unterschiedlichen Bewertergruppen (Vorgesetzte, Mitarbeiter, Kollegen usw.) sich auf eine identische Anzahl von Faktoren reduzieren lassen und die einzelnen Fragebogenitems sollten ein vergleichbares Ladungsmuster ergeben. Grundsätzlich sprechen einige Studien dafür, dass dem so ist.
Mount, Kudge, Scullen, Sytsma und Hezlett (1998, aus Smither, London & Reilly (2005)) finden keine systematischen Effekte, die auf die Feedbackgebergruppe zurückzuführen wären. Einzige Ausnahme könnten die Vorgesetztenbewertungen sein, die laut der Autoren aufgrund von Erfahrung und Training ein gemeinsameres Verständnis der zu bewertenden Verhaltensweisen ausgebildet haben. Scullen, Mount und Judge (2003, auch nach Smither, London & Reilly (2005)) ergänzen dann fünf Jahre später, Bewerter in der Mitarbeiterperspektive insgesamt weniger trennscharfe Bewertungen auf den einzelnen Fragebogendimensionen abgeben und spekulieren, dass diese Unschärfe auf geringere Erfahrung zurückzuführen sei. In Summe fassen Smither, London & Reilly (2005) zusammen, dass Bewerter aus unterschiedlichen Gruppen/Rollen/Perspektiven ein gemeinsames Konzept von den unterschiedlichen Dimensionen in 360° Feedbacks teilen. Im Großen und Ganzen scheint es also so, dass Menschen aus unterschiedlichsten Perspektiven durchaus in der Lage sind, eine Bewertung der Fokusperson vorzunehmen.
Smither, London & Reilly (2005) kommen auch zu dem Ergebnis, dass bei einer Retest-Messung im 360° Feedback nur geringe Leistungsverbesserungen beobachtbar sind. Ferner finden Sie Verbesserungen sowieso nur für bestimmte Gruppen und unter bestimmten Voraussetzungen:
- Feedbackempfänger hat eine positive Einstellung zu Feedback
- Feedbackempfänger erkennt bei sich selbst die Notwendigkeit einer Verhaltensänderung
- Feedbackempfänger nimmt das Feedback positiv auf
- Feedbackempfänger hat den Glauben, dass Veränderung möglich ist
- Feedbackempfänger setzt sich geeignete Ziele
- Feedbackempfänger startet tatsächlich Aktivitäten
Kluger und DeNisi (1996) beziffern die Leistungsverbesserung mit einem Effekt der Größe d =.41. Auch sie betonen, dass es bei einem Drittel der Fälle im Rahmen einer Retest-Messung zu einer Leistungsverschlechterung kam.
Insgesamt können wir also davon ausgehen, dass 360° Feedbacks zu relativ stabilen Ergebnissen führen, wenn diese über mehrere Jahre hinweg durchgeführt werden. Diese Erkenntnis können wir anhand regelmäßiger eigener bislang unveröffentlichten Auswertungen im Rahmen der eigenen Beratungspraxis bestätigen. Diese hohe Retest-Reliabilität könnte auf das Fehlen der oben aufgezählten Voraussetzungen rückführbar sein. Alternativ könnten auch die verwendeten Fragebögen einen Beitrag leisten, wenn sie eher stabile Personenmerkmale messen, anstatt sensitiv auf Veränderungen zu reagieren.
Bild von Markus Spiske auf Unsplash
Literatur:
Smither, J. W., London, M., & Reilly, R. R. (2005). Does performance improve following multisource feedback? A theoretical model, meta-analysis, and review of empirical findings. Personnel psychology, 58(1), 33–66.
Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological bulletin, 119(2), 254.