IMHO, vergesst die Handlungsrelevanzmatrizen

Die Handlungsrelevanzmatrix in Kundenzufriedenheitsbefragungen

Vor einiger Zeit war ich in einem Projekt erneut mit Kundenzufriedenheitsbefragungen konfrontiert. Die "Kuzu" und ich, ... ja, man kann sagen, dass wir alte Freunde sind. Meine erste ehrliche Anstellung vor zehn Jahren war als Projektmanager in einem Marktforschungsinstitut, wo ich quasi nichts anderes gemacht habe, als den Kunden die vielen Variationen von "wie zufrieden sind Sie mit ... gemessen auf einer Skala von ..." entlocken zu lassen.

Kuzu-Befragungen erfreuen sich natürlich nach wie vor höchster Beliebtheit, obwohl ich ihren Nutzen in ihrer gewöhnlich ausgeführten Form als mittlerweile sehr beschränkt erachte. Ein Chef in einer späteren Anstellung propagierte völlig richtig, dass man stattdessen Unzufriedenheitsbefragungen machen müsse. Mal ehrlich, wer weiß, welche Maßnahmen wirklich zu ergreifen sind, wenn sich z. B. der Mittelwert der "Zufriedenheit mit der persönlichen Betreuung" von 1,5 auf 1,7 verschlechtert? Ich weiß es zumindest nicht, ... dafür weiß ich, dass die Zielvereinbarungen vieler bemitleidenswerter Angestellter an so etwas gekoppelt sind, aber das alles ist ein anderes Thema.

Was bei der Wiederbegegnung mit einer Kuzu meinen Unmut erregte, war ein Summary-Chart, das ich als "Handlungsrelevanzmatrix" kennengelernt habe. Es erinnert so ein bisschen an die vier Boston-Consulting-Quadranten. Zunächst gibt es eine x-Achse, die die Bedeutung verschiedener Zufriedenheitsmerkmale aufzeigt. Dazu gekreuzt, wird die Ausprägung der Merkmale auf der y-Achse dargestellt.

Kritik an der Handlungsrelevanzmatrix

Vorhersagbarkeit der Ergebnisse

Eigentlich ganz toll. Es wird mir mit dem Chart suggeriert, ich könne sofort bewerten, was die wichtigsten Treiber für eine Globalzufriedenheit oder Weiterempfehlung sind und vor allem wo die größten Versäumnisse dabei liegen. Ich gestehe, dass ich das auch dachte, als ich diese Darstellung das erste Mal sah. Nachdem ich dutzende bis hunderte davon erstellt und in schicken Präsentationen verbaut hatte, bröckelte die Begeisterung ab. Die meisten dieser Charts sind sehr ähnlich. Im Grunde reichen mir als Input die Branche und die Auswahl der Zufriedenheitsfaktoren und dann kann ich wohl Teile des Charts bereits erraten.

Korrelationskoeffizienten sind ungeeignet

Ein grundlegender Fehler liegt darin, die Bedeutung der Merkmale über eine Korrelation zu ermitteln. Meist wird per Voreinstellung eine Produkt-Moment-Korrelation verwendet. Das ist ja nichts Ausgefallenes, sondern die ganz normale Pearson-Korrelation, die zum Einsatz kommt, wenn ich in einem Tool einfach auf "Korrelation" drücke.

Dies ist in der Tat eine vortreffliche Wahl, wenn die Skalen der Merkmale alle äquidistant sind, d. h. der Abstand von Bewertungsstufe zu Stufe immer der gleiche ist. Das wird natürlich einfach angenommen, sonst könnte man ja auch keinen Mittelwert berechnen und dann wäre man definitiv ein Spielverderber. Gewiss, die Verzerrung ist meist vernachlässigbar, wie einige wissenschaftliche Arbeiten durch Simulationen bewiesen haben.

Eine weitere Voraussetzung wäre eine lineare Beziehung zwischen den Merkmalen. Die Pearson-Korrelation reagiert durchaus robust, falls so etwas nicht ganz wie geplant eintritt.

Sobald ich aber Zufriedenheitsmerkmale in sogenannte Begeisterungs- und Hygienefaktoren einteilen kann (siehe Kano-Modell oder Herzbergs Zwei-Faktoren-Theorie), ist die Ausnahme die Regel. Die Zusammenhänge sind dann unterschiedlich stark, je nachdem, in welchem Wertebereich ich mich bewege. Hygienefaktoren wirken stärker durch Unzufriedenheit, Begeisterungsfaktoren durch Höchstnoten.

Das alles führt nicht zwangsweise zu einem falschen Ergebnis. Auch wenn die Rangkorrelation die bessere Wahl wäre, wird das Resultat damit nicht viel anders aussehen.

Das massivere Problem liegt im Konzept der Korrelation allgemein. Sie ist nämlich abhängig von der Spannweite der Zufriedenheitswerte und deren Begrenzungen. Wenn ich Zufriedenheit und Weiterempfehlung auf einer 5er-Skala messe, dann ist nun mal bei 5 Schluss, und wenn die Unternehmen nicht alles falsch gemacht haben, dann sind bei den eigenen Kunden wohl mehr als die Hälfte der Urteile in den beiden Topkategorien zu erwarten. Wenn man dazu noch ein bisschen Rauschen, Erfassungsfehler und individuelles Antwortverhalten unterrührt, kann man da keine überwältigenden Korrelationen erwarten.

Eine Korrelation mit stetigen Daten braucht jedoch eine gewisse Varianz der Werte. Ein Merkmal, wie Zufriedenheit mit Preis/Leistung, korreliert meist recht hoch mit einer Globalzufriedenheit, weil es in der Tat ein wichtiges Merkmal ist, aber auch, weil es oft vergleichsweise schlecht bewertet wird und eine breitere Verteilung der Werte erhält.

Abhängigkeit von der Häufigkeit von Ereignissen

Wie bedeutend ein Merkmal die Globalzufriedenheit im Allgemeinen beeinflusst, kann ich umso besser messen, je mehr Kunden damit unzufrieden sind. Auch möglich sind Bereiche mit gravierender Konsequenz, aber geringer Korrelation, weil sie zu selten auftreten. Angenommen, wir würden Stromkunden befragen, dann wäre in der Handlungsrelevanzmatrix ein Merkmal namens "Versorgungsstabilität mit Strom" in unserer Ersten Welt top bewertet und die Relevanz wäre sehr niedrig. Sobald wir aber für einen sauberen A-B-Test kurz vor der Befragung ganze Kundengruppen mit gezielten Stromausfällen beglücken, sieht unsere Matrix deutlich anders aus. Kunden, deren Beschwerden nicht ernst genommen werden oder deren Schaden bei einer Versicherung nicht reguliert wird, sind extrem unzufrieden, aber kommen in Befragungen meist so selten vor, dass ihnen in einer Handlungsrelevanzmatrix nicht ausreichend Rechnung getragen wird.

Fazit

Zusammenfassend: Die Handlungsrelevanzmatrix erklärt uns die Zusammensetzung einer Globalzufriedenheit in den konkreten Befragungsdaten, aber sie kann nicht bedingungslos auf die tatsächliche Bedeutung der Merkmale jenseits der Befragung generalisiert werden. Sie stellt das Zusammenspiel zwischen einer Teilzufriedenheit und der Globalzufriedenheit nur anhand eines Punktes dar, obwohl der Wirkmechanismus meist komplexer ist. Sie stützt sich nicht wie gewöhnlich auf explizite Aussagen der Bedeutung von Merkmalen, sondern leitet sie fehlerbehaftet indirekt über Korrelationen ab.

Alternativen?

Nun darf ich natürlich nicht alles schlechtreden und kritisieren, ohne Alternativen zu bieten. Nun, der Weisheit letzten Schluss habe ich selbst noch nicht gefunden. Ich löse das Dilemma gerne mit dem Ansatz der Penalty Reward Contrast Analysis. Diese untersucht die Wirkung der Extremsturteile, positiv wie negativ. Damit kann ich Merkmale mehrdimensional vergleichen, nämlich inwieweit sie zur Verärgerung oder auch zur Begeisterung beitragen.