Whitepaper: Wie valide sind die Awards im Handel?

Im deutschen LEH verwenden die Händler verschiedene Awards, um die eigene Leistungsfähigkeit zu belegen. Die häufig genutzten Awards sind ‚Händler des Jahres‘, ‚Deutschland Test‘, Deutsches Institut für Servicequalität (‚DISQ‘) und der ‚Kundenmonitor Deutschland‘. Aber wie ermitteln Händler-Awards den Sieger? Warum gewinnt nicht immer derselbe Händler? Ist die Methodik der Awards geeignet, um einen eindeutigen Sieger zu ermitteln? Diese Frage stellen sich Prof. Dr. Stephan Rüschen und Sebastian Altenhoff von der DHBW Heilbronn und haben die Antworten in einen Whitepaper veröffentlicht.

Die Auflistung der Awards fokussiert auf die Großen.

Neben den untersuchten Awards ‚Händler des Jahres‘, ‚Deutsches Institut für Servicequalität‘, ‚Deutschland Test‘ und ‚Kundenmonitor Deutschland‘ existieren noch eine Reihe weiterer Anbieter (z.B. Handelsblatt/YouGov, DTGV – Deutsche Gesellschaft für Verbraucherstudien mbH, Service Value/Wirtschaftswoche, TOP Performer v. OC&C, Parthenon-Performance-Ranking)2, die jedoch in dem Whitepaper nicht behandelt werden. 

Die Auszeichnungen sind ein Geschäftsmodell

Die Awards werden dabei in der Regel von privaten Marktforschungsunternehmen erhoben, die mit dem Verkauf der Nutzungsrechte der Gewinner-Logos und/oder dem Verkauf der Detail-Daten wirtschaftliche Ziele verfolgen.

In dem Whitepaper wird die verwendete Methodik der Awards hinsichtlich der Validität, Reliabilität, Objektivität und Repräsentativität kritisch diskutiert. Das Whitepaper versteht sich somit als Beitrag zu einem wissenschaftlichen Diskurs zur Messung von Kundenzufriedenheit und der Nutzung von Awards im deutschen LEH. Die wesentlichen Sichtweisen dieses Diskurses sind: 

• Welches Verfahren wird zur Messung verwendet? 
• Ist das Verfahren geeignet, um das Untersuchungsziel und einen Gewinner zu ermitteln? 
• Ist die Erhebung repräsentativ? 
• Wie werden die befragten Kriterien zur Ermittlung eines Siegers gewichtet? 
• Ist die detaillierte Erhebung für den Kunden transparent verfügbar? 

Das Fazit ist gemischt

Die Institute und Agenturen nutzen das sog. „multiattributive Verfahren“ zur Ermittlung eines Siegers. Bei den betrachteten Awards verwendet nur das ‚DISQ 2020‘ ein anderes (Mystery Shopping und Preisvergleich). Bei der Betrachtung der einzelnen Vorgehensweisen sind folgende Punkte aufgefallen:

• Die Stichprobengrößen sind in der Regel relativ klein, so dass von signifikanten Varianzen zu den tatsächlichen Ergebnissen der Grundgesamtheit ausgegangen werden muss. Dieser Fehlertoleranz wird allerdings bei der Darstellung des Siegers in der Regel nicht Rechnung getragen. 
• Bei ‚Händler des Jahres‘ kann sogar davon ausgegangen werden, dass selbst innerhalb des gewählten Untersuchungsdesigns die falschen Sieger ausgewiesen werden, da eine statistisch gesehen falsche Korrektur der Gesamtwerte vorgenommen wird, die zu anderen Siegern führt. 
• ‚Deutschland Test‘ ermittelt Sieger, die innerhalb des Untersuchungsdesigns aufgrund der Bewertungen bei den übergreifenden Kriterien (Gesamtzufriedenheit, Kundenorientierung, Ruf und Image, Kundenbindungsindex) nicht plausibel erscheinen. 
• Das ‚Deutsche Institut für Servicequalität‘ verwendet in den beiden Untersuchungen eine unterschiedliche Methodik. Die Mischung aus Mystery Shopping und Preisvergleich bei der Untersuchung von 2020 erscheint nicht zweckmäßig. Vor allem der Preisvergleich kann die Komplexität der Preispolitik von Händlern nicht abbilden. 
• Die Detailergebnisse sind den Kunden in der Regel nicht bekannt, da diese zum Beispiel im Internet weitestgehend nicht eingesehen werden können. 

Es erscheint, dass die Award-Anbieter zu Lasten einer zweckmäßigen und fundierten Methodik primär durch den Verkauf der Nutzungsrechte der Awards und teilweise Medienpartnerschaften wirtschaftliche Ziele verfolgen (Ausnahme ‚Kundenmonitor Deutschland‘). Man würde sich wünschen, dass die Händler auf die Nutzung solcher Awards verzichten. Es fällt auf, dass die Edeka-Gruppe die gewonnenen Awards bei Edeka und Marktkauf nicht einzusetzen scheint, während Lidl, Aldi Süd und Kaufland die Awards in diversen Kommunikationskanäle verwenden. 

Übrigens ist die Wirkung solcher Awards auf den Kunden bisher weitestgehend nicht erforscht. 

Link zum Whitepaper

Beitragsbild: DHBW Heilbronn