Datenbewusstsein Teil 1: Daten können dich auch verarschen!

Wir leben in einem Zeitalter der unfassbaren Datenmengen. Scheinbar alles kann analysiert werden, denn mittlerweile liefert alles, was mit dem Internet verbunden ist, unaufhörlich Informationen. Aber kann man den ganzen Auswertungen trauen, oder braucht man zur Beurteilung der präsentierten Ergebnisse ein gewisses Datenbewusstsein? Wir zeigen auf, wie man am Besten vorgeht. Dazu starten wir mit 2 Beispielen.

Fallbeispiel 1: Standortanalysen

Wir zeigen an diesen zwei Beispielen, dass man bei Analysen ruhig zweimal draufschauen sollte. In einem unserer vergangenen Projekte sind wir auf eine Analyse gestoßen, in der die Besucherstruktur des Kölner Doms untersucht wurde. Gerade Frequenzmessungen sind für Standortentscheidungen besonders wichtig, da sie einen hohen Einfluss auf Mietpreise und Umsatzerwartungen haben.

Hier das Ergebnis in der Grafik:

Dabei kam heraus, dass die Mehrzahl der Besucher, nämlich 60%, in Köln wohnen. Nun, ich weiß zwar, dass die Kölner ein besonderes Verhältnis zum „leeve Jott“ haben (der bekanntlich ja Kölner sein soll), aber dass viele der Bewohner täglich dort hingehen ist eher unwahrscheinlich. Daher muss man tiefer gehen und die Datenbasis betrachten. Die Herkunftsbetrachtung basierte auf Bewegungsdaten von Mobilfunkgeräten, die bekanntlich in Waben gemessen werden. Dabei kam folgendes Wabengröße zu Tage:

Kölner oder Kölnliebhaber haben es sicherlich sofort erkannt: Innerhalb der Wabe liegt auch der direkt daneben befindliche Hauptbahnhof, der in die Zählung der Dombesucher mit einbezogen wurde. Dieser verfälscht das Ergebnis derart, das die Analyse wertlos geworden ist. Man sieht an dem Beispiel, dass ein Mix aus gesundem Menschenverstand (…kann das wirklich sein…?) und gezieltem Nachfragen unter Umständen verhindert hat, dass eine Entscheidung in die falsche Richtung geht.

Fallbeispiel 2: Emotionserkennung im Handel

Ein unmittelbares und vor allem ehrliches Kundenfeedback in Echtzeit zu bekommen, ist schon lange ein frommer Wunsch des Handels. Neueste KI Technologien sollen diese Möglichkeit nun realisieren: Spezielle Kameras zeichnen Kundinnen und Kunden auf und werten die Gesichtsausdrücke in Echtzeit aus. So erkennt man die Stimmung der Menschen und wie sie auf ein Sortiment, eine Abteilung oder auf eine Werbeansprache reagieren.

Die Auswertung wird dann auf einem Dashboard dargestellt und soll so eine sehr gute Basis für weitere Entscheidungen bieten. Bunte Balken, Floorplans und Netzdiagramme zeigen in beeindruckender Weise die Kundenwahrnehmung an verschiedenen Stellen. Das hat man sich doch immer gewünscht.

Wie im ersten Beispiel sollte man aber auf die Datenbasis schauen. Und da sind sich die Expertinnen und Experten nicht einig. Ein grundsätzliches Problem stellt nämlich der mutmaßliche Zusammenhang zwischen Gesichtsbewegung und Emotionszustand dar. Zu diesem Schluss kommt eine interdisziplinäre Forschungsgruppe um die Neurowissenschaftlerin Lisa Feldman Barrett (Feldman Barrett et al. 2019), die rund 1.000 wissenschaftliche Veröffentlichungen zum Thema auswertete.

Was sagt die Wissenschaft?

Die Studie zeigt, dass eine eindeutige Zuordnung zwischen spezifischen Gesichtsbewegungen und einer bestimmten Emotionskategorie bislang nicht möglich ist. Damit fehlt es Systemen zur automatisierten Emotionsanalyse gegenwärtig an einer wissenschaftlichen Basis (Feldman Barrett et al. 2019, S. 6).

Was das bedeutet, stellt Lisa Feldman Barrett in einem Interview klar: „Wenn wir die besten heute am Markt verfügbaren Softwareprogramme zur Erkennung von Gesichtsbewegungen einsetzen, können wir unter idealen Bedingungen erkennen, welche Bewegungen das Gesicht vollzieht. Es gibt derzeit keine Möglichkeit, aus den Gesichtsbewegungen auf die Gefühle einer Person zu schließen oder darauf, was sie als nächstes tun wird.“ Eine wissenschaftliche Betrachtung dazu findet man in einem wissenschaftlichen Themenkurzprofil des Büros für Technikfolgenabschätzung des Deutschen Bundestages.

Was sagen die Technologie-Pioniere?

Microsoft hat bereits 2022 angekündigt, den öffentlichen Zugang zu einer Reihe von KI-gestützten Gesichtserkennungs- und Analysetools einzustellen, wie in einer offiziellen Mitteilung des Softwareherstellers bekanntgegeben wurde. Der Verkauf der „Emotion Recognition“ – auch als „Emotionserkennung“ bekannt – wird weitgehend eingestellt. Dieses Tool wurde entwickelt, um die Gefühle einer Person anhand von Bildern und Videos zu identifizieren.

Solche Tools stehen seit geraumer Zeit in der Kritik. US-amerikanische und europäische Gesetzgeber üben bereits seit Jahren Druck auf Unternehmen wie Microsoft aus und bemühen sich, rechtliche Rahmenbedingungen für diese entwickelten Technologien festzulegen.

Zweifel an der wissenschaftlichen Grundlage der Emotionserkennung bei Microsoft wurden erstmals im Jahr 2021 laut. „Diese Bemühungen haben wichtige Fragen zum Datenschutz und dem Fehlen eines Konsenses in Bezug auf die Definition von ‚Emotionen‘ aufgeworfen“, erklärte Sarah Bird, Produktmanagerin bei Microsoft Azure AI. Es stellte sich heraus, dass es Microsoft nicht gelungen war, Emotionen über verschiedene Regionen und Bevölkerungsgruppen hinweg zuverlässig zu verallgemeinern.

Ab dem 21. Juni 2022 wird die Funktion, laut Microsoft, nicht mehr angeboten. Diejenigen, die den Dienst derzeit nutzen, werden innerhalb eines Jahres den Zugang zu diesem KI-Tool verlieren.

Ein Fazit

Gerade wenn es um Analysen geht, die eine Grundlage für strategische Veränderungen oder große Investitionen sind, sollte man immer genau hinschauen. Bei komplexen Sachverhalten ist unabdingbar, sich Statistiker oder Data Scientists dazu zu holen, die hinter die tollen Balkendiagramme und Dashboards schauen. In einem 2. Teil werden wir Tipps geben, wie man selbst ein Gefühl für die Validität von Analysen bekommt.

Getreu dem Motto von Sir Winston Churchill (1874 – 1965): „Ich glaube keiner Statistik, die ich nicht selbst gefälscht habe“ darf man ruhig zweimal hinschauen.

Wie man seine eigene Datenkompetenz verbessert lest ihr in diesem Artikel, der am 1. November 2023 erscheint.

Bilderquellen: Tumisu auf Pixabay, IFHKöln, Dede auf Pixabay