Mixed Mode, aber richtig! – Das Beste aus beiden Welten

Hintergrund

Nicht selten stehen MarktforscherInnen vor der Frage, welcher Erhebungskanal für ein Forschungsdesign der Beste ist. Inhaltlichen Anforderungen stehen Budgetbeschränkungen gegenüber und abhängig vom Ziel der Erhebung bringt jede Methode ihre Vor- und Nachteile mit sich, die vorab berücksichtigt werden müssen. Eine Möglichkeit, diesen Konflikt zu lösen, kann im „Mixed Mode Ansatz“ liegen. Dabei werden Daten über mehrere verschiedene Kanäle, beispielsweise CATI (Computer-Assisted Telephone Interview) und CAWI (Computer-Assisted Web Interview) erhoben. Doch wie kann sich die Kombination verschiedener Kanäle auf die erhobenen Daten auswirken? Um diese Frage genauer zu untersuchen, haben wir eine inhaltlich identische Befragung zeitgleich auf zwei Befragungskanälen durchgeführt und deren Ergebnisse miteinander verglichen. Untersuchungsgegenstand waren unter anderem die Qualität und Quantität offener Nennungen und die Verteilung von Antworten bei Skalenfragen.

Methodik

Für die Befragung wurden Fragen zum Thema Ernährung gewählt, die nicht emotional oder politisch aufgeladen erscheinen und wenig Vorwissen voraussetzen. Dadurch sollten inhaltliche Implikationen, die Einfluss auf das Antwortverhalten haben können (z.B. soziale Erwünschtheit oder Nicht-Beantwortung durch fehlende Kenntnis), reduziert werden.
Mittels einer ADM-Zufallsstichprobe wurden im Zeitraum 13.09.-20.09.2019 bundesweit 1.000 Haushalte telefonisch befragt, parallel wurde eine inhaltlich identische Befragung online durchgeführt. Befragt wurden auch hier 1.000 Personen, zufällig gezogen aus dem unternehmenseigenen Online-Panel (OmniPanel).

Neben demographischen Fragen (Alter, Geschlecht, Bildung, Haushaltsgröße, Bundesland) bestand der Fragebogen aus 15 skalierten und zwei offenen Fragen. Für die Auswertung wurden die Daten beider Erhebungswege nach den zuvor genannten demographischen Variablen gewichtet.

Ergebnisse

Im Methodenvergleich ergaben sich eine Vielzahl von Erkenntnissen, die bedeutsamsten davon werden im Folgenden besprochen.

Unterschiede und Gemeinsamkeiten bei offenen Nennungen
Konkret hat uns interessiert, ob sich bei der Frage „Was gehört Ihrer Meinung nach zu einer guten Ernährung?“ in puncto Umfang (gemessen als Anzahl verwendeter Zeichen) und Qualität der Antworten (gemessen als Anzahl genannter Themen, entsprechend eines Codeplans) Unterschiede beobachten lassen, die auf den Erhebungskanal zurückzuführen sind. Die Frage wurde volloffen gestellt und die Antworten als Textnennung erfasst. Der Vergleich ergab, dass bei der telefonischen Befragung mit durchschnittlich 52 Zeichen 36 Prozent mehr Text zur Beantwortung der Frage verwendet wurde als bei der Online-Befragung mit durchschnittlich 38 Zeichen. Gleichzeitig ergab die Betrachtung der thematisch kodierten Antworten kaum Unterschiede zwischen den Erhebungskanälen (CATI2,3 Nennungen versus Online 2,2 Nennungen).

Die Unterschiede im Umfang sind zum einen auf die Interaktion zwischen Interviewer und Proband zurückzuführen: Interviewer können durch gezieltes Nachhaken um eine Verdeutlichung der Antwort bitten, falls diese probandenseitig nicht auf Anhieb verständlich formuliert wurde. Dadurch werden seltener als bei einer Online-Erhebung Antworten aufgenommen, die nur aus einem Wort bestehen bzw. recht kurz sind. Zum anderen können offene Antworten bei einer Online-Befragung tendenziell kürzer ausfallen, da diese von Probanden selbst verfasst werden müssen. Die Probanden entscheiden dabei ganz bewusst, wieviel Zeit und Tiefe sie in die Beantwortung investieren möchten. Eine exaktere Erfassung von offenen Nennungen kann bei der Auswertung der Daten helfen, die Antworten thematisch zu sortieren und zu kodieren.

Per Drag & Drop werden die Artikelbilder aus dem oberen Karussell nach unten verschoben. Durch Ziehen der Artikelbilder unterhalb des jeweils letzten Karussells lassen sich nacheinander beliebig viele neue Karussells bzw. Gruppen bilden und die Artikelbilder darauf verteilen. Jedes Artikelbild lässt sich jederzeit durch Antippen auf den vollen Bildschirm vergrößern und so detailliert betrachten. Im Anschluss an die Gruppierung haben die TeilnehmerInnen die Aufgabe, die gebildeten Gruppen mit einem passenden Gruppentitel benennen. MobileMapping kann als eigenständige Befragung oder eingebettet in eine größere Studie angewendet werden. Auch mobile Mappingstudien direkt im Supermarkt, am point-of-sale, kann man mit Hilfe des MobileMapping problemlos durchführen.

Die Ergebnisse des MobileMapping zeigen anschaulich die Struktur der Artikel zueinander und die Warengruppen insgesamt. Eine anschauliche grafische Auswertung ist auf individueller und Gruppenebene möglich.

Das Tool MobileMapping ist durch seine responsive Darstellung nicht nur reliabel, sondern durch die explizite Einbeziehung von mobilen Zielgruppen auch sehr valide im Hinblick auf eine Ermittlung der Struktur der Warengruppen aus Sicht aller Einkaufskunden.

Antwortverteilung bei Skalenfragen

Unterschiede im Antwortverhalten bei Skalenfragen wollten wir anhand von Fragen wie „Was ist Ihnen beim Thema Essen besonders wichtig? – Dass ich mich mit meiner Ernährung gut fühle“ genauer untersuchen. Die Ergebnisse, die hier beispielhaft anhand einer Frage besprochen werden, lassen sich auf die meisten Skalen-Fragen aus unserer Erhebung übertragen. Die Frage war auf einer 5-Punkte Skala zu beantworten (1 – äußerst wichtig bis 5 – überhaupt nicht wichtig). Bei der telefonischen Befragung wurden die Skalenankerpunkte verbalisiert mit dem zusätzlichen Hinweis „Mit den Punkten dazwischen können Sie Ihre Meinung abstufen.“ In der Online-Befragung wurden 5 Radiobuttons visuell dargestellt, welche die 5 Skalenpunkte repräsentierten. Zusätzlich wurden die Ankerpunkte mit den zwei entsprechenden Item-Texten (links: „äußerst wichtig“, rechts: „überhaupt nicht wichtig“) versehen (Abb. 2).

Der Vergleich ergab, dass sich die Antworten der telefonischen Befragten häufiger auf die Extremwerte der Skala verteilten (1 und 5), während Probanden, die diese Frage online ausfüllten, häufiger die Kategorien 2 und 3 verwendeten (Abb. 3). Vergleicht man lediglich Mittelwerte (CATI M=1.67 versus Online M=1.69) und Top-Two-Boxen (Abb. 4), werden diese Unterschiede kaum sichtbar.

Dieses Muster konnten wir, mit unterschiedlich starken Ausprägungen, bei einem Großteil der insgesamt 14 Skalenfragen beobachten.
Werden den Probanden, wie im Falle unserer telefonischen Befragung, nur die Extremwerte einer Skala vorgelesen, so kann dies dazu führen, dass trotz des Hinweises auf die übrigen Skalenpunkte (2 bis 4) die vorgelesenen Extremwerte wesentlich präsenter sind. Dies äußert sich in einem „binären“ Antwortverhalten, bei dem Probanden nicht die vollständige Skala zur Beantwortung der Fragen heranziehen, sondern sich bei ihrer Antwort nur an den explizit vorgelesenen Werten orientieren. Für Online-Befragungen spielt dieses Phänomen eine untergeordnete Rolle, da bei den meisten Darstellungsweisen von Skalenfragen alle Skalenpunkte sichtbar sind. Probanden können diese also nicht so leicht ausblenden oder vernachlässigen und zeigen ein differenzierteres Antwortverhalten.

Fazit

Die Ergebnisse illustrieren beispielhaft, wie sich die Wahl des Erhebungskanals auf das Antwortverhalten auswirken kann. Wenn man sich der Effekte dieser Unterschiede bewusst ist, lassen sich daraus konkrete Learnings und Best Practices für das Design von Studien und Fragebögen ableiten: Um der zuvor beschriebenen Tendenz zu den Skalenankern bei einer telefonischen Befragung entgegenzuwirken, könnten alle Skalenpunkte vorgelesen werden oder alternativ eine komplett verbalisierte Skala verwendet werden, um Probanden deren vollständige Visualisierung zu erleichtern. Da ferner Antworten auf offene Fragen bei Online-Befragungen eher kurz ausfallen können, sind assoziative Fragen wie z.B. „Welches eine Wort verbinden Sie mit [Marke XY]?“ für diesen Kanal besser geeignet.

Des Weiteren ergeben sich aus den Ergebnissen auch spannende Fragen: Wie wirkt sich der oben beschriebene Skalen-Effekt bei einem Methodenwechsel auf einen Net Promoter Score (typischerweise mit 11 Skalenpunkten) aus? Wie formuliert man Interviewerhinweise bei Skalen-Fragen, wenn man eine Vergleichbarkeit mit parallel online erhobenen Daten gewährleisten möchte? In der Praxis ist die Wahl des Erhebungskanals oft von einer Vielzahl von Faktoren abhängig: So ist beispielsweise nicht jede Zielgruppe über jeden Erhebungskanal gleich gut erreichbar und nicht jedes Befragungsthema bzw. nicht jede Frage eignet sich gleichermaßen für jeden Erhebungskanal. Im Balanceakt aber zwischen methodischen Kriterien, begrenzten Budgets und der Frage nach der Erreichbarkeit von Zielgruppen kann der Mixed-Mode Ansatz eine sinnvolle Alternative zur Erhebung über nur einen einzigen Kanal sein. Voraussetzung hierfür sind ein solides methodisches Know-how und eine gute Beratung durch einen Felddienstleister, der alle Erhebungskanäle im Portfolio hat.

Über den Autor