Online Umfragen | Software und News aus Markt- und Meinungsforschung

Aus Syndikus Auszüge, Kanzlei Prof. Schweizer und Pretest Klassifikationsschema (online-forschung.de):

Bei der Formulierung von Fragen für einen Online Fragebogen, eine Paper-Pencil-Befragung oder ein Interview werden häufig befragungstechnische Fehler gemacht, die auf das Ergebnis und damit den Nutzwert einer Umfrage entscheidenden Einfluss haben.

In Ausarbeitungen für die Zeitschrift “der Syndikus” hat die Kanzlei Prof. Schweizer einige Fehlerquellen zusammengestellt und anhand von Beispielen ausgeführt.

Die Checkliste der Fehlerquellen umfasst 43 Punkte, die sich sowohl auf Online- als auch Offlineerhebungen beziehen und in ihren Beispielen auf Fragen aus dem Schwerpunktbereich Recht eingehen. Nichtsdestotrotz sind die aufgeführten Fehlerquellen als allgemeingültig für Befragungen anzusehen.

Die Fehlerquellen bei der Erstellung von Fragebögen

§ 1 Fremdwörter

§ 2 Fachbezeichnungen

§ 3 Andere, für einen Teil der Adressaten schwer verständliche oder sogar unverständliche Ausdrücke

§ 4 Falscher oder ungenauer Bezugsrahmen, insbesondere:

• 1) Drängen in die Rolle des Sachverständigen oder anderer Dritter
• 2) Ermittlung überlegender statt flüchtiger Reaktion
• 3) Zu flüchtige oder zu oberflächliche Reaktion
• 4) Logisch unklarer Bezug
• 5) Ungenaue graphische Gestaltung
• 6) Verwechseln verwandter Rechtsprobleme
• 7) Überflüssige Themen
• Falsche Befragte
• 9) Sonstige falsche, ungenaue oder unvollständige Erfassung des Themas
• 10) Andere falsche, ungenaue oder unvollständige Bezeichnungen

§ 5 (Tatsächliche oder scheinbar) unlogische oder sonst ungereimte Formulierungen

§ 6 Ortsangaben

§ 7 Zeitangaben

§ 8 Mengen- und Größenangaben

§ 9 Abstrakte, komplexe oder sonst allgemein gehaltene Formulierungen

§ 10 Sonstige mehrdeutige Bezeichnungen ‑ wie "beziehungsweise"

§ 11 Möglichkeit zu irreführender Betonung

§ 12 Synonyme

§ 13 Weniger gewohnte und weniger gebräuchliche Bezeichnungen

§ 14 Ungewohnter Bezugsrahmen

§ 15 Negative Formulierungen

§ 16 Lange Sätze oder Wörter und lange oder unübersichtliche Satzfolgen

§ 17 Mehrere Themen in einem Satz oder in einer Antwortmöglichkeit

§ 18 Nebensätze

§ 19 Sonstige umständliche, schwerfällige, ungeschickte oder überflüssige Texte

§ 20 Sprachliche Delikatessen

Vermeidung von Suggestivfehlern

§ 21 Unvollständige oder fehlende Wiedergabe der zweiten Aussagemöglichkeit

§ 22 Abschneiden von Aussagen, insbesondere durch Abschneiden von Mehrfachnennungen

§ 23 Auch sonst: Aufführung aller Aussagemöglichkeiten

§ 24 Sonderfall Restkategorie: Ausdrückliche Nennung von Antwortmöglichkeiten zu Meinungslosigkeit,
Desinteresse, Unwis­senheit, Unentschiedenheit, Unsicherheit?

§ 25 Ungleiche Attraktivität der Aussagemöglichkeiten

§ 26 Sonstige unausgeglichene Reaktionsmöglichkeiten, insbesondere durch offene Fragen, unausgeglichene Skalafragen oder überladene Antwortungsmöglichkeiten

§ 27 Sonderproblem: Reihenfolge- und Positionseffekt

§ 28 Argumente in Formulierungen

§ 29 Konsequenzen der Antwort in der Frage

§ 30 Aufnahme von Namen bekannter Perso­nen in die Frage und ähnliche Bezüge

§ 31 Berufung auf Fachleute

§ 32 Nennung der Zieldimension

§ 33 Erkennbare Antworterwartungen

§ 34 Suggestive Betonung

§ 35 Graphische Gestaltung

§ 36 Ort der Befragung

§ 37 Zeit der Befragung

§ 38 Beeinflussung durch anwesende Personen

§ 39 Bezeichnungen mit positiver oder negativer Ausstrahlung

§ 40 Ausstrahlungsetfekt ("halo effect")

§ 41 Verzerrungen durch vorangehende Fragenkomplexe
(Plazierungseffekt)

§ 42 Lerneffekt

"Psychotaktik"

§ 43 Unerwünschte personenbedingte Reaktionen, insbesondere aufgrund:

• 1) Prestigebedürfnis
• 2) Peinlichkeit, Unannehmlichkeit, Antipathie
• 3) Verschlossenheit, Schüchternheit
• 4) Mißtrauen, Angst
• 5) Höflichkeit, Sympathie
• 6) Bequemlichkeit, Gleichgültigkeit, Unaufmerksamkeit
• 7) Bedürfnis nach widerspruchsfreiem Verhalten
• Neugierde
• 9) Verärgerung, Ungeduld, Neid, Trotz, Bosheit, Ironie, Sarkasmus, Arroganz
• 10) Provokation, Zumutung
• 11) Verwirrung, Verunsicherung, Verwunderung
• 12) Examensgefühl
• 13) Schock, Empörung
• 14) Verletztsein
• 15) Ermüdung, Unterforderung, Überforderung
• 16) Selbsttäuschung

Die hier aufgelisteten und in der Online-Quelle weiter ausgeführten Fehlerquellen machen eine Auswertung schwierig. Wenn Sie diese Fehlerquellen mit den Grundinformationen für die Beurteilung von Umfrageergebnissen vergleichen, so sind hier die Punkte aufgeführt, die eine vermeintlich repräsentative Umfrage als wertlos erscheinen lassen.

Eine weitere Auflistung von Qualitätskriterien einer www-befragung ist vor ein paar Jahren in einer universitären Arbeitsgruppe um Lorenz Gräf entstanden, die nun auf online-forschung.de abrufbar ist.

Die Metafragen die hier zu einem Fragebogenentwurf gestellt werden sind:

1. Hat der Befragte Schwierigkeiten die Frage oder Teile der Frage zu verstehen?
2. Kann oder will der Befragte die Frage nicht beantworten?
3. Hat der Befragte Schwierigkeiten mit den vorgegebenen Antworten?
4. Sind Validitäts- oder Reliabilitätsprobleme zu erwarten (Response-Set, Kontext)?
5. Probleme mit der Realisierung?
6. Handelt es sich um einen Verbesserungsvorschlag?

Anhand dieser Fragen wurden hier Klassifikationen erarbeitet, die einzelne Probleme von Online-Befragungen näher beschreiben und eine Qualitative Beurteilung z.B. in einem Fragebogen-Pretest zulassen.

Beispiele für Fehler in Umfrage kennt jeder der einmal selbst an Befragungen teilgenommen hat. Eine Rubrik mit solchen Do’s & Don’ts werde ich bei allgemeinem Interesse einmal einrichten. Dann hoffe ich natürlich auch auf zahlreiche Beiträge von meinen Lesern.