Wir lesen Zeitung
und schauen fern.

„Österreich“: Viel zu kleine Umfrage für die Schlagzeile

„Österreich“ hat bei Gallup wieder mal billig eingekauft. Lediglich 400 Personen wurden befragt, das politische Feld liegt denkbar eng beieinander und dennoch sieht das Fellner-Blatt die FPÖ zielsicher auf Platz 1 — mit nur einem (!) Prozentpunkt Vorsprung.

(ÖSTERREICH, 29.05.2014, S. 6)

Sogar eine Presseaussendung hat die Redaktion dazu gemacht. Vermutlich in der Hoffnung, einen Teil der Umfragekosten über Gratiswerbung wieder einzuspielen, falls seriöse Medien die „Österreich“-Meldung übernehmen.

(ÖSTERREICH OTS, 28.05.2014)

Davon können wir nur abraten. Denn alleine die statistische Schwankungsbreite, die „Österreich“ wohlweislich verschweigt, liegt hier bei über vier Prozentpunkten. Das ist ungefähr so, als hätte man ein knappes Ski-Rennen mit der Armbanduhr gestoppt und danach den Sieger ausgerufen.

Hier mal wahlfrei ein paar Alternativen, wie dieses Polit-Rennen innerhalb der Schwankungsbreite und auf Basis der selben Umfrage genauso gut auch ganz anders ausgehen könnte:

"Österreich"-Umfrage Varianten by KobukWir sehen, bei dieser nahezu völlig nichtssagenden Gallup-Erhebung ist gerade mal die Reihenfolge zwischen Alt- und Jungparteien statistisch signifikant. Aber wenn die Umfrage schon mal Geld gekostet hat, muss halt auch eine ordentliche Schlagzeile herausschauen.

„Österreich“-Herausgeber Wolfgang Fellner wurde mal auf Ö1 mit der Kritik von Experten an derart fragwürdigen Umfragen konfrontiert. Sehr einsichtig zeigte er sich nicht, um es vorsichtig auszudrücken. Stattdessen zweifelte er tatsächlich die Qualifikation der Wissenschaftler an, immerhin einem Statistik-Professor und langjährigen Hochrechner, sowie einer ausgewiesenen Umfrageexpertin und Professorin an der Universität Wien. Ich fürchte, ein Eskimodichter wird da auch nicht mehr viel ausrichten…

 

Update: Markus hat unten in den Kommentaren auf zwei missverständliche Formulierungen hingewiesen. Diese wurden im Artikel geändert.

"Heute" gibt Blondine die Schuld an Amoklauf
"Format.at": Wikipedia, mein Freund und Helfer

2 Kommentar(e)

Markus Wallerberger - Am 30. May 2014 um 15:39

Der Hauptkritikpunkt steht: die Umfrage stützt die reißerische Headline nicht. Trotzdem finde ist der Artikel zum Teil ziemlich problematisch.

„Lediglich 400 von 6,4 Millionen Wahlberechtigten wurden befragt“ — dieser Vergleich ist statistisch völlig wertlos und in höchstem Maße irreführend. In dieser Größenordnung hängt die Schwankungsbreite nämlich nur ganz schwach von der Grundgesamtheit ab. Man könnte also in Deutschland mit rd. 60 Millionen Wahlberechtigten eine Umfrage mit der selben Stichprobe machen und bekommt eine ähnliche Schwankungsbreite.

„Alternativen, wie dieses Polit-Rennen innerhalb der Schwankungsbreite … genauso gut ausgehen könnte“ — das also ist ein fantastischer Blödsinn. Denn: während die angegebenen Ergebnisse innerhalb der Schwankungsbreit *möglich* sind, sind sie viel weniger wahrscheinlich (also defnitiv nicht „genauso gut“).

Hans Kirchmeyr
Hans Kirchmeyr (Autor) - Am 30. May 2014 um 17:49

@Markus:
Das ist streng formal alles richtig und daher danke ich auch für den fachlich kompetenten Kommentar. Hab den Vergleich am Beginn rausgenommen. Das „ebenso gut“ ist umgangssprachlich reingerutscht, hab’s durch passendere Formulierung ersetzt.

Bei aller formalen Korrektheit sollten wir bei den Lesern jetzt aber nicht zu sehr den Eindruck verstärken, politische Umfragen würden ausschließlich den Gesetzen der reinen und wahren Statistik folgen. Auch das wäre irreführend. Weder haben wir es hier in der Regel mit einer echten Zufallsstichprobe zu tun, noch bekennen sich alle Befragten über alle Parteien hinweg gleichermaßen zu ihrer politischen Präferenz. Diese und noch andere Effekte bringen zusätzliche Unschärfen mit sich, denen meine kleinen sprachlichen im Artikel nur höchst unzureichend gerecht werden 😉