Stichprobenqualität bei Telefonumfragen

Moderator: Moderatoren Forum 7

Antworten
Benutzeravatar
Alster
Beiträge: 1787
Registriert: So 22. Okt 2017, 16:36

Stichprobenqualität bei Telefonumfragen

Beitrag von Alster »

Bekanntlich ist bei Test von Hypothesen mittels Umfragen die Zufälligkeit der Stichprobe von entscheidender Bedeutung:
An dieser Stelle wird die Qualität von Telefonumfragen seit Jahren systematisch untergraben:
- zunehmende Spam Anrufe auch als Umfragen getarnte Verkaufsgespräche
- in Folge abnehmende Bereitschaft der Teilnahme -> sinkende Ausschöpfungsraten
- schlechtere Qualität der Aussagen durch (1) geringere Größe, (2) unklare Zusammensetzung der Stichproben
dies ist keine Rechtsberatung sondern nur meine persönliche Meinung
Benutzeravatar
H2O
Moderator
Beiträge: 47318
Registriert: So 13. Sep 2015, 13:49
Wohnort: Zachodniopomorze

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von H2O »

Könnten Sie bitte erklären, was wir hier jetzt rein wissenschaftlich besprechen sollten? Ihr Kummer ist schon nach zu vollziehen. Der dahinter stehende Wahrheitsgehalt nicht nachprüfbar. Wäre ein solches Thema nicht eher etwas für die Innenpolitik, und weniger für die Wissenschaften? Ich warte Ihre Anmerkungen heute ab. Danach werde ich das Thema in die Ablage verschieben, wenn sich nichts für Forum 7 damit anfangen läßt.
Benutzeravatar
Teeernte
Beiträge: 32036
Registriert: Do 11. Sep 2014, 18:55
user title: Bedenkenträger

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Teeernte »

H2O hat geschrieben:(03 Dec 2021, 12:16)

Könnten Sie bitte erklären, was wir hier jetzt rein wissenschaftlich besprechen sollten? Ihr Kummer ist schon nach zu vollziehen. Der dahinter stehende Wahrheitsgehalt nicht nachprüfbar. Wäre ein solches Thema nicht eher etwas für die Innenpolitik, und weniger für die Wissenschaften? Ich warte Ihre Anmerkungen heute ab. Danach werde ich das Thema in die Ablage verschieben, wenn sich nichts für Forum 7 damit anfangen läßt.
....Der "Relotiuseffekt" bei Umfragen....

Die "Institute" machen Ergebnisse für ihren Auftraggeber ??
Obs zu kalt, zu warm, zu trocken oder zu nass ist:.... Es immer der >>menschgemachte<< Klimawandel. :D
franzmannzini

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von franzmannzini »

Was mir bei Umfragen häufig fehlt, oder unangenehm Aufstößt:

Wie wurde sie durchgeführt ?
Beispiel:
- Klickumfrage im Internet
- Anrufe
- Umfrage Fußgängerzone
-...

Was genau wurde gefragt (Wortlaut) ?
Beispiel:
Kantar befragte am 18. Dezember 505 repräsentativ ausgewählte Personen. Gestellt wurde die Frage:
„Von welchem der folgenden Politiker wünschen Sie sich im kommenden Jahr 2021 eine möglichst große Wirkung in der deutschen Politik?“
Abgefragt wurden insgesamt 18 Politiker.
Wie wird eine Umfrage Interpretiert ?
Beispiel (Was wurde genau gefragt (Wortlaut)):
Der beliebteste Politiker in Deutschland ist einer aktuellen Umfrage zufolge Bundesgesundheitsminister Jens Spahn (CDU).
Welche aktuellen Einflüsse haben Einfluss aus das Ergebnis ?
Beispiel (aktuell):
- man fragt nach der Zustimmung zu Corona-Maßnahmen während einer Welle, oder außerhalb einer Welle

Wer wurde befragt, also ist die Stichprobe wirklich eine repräsentative Stichprobe ?
Beispiel:
- Telefonische Umfrage auf Festnetzapperaten um die Mittagszeit

Wer ist der Auftraggeber der Studie ?
Benutzeravatar
H2O
Moderator
Beiträge: 47318
Registriert: So 13. Sep 2015, 13:49
Wohnort: Zachodniopomorze

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von H2O »

Mit allgemeinen Verdächtigungen kommen wir hier nicht weiter. Die Umfrageforschung zeigt, daß es unterschiedliche Vorgehenskonzepte für Umfragen gibt:

https://www.surveymonkey.de/mp/3-types-survey-research/
Die meisten Forschungen können einer der drei folgenden Kategorien zugeordnet werden: explorativ, deskriptiv und kausal. Jede dieser Kategorien hat ihren eigenen Sinn und Zweck und somit ihre eigenen Einsatzmöglichkeiten.
Ich sehe hier nicht die Sachkenntnis, die sich inhaltlich mit diesen Methoden auseinander setzen könnte. Die werden aber von seriösen Meinungsforschungsinstituten angewandt. So etwa zu finden in der "Sonntagsfrage" als Abbild der Zustimmung von Wählern zu einzelnen Parteien. Stimmungsbilder, die sich sehr schnell verändern können:
https://www.wahlrecht.de/umfragen/
T
Telefon – telefonische Befragung von zufällig ausgewählten Personen

O
Online-Panel – internetbasierte Befragung von nach Quotenvorgaben ausgewählten Mitgliedern eines Befragten-Pools

F
Face to face – persönlich-mündliche Befragung von nach Quotenvorgaben ausgewählten Personen


TOM
T-O-Mix – Befragung per Telefon und per Online-Panel
Wenn dazu bis zum Sonntag, 2021-12-05, nichts weiter kommt, werde ich diesen Strang in die Ablage verschieben. Allgemeines Unwohlsein sollte sich in der Weinstube verhandeln lassen.
Benutzeravatar
Alster
Beiträge: 1787
Registriert: So 22. Okt 2017, 16:36

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Alster »

H2O hat geschrieben:(03 Dec 2021, 12:16)

Könnten Sie bitte erklären, was wir hier jetzt rein wissenschaftlich besprechen sollten? Ihr Kummer ist schon nach zu vollziehen. Der dahinter stehende Wahrheitsgehalt nicht nachprüfbar. Wäre ein solches Thema nicht eher etwas für die Innenpolitik, und weniger für die Wissenschaften? Ich warte Ihre Anmerkungen heute ab. Danach werde ich das Thema in die Ablage verschieben, wenn sich nichts für Forum 7 damit anfangen läßt.
zum mathematischen Hypothesentest gehört es zu klären, wie das Signifikanzniveau leidet, wenn die Stichprobe durch sinkende Ausschöpfungsrate effektiv schlicht verkleinert wird (zumindest nur noch eingeschränkte Kontrolle der Größe erfolgt).
ein sozialwissenschaftlicher Teil wäre die Kriterien der Selbst-Ausselektion der Probanden zu beleuchten.
dies ist keine Rechtsberatung sondern nur meine persönliche Meinung
Benutzeravatar
H2O
Moderator
Beiträge: 47318
Registriert: So 13. Sep 2015, 13:49
Wohnort: Zachodniopomorze

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von H2O »

Alster hat geschrieben:(03 Dec 2021, 21:19)

zum mathematischen Hypothesentest gehört es zu klären, wie das Signifikanzniveau leidet, wenn die Stichprobe durch sinkende Ausschöpfungsrate effektiv schlicht verkleinert wird (zumindest nur noch eingeschränkte Kontrolle der Größe erfolgt).
ein sozialwissenschaftlicher Teil wäre die Kriterien der Selbst-Ausselektion der Probanden zu beleuchten.
Und nun? Sieht nach Lehrbuch aus... Wo gibt es nun einen Ansatzpunkt zur inhaltlichen Auseinandersetzung mit der Methodik anerkannter Institute? Wir wollen hier doch Dinge diskutieren, von denen wir wenigstens ansatzweise etwas verstehen! Da sehe ich hier niemanden.
Benutzeravatar
NicMan
Vorstand
Beiträge: 5930
Registriert: Fr 23. Sep 2016, 12:27
user title: Statistiker und Epistemologe

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von NicMan »

Alster hat geschrieben:(03 Dec 2021, 21:19)

zum mathematischen Hypothesentest gehört es zu klären, wie das Signifikanzniveau leidet, wenn die Stichprobe durch sinkende Ausschöpfungsrate effektiv schlicht verkleinert wird (zumindest nur noch eingeschränkte Kontrolle der Größe erfolgt).
ein sozialwissenschaftlicher Teil wäre die Kriterien der Selbst-Ausselektion der Probanden zu beleuchten.
Prinzipiell handelt es sich hier um ein sogenanntes "(Unit)-Non-response" Problem. Umfragemethodik basiert ja darauf, dass man sich über die Ziehung von probabilistischen Stichproben das Gesetz der großen Zahlen (für die unverzerrte Schätzung des Stichprobenmittelwertes der zu interessierenden Variable) sowie den zentralen Grenzwertsatz (Stichprobenmittelwerte konvergieren langfristig gegen Normalverteilung <- Schätzung von Konfidenzintervallen) zu nutze macht. Deshalb werden ja unter anderem t-tests mit Normalverteilungsannahmen verwendet um zu überprüfen, wie hoch die Wahrscheinlichkeit ist, dass Unterschiede zwischen Variablen in einer Stichprobe auf zufällige oder nicht zufällige Effekte zurückzuführen sind (klassische Signifikanz und Hypothesentests).

In der Praxis muss mein Sample hierfür natürlich den Gesetzmäßigkeiten einer probabilistischen Stichprobe folgen. Allerdings kann man Menschen aus einer Grundgesamtheit leider nicht wie Kugeln aus einer Lostrommel ziehen. Da fangen die Probleme an. Nehmen wir an, wir wollen 1000 Menschen in Deutschland zufällig befragen (das bedeutet, alle Personen in Deutschland haben die gleiche Chance, in der Stichprobe zu landen <- zumindest bei klassischem Simple Random Sampling, andere Methoden lassen wir der Einfachheit halber mal außer acht).

Nur 800 der 1000 Personen antworten. Hier stellt sich dann die Frage, weshalb wir von den 200 Personen keine Antwort erhalten haben. Man hat also im Grunde ein Missing-Data-Problem und muss sich nun fragen, weshalb die Daten fehlen. Da gibt es statistisch drei Möglichkeiten:

MCAR = Missing completly at random. Das wäre dann der Fall, wenn von den 1000 Personen 200 aus zufälligen Gründen nicht an der Umfrage teilnehmen: Vielleicht hat ja unser Auswahlmechanismus zufällig gesponnen, vielleicht konnten die Anrufe aus rein zufälligen Gründen nicht durchgestellt werden. Das ist sehr unwahrscheinlich, aber wäre möglich. Würde dieser Fall eintreffen, wäre das für die Stichprobenschätzung noch das beste. Denn rein zufällig fehlende Werte erhöhen lediglich die Varianz der Stichprobe und machen die Konfidenzintervalle damit breiter. Die Schätzung wird also etwas ungenauer, aber es kommt zu keiner systematischen Verzerrung

MAR = Missing at random. Missing at Random (MAR) liegt vor, wenn das Fehlen nicht zufällig ist, sondern wenn das Fehlen vollständig durch Variablen erklärt werden kann, für die vollständige Informationen vorliegen. Ein Beispiel ist, dass Männer mit geringerer Wahrscheinlichkeit eine Umfrage zu Depressionen ausfüllen, was jedoch nichts mit ihrem Depressionsniveau zu tun hat, nachdem die Männlichkeit als erklärende Variable berücksichtigt wurde. Liegen solche Informationen im Datensatz vor, können diese genutzt werden um MAR auszugleichen. Die beste Möglichkeit hierfür wäre aktuell multiple Imputation, es ist aber nicht die einzige.

MNAR: Missing not at random. Der häufigste und meist nicht zu lösende Fall. Die Daten fehlen aus systematischen Gründen, das Fehlen ist kausal mit einem Grund des Fehlens verknüpft. Das wäre zum Beispiel dann der Fall, wenn die 200 Leute nicht an meiner Umfrage teilgenommen haben, weil sie Umfrageinstituten generell nicht trauen und Leute, die Umfrageinstituten nicht trauen systematisch andere Eigenschaften aufweisen.

Ich habe dazu selbst geforscht und kann sagen, dass man schon bei wenigen systematischen Verzerrungen viele Konfidenzintervalle nur noch wenig gebrauchen kann. Man kann das beispielsweise überprüfen, indem man sich in einer statistischen Programmierumgebung eine synthetische Grundgesamtheit erstellt (sagen wir mal eine Population mit N = 1.000.000 Einwohnern) und den Stichprobenziehungsprozess im Rahmen einer Monte-Carlo-SImulation simuliert. Ziehen wir also n= 1000 Elemente aus der Grundgesamtheit. Hierzu kann man dann MNAR über multinomiale Logit-Modelle künstlich in den Sampling-Prozess einfügen und die Stichprobe korrumpieren. Ein Konfidenzintervall sollte ja in 95% der Stichproben den wahren, aber unbekannten Wert in der Grundgesamtheit enthalten. In der Simulation sieht man aber, dass dieser Wert von 95% schnell massiv einbricht. Bei MNAR im Umfang von 10-15% der Stichprobengröße umschloss das Konfidenzintervall in manchen Fällen in nur noch 0% der Stichproben den wahren Wert der Grundgesamtheit. Für Signifikanztests, die ja genau auf dieser Annahme basieren ist das natürlich fatal. Auf der englischen Wikipedia gibt es hier ein Beispiel: https://en.wikipedia.org/wiki/Missing_d ... random.png

Und das Problem sind ja nicht nur die Konfidenzintervalle, sondern die Tatsache, dass die gesamte Punktschätzung zu systematischen Verzerrungen neigen wird - je mehr systematischer non-response, desto schlimmer. Vernünftige, wissenschaftliche Institute für Datenerhebung sind sich dessen sehr bewusst und treffen in der Praxis einiges an Prävention, um Non-Response und Non-reponse bias zu verhindern. Prävention ist hier grundsätzlich besser als Nachsorge, denn im Nachhinein sind systematische Verzerrungen kaum auszuhebeln <- Garbage in, garbage out. Man sollte also schauen, wer mit welcher Methodik eine Umfrage durchgeführt hat.

Weiterführende Literatur für interessierte:

Bethlehem, Jelke G.; Cobben, Fannie; Schouten, Barry (Hg.) (2011): Handbook of nonresponse in household surveys. Hoboken, NJ: Wiley (Wiley series in survey methodology).

Brand, J.P.L. (1999). Development, implementation and evaluation of multiple imputation strategies for the statistical analysis of incomplete data sets (pp. 110-113). Dissertation. Rotterdam: Erasmus University.

Brick, J. Michael; Williams, Douglas (2013): Explaining Rising Nonresponse Rates in Cross-Sectional Surveys. In: The Annals of the American Academy of Political and Social Science 645 (1), p. 36–59.

Earp, Morgan; Mitchell, Melissa; McCarthy, Jaki; Kreuter, Frauke (2014): Modeling Nonresponse in Establishment Surveys: Using an Ensemble Tree Model to Create Nonresponse Propensity Scores and Detect Potential Bias in an Agricultural Survey. In: Journal of Official Statistics 30 (4), p. 701–719.

Gustavson, Kristin; Røysamb, Espen; Borren, Ingrid (2019): Preventing bias from selective non-response in population-based survey studies: findings from a Monte Carlo simulation study. In: BMC medical research methodology 19 (1), p. 120.
"In God we trust, all others bring data." –William Edwards Deming (1900-1993)
Benutzeravatar
Teeernte
Beiträge: 32036
Registriert: Do 11. Sep 2014, 18:55
user title: Bedenkenträger

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Teeernte »

NicMan hat geschrieben:(03 Dec 2021, 23:15)

Prinzipiell handelt es sich hier um ein sogenanntes "(Unit)-Non-response" Problem.
Prinzipiell handelt es sich um ein PROFIT Modell. Die Fragen stellen SUBUNTERNEHMER - zu BILLIGPREISEN.
Messehostessen fragen ob die jungen Männer auch besorgt um die Umwelt sind..... :D :D :D

Die Subs werden nach "positivem Ergebnis" >> der GUUUUUTEN WISSENSCHAFTLICHEN Machart eingekauft .....BILLIG und "das" richtige Ergebnis.

Mit dem ERWARTETEN Ergebnis und wenig "Ausgaben" ist der Profit gesichert.

Selbst "Telefonbefragungen" werden nicht immer selbst durchgeführt .....und auch die Auswahl der Befragten (bei welchem Gewinnspiel gewonnen ? Herz und Venenmittel ....oder OnlineGewinnspiel) .

Die Seiten mit "FALSCHEM" Ergebnis fällt unter den Tisch. Davon bekommt der Organisator aber nichts mit.
Verzerrungen bei Umfragen...

https://www.surveymonkey.de/mp/dont-let ... cher-bias/

Aber - man kann auch die Fragebogen selbst ausfüllen und braucht dann nur wenige Befrager draussen...
In der Branche wird zuweilen planmäßig manipuliert. Die meisten Insider ahnen es wohl, viele wissen davon, doch sie bekommen das Problem nicht in den Griff. Und ja, auch große, seriöse Markt- und Sozialforschungsunternehmen sind indirekt betroffen.

Selbst die Demoskopen von Allensbach, so etwas wie Halbgötter der Zunft, sind nicht davor gefeit, mit manipulierten Daten beliefert zu werden.
https://www.spiegel.de/wirtschaft/unter ... 90711.html

Es ist ein GESCHÄFT und keine angewandte Wissenschaft - man versucht DIES aber den Konsumenten so beizubringen (Anteil des Geschäftsmodells)

Warum soll ein Wähler für seine "FREIE" Wahl >> eine Beeinflussung (durch UMFRAGE) vorab konsumieren ?

Stimmt es ist PROPAGANDA ! >> Bezahlte WERBUNG - deshalb "machen" auch Werbefirmen den Sub für den "Befrager".
Sowohl beim Brexit-Referendum als auch bei den US-Präsidentschaftswahlen lagen die Umfragen daneben.
Zuletzt geändert von Teeernte am Fr 3. Dez 2021, 23:56, insgesamt 1-mal geändert.
Obs zu kalt, zu warm, zu trocken oder zu nass ist:.... Es immer der >>menschgemachte<< Klimawandel. :D
Benutzeravatar
H2O
Moderator
Beiträge: 47318
Registriert: So 13. Sep 2015, 13:49
Wohnort: Zachodniopomorze

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von H2O »

Ja, danke, das hat den Kollegen Alster sicher voran gebracht! :)
Benutzeravatar
NicMan
Vorstand
Beiträge: 5930
Registriert: Fr 23. Sep 2016, 12:27
user title: Statistiker und Epistemologe

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von NicMan »

Teeernte hat geschrieben:(03 Dec 2021, 23:51)

Fullquote[/color][/b]
Das hat aber wenig mit der Problematik des Threaderstellers zu tun. Hier geht es nicht um Umfragemanipulation, sondern um methodische und stochastische Probleme bei der Interpretation klassischer Parameter einer Stichprobe im Falle von systematischen Antwortausfällen.
"In God we trust, all others bring data." –William Edwards Deming (1900-1993)
Benutzeravatar
Teeernte
Beiträge: 32036
Registriert: Do 11. Sep 2014, 18:55
user title: Bedenkenträger

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Teeernte »

NicMan hat geschrieben:(03 Dec 2021, 23:56)

Das hat aber wenig mit der Problematik des Threaderstellers zu tun. Hier geht es nicht um Umfragemanipulation, sondern um methodische und stochastische Probleme bei der Interpretation klassischer Parameter einer Stichprobe im Falle von systematischen Antwortausfällen.
Der selbe Apfel - die rote Seite trägt Gift - und die andere Seite ist voll Altöl.....

Ergebnis >> ungeniessbar. Die Frage ist nur noch >>>(Beauftragte) ABSICHT >> (ungekennzeichnete Propaganda) oder ZUFALL ??

Würdest Du eine Umfrage Firma beauftragen - deren Ergebnisse 1000 m am echten Ergebnis vorbeiwerfen - aus 1 m Entfernung ?

Aber was will man erwarten - wenn es um VIEL GEld geht und .....die Verwandschaft die Firma führt - oder man über Kreuz "tauscht" ?

(Wie bei der Werbeabteilung bei einem bestimmten Kaffee und "blauem"//grünem Werkzeug ..)

Es geht um GELD und nicht um Antwortausfall durch "FEHLER". Reine Fehler liegen bei 1% Abweichung - da liegen ausreichend Forschung vor... Man befragt dann WISSENSCHAFTLICH .....und macht Demoskopie.

99,998 % der Deutschen sind für Wahlschutz in Deutschland ! :D :D :D Es gibt keine toten Wahle in den Berliner Gewässern !
Obs zu kalt, zu warm, zu trocken oder zu nass ist:.... Es immer der >>menschgemachte<< Klimawandel. :D
Benutzeravatar
NicMan
Vorstand
Beiträge: 5930
Registriert: Fr 23. Sep 2016, 12:27
user title: Statistiker und Epistemologe

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von NicMan »

Teeernte hat geschrieben:(04 Dec 2021, 00:17)

Es geht um GELD und nicht um Antwortausfall durch "FEHLER". Reine Fehler liegen bei 1% Abweichung - da liegen ausreichend Forschung vor... Man befragt dann WISSENSCHAFTLICH .....und macht Demoskopie.
Nochmal, das ist nicht das Problem, von dem der Threadersteller spricht. Du kannst natürlich auch mal einen Blick in die Literatur werfen, die verlinkt wurde. Und auch bei höchst wissenschaftlichen Studien und Umfragen gibt es oft Problemen mit Antwortausfällen - das lässt sich manchmal nicht umgehen. Die Frage ist dann, wie stark dies die Datenqualität beeinflusst. Übrigens liegen Stichprobenfehler nicht immer bei 1% Abweichung, sondern dies ist freilich abhängig von der Größe der Stichprobe und der Varianz der zu schätzenden Zielgröße.
"In God we trust, all others bring data." –William Edwards Deming (1900-1993)
Benutzeravatar
Teeernte
Beiträge: 32036
Registriert: Do 11. Sep 2014, 18:55
user title: Bedenkenträger

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Teeernte »

NicMan hat geschrieben:(04 Dec 2021, 00:22)

Nochmal, das ist nicht das Problem, von dem der Threadersteller spricht. Du kannst natürlich auch mal einen Blick in die Literatur werfen, die verlinkt wurde. Und auch bei höchst wissenschaftlichen Studien und Umfragen gibt es oft Problemen mit Antwortausfällen - das lässt sich manchmal nicht umgehen. Die Frage ist dann, wie stark dies die Datenqualität beeinflusst. Übrigens liegen Stichprobenfehler nicht immer bei 1% Abweichung, sondern dies ist freilich abhängig von der Größe der Stichprobe und der Varianz der zu schätzenden Zielgröße.
zunehmende Spam Anrufe auch als Umfragen getarnte Verkaufsgespräche
ist das falsche Ergebnis im Eröffnungsbeitrag Absicht oder Zufall ?

Aus Deiner Sicht nur eine Frage der Datenqualität ? .....Aus meiner - Sicht - ein Teil bezahlter Propaganda.

Die Frage kann man aus beiden Seiten beantworten.....und sogar aus beiden Seiten Sicht "Recht" haben.
Obs zu kalt, zu warm, zu trocken oder zu nass ist:.... Es immer der >>menschgemachte<< Klimawandel. :D
Benutzeravatar
NicMan
Vorstand
Beiträge: 5930
Registriert: Fr 23. Sep 2016, 12:27
user title: Statistiker und Epistemologe

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von NicMan »

Teeernte hat geschrieben:(04 Dec 2021, 00:40)

Aus Deiner Sicht nur eine Frage der Datenqualität ? .....Aus meiner - Sicht - ein Teil bezahlter Propaganda.
Es geht da um das, was ich angesprochen habe und was der Threadersteller ja auch kausal ableitet: Durch spam-Anrufe neigen Menschen weniger dazu, an Umfragen im Allgemeinen teilzunehmen (könnte ja ein Betrüger sein) und das beeinflusst dann wiederum auch die Datenqualität von seriösen Instituten, die ja auf gesamplete Teilnehmer angewiesen sind. Und da sind wir dann beim Thema von Unit-non-response. Das hat aber erstmal nichts mit der absichtlichen Manipulation von Umfragen zu tun. Das wäre Thema für einen eigenen Thread.
"In God we trust, all others bring data." –William Edwards Deming (1900-1993)
Benutzeravatar
Teeernte
Beiträge: 32036
Registriert: Do 11. Sep 2014, 18:55
user title: Bedenkenträger

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Teeernte »

NicMan hat geschrieben:(04 Dec 2021, 00:44)

Es geht da um das, was ich angesprochen habe und was der Threadersteller ja auch kausal ableitet: Durch spam-Anrufe neigen Menschen weniger dazu, an Umfragen im Allgemeinen teilzunehmen (könnte ja ein Betrüger sein) und das beeinflusst dann wiederum auch die Datenqualität von seriösen Instituten, die ja auf gesamplete Teilnehmer angewiesen sind. Und da sind wir dann beim Thema von Unit-non-response. Das hat aber erstmal nichts mit der absichtlichen Manipulation von Umfragen zu tun. Das wäre Thema für einen eigenen Thread.
Deine Sicht ->> oder Anweisung ? Wollen wir den Threadersteller befragen ?? ....oder eine "UMFRAGE" machen ?
Obs zu kalt, zu warm, zu trocken oder zu nass ist:.... Es immer der >>menschgemachte<< Klimawandel. :D
Benutzeravatar
Vongole
Moderator
Beiträge: 21378
Registriert: Di 24. Mär 2015, 18:30

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Vongole »

Teeernte hat geschrieben:(04 Dec 2021, 00:48)

Deine Sicht ->> oder Anweisung ? Wollen wir den Threadersteller befragen ?? ....oder eine "UMFRAGE" machen ?
Ich freue mich schon drauf, wie diese Diskussion zwischen dir und NicMan ausgeht.
Wäre ich gemein, würde ich drauf wetten. :D
Am Yisrael Chai

"It's God's job to judge the terrorists, it's our duty to arrange that meeting." (IDF)
Benutzeravatar
Teeernte
Beiträge: 32036
Registriert: Do 11. Sep 2014, 18:55
user title: Bedenkenträger

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Teeernte »

Vongole hat geschrieben:(04 Dec 2021, 01:00)

Ich freue mich schon drauf, wie diese Diskussion zwischen dir und NicMan ausgeht.
Wäre ich gemein, würde ich drauf wetten. :D
Am Tag, als die DDR-Regierung die Sektorengrenze abriegelt – die Vorstufe zum Mauerbau – sendet Radio DDR eine Umfrage unter den eigenen Bürgerinnen und Bürgern.

Sie „hätten schon viel früher“ kommen müssen.


>>>
Es wäre niemanden anzuraten gewesen, da eine andere Meinung zu sagen.
:D
Obs zu kalt, zu warm, zu trocken oder zu nass ist:.... Es immer der >>menschgemachte<< Klimawandel. :D
Benutzeravatar
H2O
Moderator
Beiträge: 47318
Registriert: So 13. Sep 2015, 13:49
Wohnort: Zachodniopomorze

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von H2O »

Mal sehen, in welcher Weise sich der Kollege Alster dazu vernehmen läßt. Mein Acker ist dieses Gebiet wirklich nicht... da bin ich ganz Ohr.
Benutzeravatar
Alster
Beiträge: 1787
Registriert: So 22. Okt 2017, 16:36

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Alster »

NicMan hat geschrieben:(03 Dec 2021, 23:15)
Nur 800 der 1000 Personen antworten. Hier stellt sich dann die Frage, weshalb wir von den 200 Personen keine Antwort erhalten haben. Man hat also im Grunde ein Missing-Data-Problem und muss sich nun fragen, weshalb die Daten fehlen. Da gibt es statistisch drei Möglichkeiten: ...
Und das ist für die heutige Situation bei Telefonstichproben noch optimistisch gedacht. P.Gufler zitiert in seiner Masterarbeit
https://unipub.uni-graz.at/obvugrhs/con ... 7/full.pdf
Studien mit Ausschöpfungsraten bis runter zu 27,5%. wobei in der zitierten Arbeit eine klare wohnortbezogene Systematik beobachtet werden konnte. Ein weiterer Trend sinkender Ausschöpfungsraten wird berichtet (ebenfalls Gufler), wobei die Gründe m.E. gut nachvollziehbar sind.

Aber wie sieht es eigentlich mit der Ziehung der Rufnummern aus (der Teil des Ganzen der noch am ehesten über Zufallsgenerator läuft)? Das hierfür verwendete Gabler Häder Verfahren müsste man sich mal genauer anschauen, hierzu z.B.:
https://nice-bastard.blogspot.com/2009/ ... s-dem.html
Wir haben jedoch dann das Problem, dass unter Festnetznummern normalerweise ein Haushalt, unter Handynummern dagegen eher eine Person erreicht wird. Hier behilft sich der Umfrager normalerweise durch Festlegung von (anscheinend eher relativ willkürlichen) Quoten Festnetz vs. Handy, wobei eine Verzerrung der Ergebnisse ebenfalls nicht ausgeschlossen wird.
dies ist keine Rechtsberatung sondern nur meine persönliche Meinung
Benutzeravatar
Teeernte
Beiträge: 32036
Registriert: Do 11. Sep 2014, 18:55
user title: Bedenkenträger

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Teeernte »

Alster hat geschrieben:(04 Dec 2021, 12:59)

Und das ist für die heutige Situation bei Telefonstichproben noch optimistisch gedacht. P.Gufler zitiert in seiner Masterarbeit
https://unipub.uni-graz.at/obvugrhs/con ... 7/full.pdf
Studien mit Ausschöpfungsraten bis runter zu 27,5%. wobei in der zitierten Arbeit eine klare wohnortbezogene Systematik beobachtet werden konnte. Ein weiterer Trend sinkender Ausschöpfungsraten wird berichtet (ebenfalls Gufler), wobei die Gründe m.E. gut nachvollziehbar sind.

Aber wie sieht es eigentlich mit der Ziehung der Rufnummern aus (der Teil des Ganzen der noch am ehesten über Zufallsgenerator läuft)? Das hierfür verwendete Gabler Häder Verfahren müsste man sich mal genauer anschauen, hierzu z.B.:
https://nice-bastard.blogspot.com/2009/ ... s-dem.html
Wir haben jedoch dann das Problem, dass unter Festnetznummern normalerweise ein Haushalt, unter Handynummern dagegen eher eine Person erreicht wird. Hier behilft sich der Umfrager normalerweise durch Festlegung von (anscheinend eher relativ willkürlichen) Quoten Festnetz vs. Handy, wobei eine Verzerrung der Ergebnisse ebenfalls nicht ausgeschlossen wird.
Die Generierung der Telefonanschlüsse läuft nicht "PAUSCHAL//Zufällig" sondern wird >> aus einem POOL von Telefonnummern zufällig generiert.

Dieser POOL von Telefonnummern wird durch andere Umfragen/Gewinnspiele generiert.....oder >> EIN//ZU-GEKAUFT . (Hier zb https://www.address-base.de )

Einfach "SO" anrufen - geht nicht - COLD CALL = unlauterer Wettbewerb. Mann® muss die "Kunden" schon "gewinnen".


(Die Abfrageinstitute beauftragen einen Dienstleister - der auch eine >>Preiswerte!!<< Datenbasis vorhällt. Jedes Auswahlkriterium kostet extra.
schauen wir uns doch die "Ergebnisse" an....

-Wohnort
-Alter
-Einkommen
-Bildung

.....ich übertreibe mal >>.....Schwanzlänge....// BH Körbchengrösse.....


Festnetz generiert den VORTEIL die Adressenverteilung für die Umfrage ohne Abfrage gleich mit zu haben - und bei mehrfachem abfragen bereits einige DATEN mit gewonnen zu haben.

Die Leute haben eine Eigenart - dass im Haushalt vorrangig MÄNNER dafür zuständig sind - unbekannte Anrufer "abzufertigen".... 2/3 (og Studie)... - vorrangig "Kleinstädter" (og.Studie) nicht gleich wieder auflegen.

--------------------------------------

Ablauf - Jaaaaa.....XYZ -

Sind Sie "DER" Herr XYZ ?


(Sonst ....könnte es auch ein Kind sein - dass man ohne Einwilligung der Eltern garnicht befragen darf...
oder die Perle....oder Oma ....)

Hier ist das Umfrageinstitut "Heiße Susi " wir führen grad eine Umfrage zu ........xxxxx durch es dauert auch nur 2 Minuten - währen Sie dazu bereit ?

Wer noch alle Latten am Zaun hat - soll hier gegenüber FREMDEN erzählen -
-Wohnort
-Alter
-Einkommen
-Bildung
wieviel Einkommen man hat ..... (Wieviel Geld im KELLER ?? die Tonnage Gold ..)
....und wie oft MANN® wieder AfD gewählt hat....

Nach dem ERSTEN Abgleich braucht man dass ja nicht nochmal - der Computer merkt sich dass und macht aus dem Ergebnis der Befragung dann die Sortierung - nach ALTER, Wohnort, Einkommen....

------------------------------------

Man wird schnell wieder gelöscht - >>

Nach

Sind Sie "DER" Herr XYZ ?


Ja - hier ist der DIENSTANSCHLUSS der Notrufnummer der >> XXXXX Hilfe.

Sonst wird man die NIEEEE wieder los - und die VERKAUFEN die Telefonnummer ja weiter.... >> Brauchst Du ein paar "Bauerntelefonnummern" für ein Abo Du und Dein Hund....Frau auf dem Dorf.....Kunstoffkittelkatalog.....Gummistiefel mit Blümchenmuster.....Du und Dein Pferd......

Ich hab nur (nebenbei) die Technik für einige Callcenter gemacht....
War hier im Osten ein RUN vor 15 Jahren... :D :D :D Heute sperrt die Fritzbox solche Telefonnummern... https://p4web.de/fritzbox-telefonterror-aussperren/
Obs zu kalt, zu warm, zu trocken oder zu nass ist:.... Es immer der >>menschgemachte<< Klimawandel. :D
Benutzeravatar
Alster
Beiträge: 1787
Registriert: So 22. Okt 2017, 16:36

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Alster »

Teeernte hat geschrieben:(04 Dec 2021, 13:48) Die Generierung der Telefonanschlüsse läuft nicht "PAUSCHAL//Zufällig" sondern wird >> aus einem POOL von Telefonnummern zufällig generiert.
Wie von Dorin Popa (hier nochmal:)
https://www.blogger.com/profile/16870999486618271331
beschrieben, wird vom ADM eine Liste von Anschlüssen Liste zu einer Obermenge aufgeblasen und an das Mitgliedsunternehmen geliefert. Die können daraus dann per Zufallsgenerator eine Stichprobe ziehen, zum anderen fliegen aber auch die nicht vergebenen Anschlüsse wieder raus. Ob der Zwischenschritt beim ADM statistische Gründe hat, oder nur der Anonymisierung dient habe ich noch nicht ganz kapiert.

Teeernte hat geschrieben:(04 Dec 2021, 13:48) Wer noch alle Latten am Zaun hat - soll hier gegenüber FREMDEN erzählen -
-Wohnort
-Alter
-Einkommen
-Bildung
Der Knackpunkt ist, dass eine Umfrage nur Repräsentativ ist, wenn die Verteilung dieser (und vieler weiterer) Features in Stichprobe und Grundgesamtheit in etwa gleich sind. Unmöglich! Also abfragen und rausrechnen. Dein Zusatz "Wer noch alle Latten am Zaun hat" drückt berechtigte Zweifel aus, ob das willfährige Beantworten dieser Fragen nicht bereits per se eine Negativauswahl darstellt.


die technisch Versierten:
Teeernte hat geschrieben:(04 Dec 2021, 13:48) Heute sperrt die Fritzbox solche Telefonnummern... https://p4web.de/fritzbox-telefonterror-aussperren/
fliegen raus. Ich glaube sowas nennt sich Selbstselektion.
dies ist keine Rechtsberatung sondern nur meine persönliche Meinung
Benutzeravatar
Teeernte
Beiträge: 32036
Registriert: Do 11. Sep 2014, 18:55
user title: Bedenkenträger

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Teeernte »

Alster hat geschrieben:(05 Dec 2021, 17:23)

Wie von Dorin Popa (hier nochmal:)

fliegen raus. Ich glaube sowas nennt sich Selbstselektion.
Das ist ein (hornalter) Rechtsstand. Die Quelle von 2007.


Das vom Blogger beschriebene "goldschürfen" >> einfach die Telefonnummerblocks durchrufen - darf man aus D nicht - also "rattert" :D :D :D das Callcenter in der Türkei die Nummern durch.... Jede "GUTE" Nummer wird dann an Händler verkauft - einige wollen nur die "Omas" ....und machen Enkeltrick - andere verkaufen Zeitungen oder Busreisen.....oder machen Befragungen.

Ernst zu nehmende , nahmhafte Unternehmen haben eigene Dateien.

Superdaten(KRAKE) ist Bertelsmann. Kaufst Du bei der Bahn ein Ticket - online ? (Bonitätsprüfung) >> Arvato - (Ist nur meine Meinung)(Schulden?/Inkasso/FinancialSolutions/OutsourcingRechnungschreiben...Zwischenfinanzierung Ist der Ansprechpartner zB. für HTC ...die Öffentliche Hand lässt hier rechnen und Schreiben/Rechnungen drucken... ....auch bei der "Post" sind Datenbänke zu kaufen.

Die Grossen Meinungsverkäufer haben ihre eigene "Bank" mit Daten.

Je nach GELD und Interesse an genauerer Datenbank KAUFT man //Konzentriert man//gleicht die Daten ab.

Dies passiert mittels Werbemittelverteilern , die ja nun auch eigene "Briefzusteller" Firmen betreiben. Wer also einen Brief bekommt - der über eine Verteilstation elektronisch eingelesen wird - füttert das Viehch Datenkrake. (Unzustellbar geht zurück) .

Weitere Daten werden aus Wählerlisten, Daten der Meldeämter (alles ist käuflich) generiert -

nun fehlt also nur noch die Telefonnummer - die gibts auch elektronisch als Telefonbuch - ....abe da sind nur noch Geschäfte und wenige Private drin.

Die Geschäfte werden herausgefiltert......und dann ging es FRÜHER los mit den "Datenblöcken" im Wohngebiet.

Hat sich mit IP Telefon ERLEDIGT. - wenn ich will - nehm ich ein IP Anschluss aus Japan - ist nur Teuer für meine Leute, die mich anrufen wollen.

Die Telefonnummer ist nicht mehr örtlich gebunden - und ich selbst hab meine DIENSTTELEFONNUMMER aus Hannover hier im Osten direkt auf meinem Tisch....oder ich heb in Hannover ab....

Die Zuordnung Name Telefonnummer Ort wird also wichtig.......und eine ERLAUBNIS des Kunden zur Befragung.

Also gibt es Newsletter, Onlinegewinnspiele, Versender (die wieder bei Arvato schauen -zB. ob das Applenotebook pro - auf Vorkasse geht).

Die Technisch Versierten (bei Dir selbstselektion genannt) ? ....es gibt auch die "Alten" Schriftgelehrten die das über die Robinsonliste oder beim Einwohnermeldeamt gegen die Datenweitergabe in ner Liste eingetragen sind....

Es gibt somit gleich bei der Datenbasis eine Verzerrung - DatenSicherheitKUNDIGE (diese kleinen Igel) sind nicht anzufassen.
Firmen dürfen auch nicht angerufen werden (die Beschäftigten ----die Firma ausspioniert//befragt werden) . >> Arbeitskräfte fallen so sie kein eigenes Telefon haben fallen raus.

Auch Telefonbesitz ist kein GRUND es auch für "telefonieren" anzumachen. Ich hab im Moment nur 4 Stück (privat) in Nutzung . davon ist nur eins zum telefonieren - die anderen fressen SMS //Sicherheitsschlüssel//Bestätigungen//Zählerstände//Zugangscode - und 2 Handy-Diensttelefone..

Die ARP Auflösung kann man auch kaufen. (Wo will ich grad mit dem Handy sein... ) - die "Person" selbst verschleiern - muss hier sicher keiner...aber das ist auch drin. (Online "Japaner" ist leicht und billig.)

Somit wird die "BASIS" für die Befragungsinstitute immer kleiner - wir kommen zum nächsten Punkt -

Psychologie. Wer "VERSCHENKT" seine Zeit an so einen (m.E. Mülldienst) und gibt seine persönlichsten Daten weiter ...

(Nicht mal meine Frau weiß , wen ich ....//ob ich wähle....)

>>> Bitte bei mir einbrechen - Frage Wohnsituation ....EFH ? - Frage Mitbewohner /Kinder (Google Earth sagt Nachbar weit weg) Frage Haushaltsnetto-Einkommen >> "Milliarden" :D :D :D - Frage Alter....Frage Bildung.... Frage Wen werden Sie ...am x. Bei DER WAHL wählen....Frage Briefwähler...
Welcher Knaller gibt FREIWILLIG seine (richtigen) Daten weiter ??

...die Befragung bringt GELD - ....deshalb wissenschaftlich gut verbrämte Stimmungsmache.
Obs zu kalt, zu warm, zu trocken oder zu nass ist:.... Es immer der >>menschgemachte<< Klimawandel. :D
Benutzeravatar
H2O
Moderator
Beiträge: 47318
Registriert: So 13. Sep 2015, 13:49
Wohnort: Zachodniopomorze

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von H2O »

Na ja, etwas systematischer als eines der klassischen Horoskope scheinen mir professionelle Umfragen aber dennoch zu sein. Wenn die Datenbasis im Einzelfall ziemlich schräg liegt, dann wird doch das gelegentlich verfügbare "unbestechliche" Ergebnis (etwa ein Wahlergebnis regional und national) benutzt, um den Bewertungsfehler in den immer wieder verfügbaren Abfragen "ohne Gewähr" wieder zu "normalisieren". So würde ich jedenfalls aus Fehlern lernen und meine Vorhersagen filtern. Brauchbarer als ein Horoskop sollten diese Vorhersagen anhand erfaßter Daten am Ende schon sein.

In einer Wahlumfrage von Parteien, die nur wenige Prozentpunkte auseinander liegen, werden Vorhersagen zum Lotteriespiel. Aber was hilft's? Die Kundschaft erwartet Ergebnisse. Vielleicht sogar geschönte Ergebnisse zur Selbstvergewisserung...
Benutzeravatar
Teeernte
Beiträge: 32036
Registriert: Do 11. Sep 2014, 18:55
user title: Bedenkenträger

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von Teeernte »

H2O hat geschrieben:(05 Dec 2021, 21:28)

Na ja, etwas systematischer als eines der klassischen Horoskope scheinen mir professionelle Umfragen aber dennoch zu sein. Wenn die Datenbasis im Einzelfall ziemlich schräg liegt, dann wird doch das gelegentlich verfügbare "unbestechliche" Ergebnis (etwa ein Wahlergebnis regional und national) benutzt, um den Bewertungsfehler in den immer wieder verfügbaren Abfragen "ohne Gewähr" wieder zu "normalisieren". So würde ich jedenfalls aus Fehlern lernen und meine Vorhersagen filtern. Brauchbarer als ein Horoskop sollten diese Vorhersagen anhand erfaßter Daten am Ende schon sein.

In einer Wahlumfrage von Parteien, die nur wenige Prozentpunkte auseinander liegen, werden Vorhersagen zum Lotteriespiel. Aber was hilft's? Die Kundschaft erwartet Ergebnisse. Vielleicht sogar geschönte Ergebnisse zur Selbstvergewisserung...
Nur mal einen "Joke" aus der Nachwendezeit im Osten.... (Echte Begebenheiten !!)

unsere TelefonUmfrage ungeübten Frauen und Mädels im Osten >>
Hallo hier ist der Herr Braun von der Firma "Beate Uhse" - wir führen eine Nutzerbefragung durch - kennen Sie unser Unternehmen - haben Sie bereits Erfahrung mit unseren Produkten - haben Sie Hinweise oder Produktverbesserungen ?.....

....wir haben immer wieder kostenfreie Warenproben - was darf ich Ihnen anbieten ? >>>> :D :D :D

Ja dazu brauch ich ihre Bekleidungsgrösse.....Körbchengrösse .... welchen Umfang soll der Massagestab haben ? Wo darf ich die Ware hinversenden ?

Darf ich Ihnen zu Ihrer Bestellung einige Produkte aus der SM Abteilung beilegen ? - Natürlich erklär ich Ihnen gern die Nutzung unserer Produkte....

Zum Abschluss bitte ich Sie, bei unserem guten Gespräch, für mich eine gute Nutzerin unserer Produkte zu nennen - denen sie ebenfalls kostenfreie Produkte unserer Firma zukommen lassen wollen ? Ihre Freundin, Arbeitskollegin ?
Hallo hier ist der Herr Braun von der Firma "Beate Uhse" - wir führen eine Nutzerbefragung durch....

Ihre Freundin , die Susi hat uns ihre Telefonnummer empfolen - als gute Nutzerin unserer Produkte.....Wir wollen Neuheiten an unseren Kundinnen ausprobieren

....haben Sie schon mal....

.. Welche Erfahrungen möchten Sie mit den Kundinnen teilen - wie bewerten Sie unsere Artikel ?

Also - dass die Firma keine Umfrage gemacht hat - brauch ich wohl nicht zu betonen.... Der Mann hat statt Sexhotline einfach ein paar Mädels angerufen.

Innerhalb weniger Sekunden - mit dem Versprechen ein paar kostenlose Produkte zu erhalten haben die Mädels ihre TIEFSTEN Geheimnisse an einen FREMDEN offenbart.

Seit dem ist >> "MÄNNER" heben beim Telefon ab ->> angesagt.

Das Vertrauen geht gegen DOPPEL NULL - bei Befragungen. Ist es möglicherweise der Arbeitgeber , der die Loyalität der Angestellten prüfen will ? Böse Nachbarn..... oder Personen die ihr neues Angriffsziel (Gesinnung ...Religion......bis hin zur Haussicherung... Geldbeträge)...... ausbaldowern wollen ?

Hier ist die Polizei/Versicherungs - eine Umfrage... :D :D :D Wieviel BarGeld haben Sie im Haushalt ? - und Schmuck ? Dar ich Ihnen einen Kollegen zur Sicherheitsprüfung vorbeischicken ??

Wer ist SOOOOO Schnatterblöd sich "befragen" zu lassen ??
Obs zu kalt, zu warm, zu trocken oder zu nass ist:.... Es immer der >>menschgemachte<< Klimawandel. :D
Benutzeravatar
H2O
Moderator
Beiträge: 47318
Registriert: So 13. Sep 2015, 13:49
Wohnort: Zachodniopomorze

Re: Stichprobenqualität bei Telefonumfragen

Beitrag von H2O »

Tja, wer wohl? Ich stelle mir dazu Leute vor, die lange Zeit unbeachtet vor sich hin gelebt haben, keine Wertschätzung erfahren haben. Und plötzlich klingelt das Telefon und ein einfühlsamer Mensch fragt Dinge, die bisher niemand von dieser Person wissen wollte. Endlich!
Antworten