• Hoved
  • Nyheter
  • Hva vår overgang til online avstemning betyr i flere tiår med telefonundersøkelsestrender

Hva vår overgang til online avstemning betyr i flere tiår med telefonundersøkelsestrender

Fra 1980-tallet til relativt nylig gjennomførte de fleste nasjonale meningsmålerorganisasjoner spørreundersøkelser via telefon, og stolte på live-intervjuere for å ringe tilfeldig utvalgte amerikanere over hele landet. Så kom internett.

Det har tatt undersøkelsesforskere litt tid å tilpasse seg ideen om elektroniske undersøkelser, men en rask titt på de offentlige meningsmålingene om et spørsmål som presidentens godkjenning avslører et landskap som nå domineres av online meningsmålinger i stedet for telefonmålinger. Pew Research Center selv utfører nå flertallet av sin amerikanske avstemning online, først og fremst gjennom sitt amerikanske trendpanel.

Det faktum at mange opinionsundersøkelser i dag blir gjennomført på nettet, er ingen hemmelighet for ivrige meningsmålerne. Hva erikkevelkjent er imidlertid hva denne overgangen til avstemning på nett betyr for landets massevis av data som dokumenterer amerikansk opinion i løpet av de siste fire tiårene, om spørsmål som spenner fra abort og innvandring til raseforhold og militære inngrep. Konkret kan avstemmere bare legge til nye online-resultater i en lang kjede av telefonundersøkelsesresultater, eller er dette en eple-til-appelsinsituasjon som krever at vi i hovedsak kaster ut de historiske dataene og begynner på nytt?

Kjerneproblemet er sammenlignbarhet, siden forskning forteller oss at folk noen ganger svarer på avstemninger på nettet og telefon. Når en faktisk person, i form av en intervjuer, er involvert i å stille spørsmål, er det mer sannsynlig at folk svarer på en måte som maler dem i et positivt lys eller unngår en ubehagelig interaksjon. Denne sosiale dynamikken fjernes når folk tar undersøkelser på sin bærbare eller smarttelefon, uten intervjuer. Forskjellen i estimater som stammer fra intervjuemetoden er kjent som en moduseffekt.

Nøkkelspørsmålet blir da: Hvis et nytt online avstemningsestimat skiller seg merkbart fra et eldre telefonestimat, signaliserer det da en reell endring i opinionen, eller er forskjellen bare en gjenstand for den forskjellige modusen avstemningen ble gjennomført i?

Endring av modus kan bryte en trendTenk på et reelt eksempel. Mellom 2009 og 2014 fant senterets telefonavstemninger at andelen amerikanere som sa at det var mye diskriminering av homofile og lesbiske, pleide å sveve i underkant av to tredjedeler. I 2014 stilte senteret det samme spørsmålet på nettet og fant at bare 48% av amerikanerne uttrykte det samme synet.



Var det signal om en betydelig nedgang i opplevd diskriminering av homofile og lesbiske? Nei, det reflekterte en moduseffekt. Forskere vet dette fordi den elektroniske avstemningen var en del av et eksperiment der en tilfeldig halvdel av de voksne ble kontaktet for å ta undersøkelsen online og den andre halvparten ble intervjuet via telefon. Telefonanslaget fra eksperimentet (62%) var likt de tidligere estimatene for telefonavstemning. Eksperimentet avslørte at voksne var betydelig mer sannsynlig å si at homofile og lesbiske sto overfor mye diskriminering når de snakket med en intervjuer, enn da de spilte inn svarene sine privat på nettet. Dette reiser flere viktige tilleggsspørsmål som vi vil svare på nedenfor.

Er alle valgspørsmål utsatt for moduseffekter?

Nei. Forskning finner at metoden for intervjuing påvirker noen spørsmål, men ikke andre. For eksempel, i et randomisert moduseksperiment fra 2017, Pew Research Center, viste synspunkter på helsevesensloven fra 2010 vedtatt av Barack Obama og Kongressen ingen modusforskjell. Loven fikk en godkjenningsgrad på 48% både online og via telefon. Donald Trumps presidentgodkjenningsvurdering var også lik online (44%) og per telefon (42%). Andre spørsmål i studien viste imidlertid forskjeller i modus. På spørsmål om deres personlige økonomiske situasjon innrømmet 20% av de spurte på nettet å være i dårlig form økonomisk, sammenlignet med bare 14% av de spurte på telefonen.

Det er mye forskning om dette emnet, og det viser at moduseffekter mest sannsynlig vil forekomme under noen få scenarier. Hvis spørsmålet spør om et sensitivt eller potensielt pinlig tema, har selvadministrerte meningsmålinger gjort online en tendens til å gi data mindre skjevt mot svaret respondentene ser på som sosialt ønskelig enn intervjueradministrerte meningsmålinger. Hvis spørsmålet har en karakterskala, er respondentene i telefonavstemningen mer sannsynlige enn respondenter på nettet for å velge ekstremt positive svar, men det er ikke mer sannsynlig at de gir ekstremt negative svar.

Online meningsmålinger, i forhold til intervjuadministrerte meningsmålinger, har også en tendens til å ha lavere nivåer av manglende svar på varene (f.eks. Færre 'vet ikke' -svar) når et eksplisitt alternativ 'ikke vet' eller 'ingen mening' ikke tilbys. De fleste Pew Research Center-undersøkelser tilbyr ikke eksplisitte 'ikke vet' -alternativer. Respondenter på telefonundersøkelser tilbyr mer sannsynlig ekvivalenten (ved å fortelle intervjueren at de ikke vet svaret eller ikke kan svare på spørsmålet) enn respondenter på onlineundersøkelser (ved å hoppe over spørsmålet).

Hvordan håndterer Pew Research Center denne forskjellen når det rapporteres om trender?

Senterets tilnærming gjenspeiler det faktum at noen spørsmål har høy risiko for moduseffekter (f.eks. 'Hvordan vil du rangere din egen økonomiske situasjon'?), Mens andre ikke har det (f.eks. 'Godkjenner eller ikke godkjenner du helsevesensloven? vedtatt av Barack Obama og Kongressen i 2010 '?). Vår policy er ikke en størrelse som passer alle. I stedet bruker den tilgjengelig informasjon for å prøve å avgjøre hvilken av følgende tre brede behandlinger som er mest passende:

Bryt trenden.

I noen tilfeller er det overbevisende bevis for at den elektroniske avstemningen målte holdningen med mindre feil (f.eks. Mindre sosial ønskelig skjevhet) enn telefonavstemningen. Når det skjer, vil det uten tvil gjøre mer skade enn godt å presentere de historiske trendtallene, noe som vil føre til forvirring eller feil rapportering. 'Å bryte trenden' kan knuse en forskers hjerte, men i disse tilfellene vil senteret slippe de foregående års data og kun presentere de nye online estimatene.

Overbevisende bevis på at en trend er brutt kommer i form av eksperimentelle data, som senterets randomiserte moduseksperimenter i 2014 og 2017, eller anerkjennelse av at et trendspørsmål har egenskaper vist i forskningslitteraturen for å øke sannsynligheten for en moduseffekt.

Rapporter det nye online estimatet som en del av en eksisterende telefonutvikling, men gjør leserne oppmerksomme på endringen i modus.

I andre tilfeller antyder tilgjengelig informasjon at trendlinjen fortsatt er gyldig og informativ i sammenheng med det nye estimatet. Likevel bør leseren gjøres oppmerksom på at undersøkelsen flyttet fra en telefonavstemning til en online avstemning.

Eksempel på trend med en stiplet, merket linjeEt eksempel på dette kan bli funnet i en senterrapport fra 2017 om holdninger til nyhetsmediene. Forskere oppdaterte en nesten 30-årig telefonutvikling med nye estimater fra en online undersøkelse. I grafikken brukte de en stiplet og merket linje, så vel som en fotnote, for å signalisere modusendring. I tillegg varslet språket i selve rapporten leseren om endringen: 'Det bør bemerkes at før 2016 ble spørsmålet stilt via telefon i stedet for på nettet, noe som kan fremkalle litt forskjellige svarmønstre'. Denne tilnærmingen, som understreker tydelig signalisering av en modusendring, er kanskje mest hensiktsmessig i flere år umiddelbart etter en modusendring, når mønsteret med online estimater fremdeles kommer til syne. I løpet av de neste årene vil senteret fortsette å konfrontere disse trendproblemene, og i løpet av den tiden vil denne midterste tilnærmingen om å tydelig utkalle en modusendring være standard rapporteringsstil.

Rapporter det nye online estimatet som en del av en eksisterende telefonutvikling uten større vekt.

Nedover veien, etter at flere år med online målinger er etablert for en trend, kan en subtilere rapporteringsstil være passende. For eksempel, hvis den lange trendbuen for et spørsmål viser at en modusbryter hadde liten eller ingen effekt, kan det være rimelig å flytte språk om modusendringen fra diagrammer og rapportere tekst til fotnoter. Hvis imidlertid dataene antyder at modus hadde en meningsfull effekt på estimatene, ville det være tilrådelig å beholde den klare signaliseringen i diagrammer og rapporttekst.

Er metoden for intervjuing den eneste kilden til forskjeller mellom eldre telefonestimater og nyere onlineestimater?

Ikke nødvendigvis. Hvis et eldre telefonestimat skiller seg fra et nyere online estimat ved å bruke nøyaktig samme spørsmålsformulering, kan minst fire faktorer bidra til forskjellen. Disse er:

Ekte endring over tid

Ideelt sett kan forskjellen tilskrives reell endring i befolkningen i stedet for en gjenstand for hvordan avstemningen ble gjennomført.

Måleforskjeller

Som diskutert ovenfor, er intervjudynamikken forskjellig for online avstemning versus live telefonavstemning. Fraværet av en intervjuer i avstemninger på nettet har en tendens til å fremkalle mer rapportering av følsomme, provoserende eller ekstremt negative holdninger, og det har en tendens til å resultere i lavere nivåer av varesvart med mindre alternativet 'ikke vet' eller 'ikke sikker' eksplisitt er tilbys. Mode påvirker også hvordan folk kognitivt behandler svarvalgene. Når du tar en nettundersøkelse, er det naturlig at folk favoriserer førstevalget de leser (en 'primacy-effekt') hvis de ikke har en sterk mening. På telefonen er det naturlig for folk å favorisere det siste valget som intervjueren leste for dem (en 'recency-effekt'), ettersom det alternativet er det enkleste å huske.

Telefon- og elektroniske avstemninger har også en tendens til å varierehvor oftefolk blir intervjuet. Telefonavstemninger er vanligvis engangsundersøkelser der et nytt, nytt utvalg av publikum blir intervjuet hver gang en avstemning blir felt. Online undersøkelsespaneler rekrutterer derimot et utvalg av publikum til å ta undersøkelser fortløpende (f.eks. En gang i måneden). Når den samme gruppen mennesker blir intervjuet flere ganger, er det mulig for gjentatte målinger å ha en effekt (f.eks. Ved å gjøre undersøkelsesemnet mer fremtredende for paneldeltakerne). Selv om en slik 'kondisjonering' av respondentene ikke ser ut til å være en stor trussel i paneler som spør om mange forskjellige emner - som American Trends Panel - må forskere være årvåken om denne risikoen.

Vektingsforskjeller

Vektingsprotokollen for Pew Research Center telefon- og nettavstemninger er lik, men det er noen forskjeller. Både senterets telefon- og elektroniske avstemninger bruker en prosess som kalles raking for å sikre at de vektede dataene er nasjonalt representative med hensyn til viktige demografiske egenskaper som alder, rase, spansk bakgrunn, etnisitet, region, kjønn og utdanning. Senterets meningsmålinger utført online med American Trends Panel har imidlertid noen ekstra justeringer. For eksempel blir de elektroniske avstemningene også raked til befolkningsmål for frivillighet og internettilgang for å adressere det faktum at voksne som er mindre samfunnsengasjert eller som ikke bruker internett, har en tendens til å være underrepresentert i elektroniske paneler.

Eksempel på komposisjonsforskjeller

Mens Pew Research Centers telefon- og online-meningsmålinger rekrutteres offline for å være nasjonalt representative ved hjelp av stikkprøver, kan profilen til personer som er intervjuet under hver metode, variere noe. Senterets telefonavstemninger trekker stikkprøver av mobiltelefoner og fasttelefonnumre ved hjelp av en prosess som kalles tilfeldige sifre. Senterets online amerikanske trendpanel rekrutteres derimot nå ved hjelp av tilfeldige eksempler på boligadresser. I tillegg er det mer sannsynlig at noen undergrupper vil delta i undersøkelser via telefon versus online. Eksempler på telefonundersøkelser skjever ofte eldre mens online undersøkelseseksempler noen ganger skjever yngre. Vektingsprosedyrene nevnt ovenfor brukes til å prøve å løse slike mønstre, men noen forskjeller som kan tilskrives profilen til hvem som svarte på avstemningen, kan vedvare.

Når modusforskjell oppstår, kan de gjenspeile en kombinasjon av flere av disse faktorene.

Kan noen svare på avstemningene fra Pew Research Center nå som de gjennomføres online?

Nei. Mens noen online meningsmålinger tillater hvem som helst å delta, fortsetter senteret å bruke vitenskapelig, sannsynlighetsbasert prøvetaking. Kontrollert, vitenskapelig prøvetaking sikrer at folk ikke kan delta med mindre de blir invitert til å gjøre det. Senterets rekruttering til meningsmålingene skjer offline (det vil si ikke å bruke internett) via posten av to hovedårsaker. For det første har ikke en betydelig andel av publikum internettilgang. For det andre eksisterer det ingen omfattende liste over e-postadresser for alle voksne somgjørehar tilgang til internett. Dette betyr at det for øyeblikket ikke er noen måte å velge undersøkelsesprøver online på en måte som dekker hele befolkningen. Frakoblet rekruttering betyr at internettilgang - i form av et nettbrett og en dataplan - kan gis til de som ikke allerede har det, og sørger for at alle amerikanere har en viss sjanse til å bli intervjuet i denne nye tiden av online avstemning.

Har valgindustrien gått gjennom en stor modusendring før?

Ja. På 1970- og 1980-tallet gikk mange nasjonale avstemmere over fra personlig intervjuing (der intervjuere banket på dører over hele landet) til direkte telefonintervju. Mange av de samme spørsmålene og bekymringene som industrien står overfor eksisterte nå den gang.

Signalerer senterets overgang at det er et problem med telefonavstemning?

Senterets økende bruk av det amerikanske American Trends Panel og dets bevegelse bort fra telefonstemning er delvis en reaksjon på utfordringene knyttet til telefonstemmingen. Når det er sagt, kan telefonavstemning fortsatt fungere bra, som vist i midtveisvalget i 2018. Meningsmålingene før valget i 2018 - inkludert de som ble utført via telefon med live-intervjuere - var gjennomsnittlig mer nøyaktige enn midtveismålingene siden 1998.

Er Pew Research Center helt ferdig med avstemning i USA?

Nei. Mens et flertall av senterets innenlandske avstemninger nå er gjort på nettet, fortsetter noen avstemninger. I noen tilfeller er det mulig å gjennomføre en telefonavstemning samtidig som en online avstemning for å få litt informasjon om størrelsen på moduseffekten i en langvarig trend. Telefon er fortsatt et godt alternativ for studier av visse spesielle populasjoner.

Ettersom undersøkelsesundersøkelser arbeider seg gjennom det andre store modusskiftet i sin relativt korte eksistens, er Pew Research Center forpliktet til å eksperimentere med, evaluere og rapportere om utførelsen av elektroniske undersøkelser.

I slekt:

Hovedrapport: Growing and Improving Pew Research Center’s American Trends Panel

Spørsmål og svar: Hvorfor og hvordan vi utvidet vårt amerikanske trendpanel til å spille en større rolle i våre amerikanske undersøkelser

Svarprosenten i telefonundersøkelser har gjenopptatt sin nedgang

Facebook   twitter