Foto illustrasjonsbilde: Glenn Carstens-Peters
Vi i analysebransjen bruker fortsatt selvrapportering i spørreundersøkelser, vi måler holdninger, bruksmønster og respons på våre mer eller mindre innovative ideer og konsept. Etter hvert har det blitt ganske vanlig å bruke survey i kombinasjon med elementer fra eksperimentell research hvor vi forsøker å teste og sannsynliggjøre effekter. Det håper jeg vi vil fortsette å gjøre. Nylig leste jeg en henvisning til et forskningsresultat basert på bruk av list experiments i survey research. Dette er en ny tilnærming for meg og derfor deler jeg gjerne. Kanskje stimulerer jeg til gode ideer hos andre så dette får praktisk bruk eller videreutvikling i vår bransje?
Kort oppsummert er list experiments en mulighet for å avdekke det som ellers er vanskelig å forvente ærlige og åpne svar på ved selvrapportering og direkte spørsmål. Noen forhold er av en karakter som gjør at vi har tilbøyelighet til å gi svar vi opplever som sosialt aksepterte (effekten kalles gjerne social desirability bias). Den sosialt aksepterte atferden eller holdningen vil da overrapporteres. Dette kan være relevant å diskutere hvis vi for eksempel skulle ønske oss innsikt ala:
- Hvor mange deler bilder eller informasjon om konfidensielle forhold fra arbeidsplassen med sine venner og kjente?
- Hvor mange nordmenn ville mislike å få en strengt troende muslimsk familie som nærmeste nabo?
- Hvor utbredt er rasistiske holdninger i Norge?
- Hvor mange har utøvd vold mot sin nærmeste partner?
- Hvor mange har selv opplevd voldsmisbruk i nærmeste familie?
- Hvor mange med masterutdanning har bevisst jukset med oppgave eller eksamen?
- Hvor mange bruker bevisst titler fra utdanninger de ikke har fullført?
Poenget er at hvis det finnes spørsmål det er utfordrende å forvente ærlige og oppriktige svar på ved direkte spørsmål i tradisjonelle surveys, så kan list experiments være et nyttig og interessant alternativ. Metodikken kombinerer survey med eksperimentell research design og kort oppsummert fungerer det som følger:
- Vi sørger for randomisert tilordning av respondentene i et survey til grupper for å sikre disse er likt sammensatt, la randomiseringen dele i to og kalle den ene kontrollgruppen og den andre eksperimentgruppen
- I begge gruppene presenteres en liste med lite sensitive ja/nei-spørsmål. Dette må være spørsmål man forventer variasjon på, hvis det er åpenbart at alle eller ingen krever ja-svar fungerer det ikke. På samme måte bør det ikke forventes høy grad av korrelasjon mellom ja-svar på disse spørsmålene for den enkelte, det gir samme problem. Forvirrende? Hang in there…
- Vi stiller spørsmål om hvor mange av spørsmålene på listen respondenten vil svare ja på
Metoden hviler på at man ikke kan eller skal vite eksakt hvilke spørsmål som er besvart av den enkelte. Listen med lite sensitive ja/nei-spørsmål kunne for eksempel være:
- Er du fan av fotball-spilleren Messi?
- Tror du at du stemmer på Arbeiderpartiet ved neste stortingsvalg?
- Synes du Vinmonopolet burde ha åpent på søndager?
I kontrollgruppen stilles kun disse tre spørsmålene. I eksperimentgruppen inneholder listen med spørsmål i tillegg til de tre ovenfor også det sensitive spørsmålet. Nettopp svar på utbredelsen av dette er hele poenget med metoden, dette gjelder et emne eller fenomen vi antar er sensitivt og utsatt for såkalt social desirability bias. Vi antar direkte spørsmål ikke gir ærlige svar, men er påvirket av hva respondenten mener er «sosialt akseptert». Hvis vi for eksempel er opptatt av den skremmende muligheten for oppblomstring av høyre-ekstreme og rasistiske holdninger blant nordmenn kunne et mulig sensitivt spørsmål være noe ala dette (selv om det strengt tatt ikke finnes noen nordisk rase):
4. Anser du den nordiske rase som høyerestående i forhold til andre raser?
I begge gruppene ønsker vi svar på ett enkelt oppfølgende spørsmål: hva er antall ja-svar fra deg på spørsmålene i denne listen? Vi spør IKKE om hvilke dette er, kun hvor mange av spørsmålene på listen respondenten vil svare ja på.
Gitt at randomiseringen fungerer skal den eneste forskjellen mellom kontroll- og eksperimentgruppen være effekten av svarene på det sensitive spørsmålet. Derfor vil forskjellen i gjennomsnitt mellom gruppene være andelen som er enig i det sensitive spørsmålet. Det er da ganske fiffig, eller hva?
Jeg erkjenner at jeg kanskje er mer enn middels interessert i metode, men håper flere enn meg synes dette var interessant. En enkel og elegant idé som viser at smart survey-design fortsatt kan gi høy verdi og innsikt som ellers er svært vanskelig tilgjengelig og ikke mulig å få valide svar på ved direkte spørsmål. Diskusjonen om hvilke tema og spørsmål vi antar er påvirket av social desirability bias ved bruk av hvilke datainnsamlingsmetoder er også interessant, men for meg er det ny målemetodikk og nye muligheter som er det viktigste å bringe videre i denne lille kommentaren.
For ordens skyld: Jeg leste om dette i 16. januar-utgaven av the Economist med henvisning til forskning av Carter, Carter and Schick fra 2024. Der er fokus måling av oppslutningen til det kommunistiske partiet (CCP) og deres politikk blant den kinesiske befolkningen. Men hvis det finnes tema hvor vi erkjenner det er utfordrende å få ærlige svar på direkte spørsmål – så er dette relevant hos oss også. Hører gjerne synspunkter eller erfaringer med bruk av denne tilnærmingen eller annen spennende ny metodikk vi kan bruke for å bringe markedsanalysebransjen videre.
Kilder:
Carter, Erin & Carter, Brett & Schick, Stephen. (2024). Do Chinese Citizens Conceal Opposition to the CCP in Surveys? Evidence from Two Experiments. The China Quarterly. 1-10. 10.1017/S0305741023001819.