Hos IMM er det hektisk stemning. 150 intervjuere er i ferd med å fullføre Norsk Verdi. Helle Wiig gleder seg som et barn til at hun 4 uker etter feltslutt skal se de første resultatene.
Men så, «TOMT FOR NUMMER!!» Det ropes ut i lokalene – det er ikke flere telefonkataloger igjen å ringe på. SHITT!!!! tenker Helle, er det mulig?? – ikke flere telefonkataloger igjen rett før vi er ferdige?? Perra skulle selvsagt kjøpt flere kataloger. HERREGUD!! Gode råd er åpenbart dyre. På søndager er det ikke Televerket åpent, hvordan skal man få tak i flere nummer? Helle går rastløst rundt i lokalet og skriker «ER DET IKKE EN ENESTE JÆVEL SOM HAR ET GODT FORSLAG??». En intervjuer reiser seg opp og forteller Wiig at «Det går rykter om at det omsettes telefonkataloger eller noe som likner nede ved Oslo S». Hm… interessant. «LØP UT OG SJEKK!!» beordrer Wiig. Nede ved Oslo S står det en litt uflidd kar med en liten bag. Han selger det han kaller telefonlister. Intervjueren fra IMM spør om han har flere igjen – «Ja, jeg har et par stk. Jeg vet ikke helt hvor det kommer fra, men jeg kjøpte det av en kar som sa at han hadde jobbet for både Sjallup og Din Mening og han påsto at det var god kvalitet». Numrene blir kjøpt og brakt tilbake til Grønland og IMM. Helle ser på numrene. Helvete, tenker hun, kan vi virkelig gjøre dette? Ringe på nummer vi har kjøpt av noen vi ikke vet hvem er og som påstår at de kommer fra et annet analyseinstitutt? Dette kan jo være hva som helst. Men, vi må jo bli ferdige. Og, kanskje vi bare skal sette noen kvoter på kjønn, alder og geo sånn at i hvert fall det blir riktig?
Kvotene settes på, og intervjuerne starter å ringe. Men så skjer det noe. Flere av intervjuerne melder tilbake til intervjuleder at det er en mengde aggressive kvinner i den andre enden. Ok, heldigvis har vi kvote på kjønn. (Senere skal det vise seg at telefonlisten egentlig er medlemslisten til kvinnegruppen Ottar.) Nye numre deles ut. «Bare menn nå» – beordres det. Det begynner bra, men når man en måned etterpå ser på dataene ser man en klar overvekt av ytterliggående høyreradikale standpunkter på verdispørsmålene Norsk Verdi er så kjent for. Det viser seg at den andre ringelisten utelukkende inneholdt numre til Bøler. Siste innspurt av intervjuene gjennomføres med ringelister som viser seg å være kundeklubben til det for lengst glemte norske supermarkedskonseptet Smart Club. Dataen blir selvsagt feil. Representativiteten finnes ikke. Skandalen er et faktum.
Kunne aldri skjedd tenker du kanskje? Selvsagt ikke. Ikke for tyve år siden. Men faktisk, dette skjer akkurat nå. Bytt ut ringelister med «sample» og 1997 med 2017 så er vi der. Kjøp og salg av sample fra diverse kjente og ukjente kilder, «river sampling», «mixed sample» osv er en trend som har bredd seg fra USA og UK (tenk målinger av Trump og Brexit). I enkelte markeder er det mer en regel enn et unntak at man setter på kvoter for å få det hele «representativt» og «topper opp» sample fra alle mulige og umulige kilder fordi man ikke har store nok paneler til å levere selv. Veldig få dataleverandører er åpne om dette. Det blir bare fikset med en slags implisitt samtykke fra analyseinstituttene av typen «dont ask dont tell». Bekymret? Bra, det bør man være. Dette skjer 100 prosent garantert i Norge i dag.
Min soleklare oppfordring: Styr unna. Insister på å få vite hvor dataene kommer fra og hvem som er kilden. Vær meget oppmerksom dersom noen foreslår sammenblanding av flere datakilder. Og vær så snill – ikke bruk argumentet «her trenger vi bare noen data, det holder med litt representativt». Litt representativt finnes ikke. Tenk 1997 – ville noen foreslått «litt representativ»? Vil sluttkundene ha skjeve data eller ubestemmelige data når hele poenget er å kunne generalisere?
Alle dataleverandører skal aktivt informere om datakilde.
Alle kunder bør aktivt spørre.
Hilsen venn av Helle Wiig