Vi tar alle feil – iblant

Falske positive og falske negative

Når vi tar en test, forventer vi at testen viser riktig resultat. Nå er det mange som tar koronatester. Er vi syke så bør vi holde oss hjemme, og er vi friske kan vi gå på jobb, skole eller trening.

Hva skjer når testen viser feil resultat? Noen ganger når vi tar en medisinsk test, så viser testen at du er syk, mens du i virkeligheten er frisk. Det blir omtalt som en falsk positiv test. Andre ganger er det slik at vi faktisk er syke, men testen slår ikke ut. Da er testen falsk negativ.

Hypotesetesting og feil

Den samme utfordringen har vi som jobber med statistikk. Når vi tester en hypotese, tester vi om tallgrunnlaget som vi har samlet inn, støtter eller forkaster hypotesen. I samfunnsvitenskapen er det vanlig å bruke 95 % konfidensintervall. Det betyr at hypotesetesten i 95 % av tilfellene viser riktig resultat. I 5 % av tilfellene tillater vi at testen tar feil. Sagt med andre ord: én av 20 tester er feil.

I statistikk kaller vi det for type 1- og type 2-feil. Type 1-feil er når testen forkaster en sann hypotese. Det er det samme som en falsk negativ test. Type 2-feil er når testen bekrefter en hypotese som er usann. Det er det samme som en falsk positiv test.

Det kan være vanskelig å huske hva som er type 1- og type 2-feil. Det er mye lettere å forstå begrepene falsk positiv og falsk negativ test. Derfor foreslår jeg at vi begynner å bruke disse begrepene i stedet for type 1- og type 2-feil.

Hva med signifikanstesting? 

Når du tar et kurs i statistikk, er noe av det første du lærer hypotesetesting med t-test. Som forsker tester jeg også hypoteser, som oftest når jeg har gjennomført et eksperiment og sjekker om det er forskjell på eksperiment- og kontrollgruppen. Som markedsanalytiker gjorde jeg få t-tester. Det var ikke så vanlig å gjøre eksperiment og teste hypoteser.

Betyr det at markedsanalytikere ikke opplever falske positive eller falske negative resultater? Jo, det forekommer ganske ofte. Vi gjennomførte mange signifikanstester, for eksempel på gjentakende merkevaremålinger eller politiske meningsmålinger. Et eksempel kan være at det er en endring i andelen som foretrekker Telenor. Vi lurer på om endringen er signifikant. Har reklamekampanjen klart å gjøre målgruppen mer positive til Telenor? Andre ganger er det spørsmål om et parti faktisk har fått økt oppslutning, eller om det bare er tilfeldig variasjon i målingen.

Når vi signifikanstester, uttaler vi oss med 95 % sannsynlighet for at det faktisk er en endring. Da er det også slik at vi tar feil i én av 20 tilfeller. Vi som tolker data, og sier at merkepreferansen til Telenor har økt, eller at et politisk parti har fremgang på målingene, må være åpne for at vi kan ta feil.

Hvilke konsekvenser har feilen?

Det er viktig for Telenor å øke preferansen for merkevaren fordi det bidrar til økt salg av mobilabonnement. Før et valg er det viktig å vite om et politisk parti har fremgang eller ikke. På samme måte er det viktig å få riktig resultat på testen hvis du er syk, slik at du kan få riktig behandling. Resultatet av testene er viktige.

Likevel tillater vi i samfunnsvitenskapen at én av 20 tester viser feil resultat. Hvis en test er viktig, holder det ikke med én test.

I forskning får vi sjelden publisert resultater som kun baserer seg på et eksperiment. Vi må gjennomføre flere studier, i ulike situasjoner, for å finne om konklusjonen faktisk holder.

De mest interessante funnene er ofte falske positive, enten det gjelder endringer i merkepreferanse, fremgang for et politisk parti, eller et forskningseksperiment.

Fem tips til deg som tolker tall og statistiske tester

1. Overraskende resultat er ofte feil. I medisinske tester kan det være spesielt problematisk hvis du får et falskt positivt svar. Hver gang jeg gir blod, blir jeg testet for HIV. Hvis jeg får et falskt positivt svar på HIV-testen, blir jeg bekymret, for jeg kan ikke være sikker på at det er et falskt positivt svar.
2. Hvis du får et overraskende svar, bør du gjennomføre testen på nytt. Hvis jeg får en positiv HIV-test, blir jeg testet på nytt. Da håper jeg virkelig at den neste testen er negativ. På samme måte bør du som markedsanalytiker, hvis du har mulighet til det, gjøre en ny datainnsamling.
3. Hvis du finner et overraskende svar, bør du analysere data grundig. Er det unormale observasjoner (uteliggere), tastefeil eller feil ved utvalget? Bør du vekte resultatene i analysen? Det kan være krevende å gjøre alle analysene, men hvis du finner et overraskende svar, bør du bruke tid på å forsikre deg om at du har gjort alt metodisk riktig.
4. Bruk sunn fornuft og relevant teori til å belyse svaret. Reflekter over resultatet. Er det logisk? Er det i samsvar med tidligere funn? Finner du teori som støtter resultatet?
5. Det er sjelden lurt å være skråsikker. I boken Superforecasting (2015) undersøker Tetlock hvem som best er i stand til å spå riktig utfall av politiske hendelser: de skråsikre eller de tvilende. De som er skråsikre er tydelige og kommer med klare anbefalinger. Men det viser seg at de oftere tar feil. Tvilende ønsker å belyse saken fra flere sider og er generelt usikre på svaret. Det er de tvilende som i størst grad er i stand til å spå riktig resultat.

Les også: Det er kanskje ikke så tilfeldig som du tror?