I 2015 så de fleste for seg en relativt uvanlig situasjon i Storbritannia med hung parliament og mulig nyvalg innen ikke altfor lang tid. Svært få snakket høyt om muligheten for at de konservative ville få rent flertall alene. Sannsynligheten for at det skulle skje ble ansett som så liten at knapt var noen overhode som husket at hvis noe så usannsynlig faktisk skjer, så hadde de konservative faktisk lovet å holde folkeavstemming om britisk EU-medlemskap. Men i og med at konservativt flertall var urealistisk, var det heller ikke så interessant å snakke om lovnaden Cameron hadde kommet med for å holde backbencherne nogen lunde i ro, annet enn å kanskje nevne det som en kuriositet.
Etter valget i 2015 ble det nedsatt en kommisjon for å se nærmere på hva som gikk galt i målingene. Under ledelse av professor Parick Sturgis (University of Southampton), gikk et metodetungt utvalg på 9 personer i gang med å obdusere målingene. Konklusjonen var av den dramatiske sorten der man slo fast at utvalgene ikke var representative:
”Our conclusion is that the primary cause of the polling miss in 2015 was unrepresentative samples. The methods the pollsters used to collect samples of voters systematically over-represented Labour supporters and under-represented Conservative supporters.”
KORTTIDS-GURU
En av få som traff med prediksjonen på valget i 2015 var Matt Singh. Blant annet så han at de konservative ville ta flere stemmer fra Lib Dems og at Labour ville miste flere stemmer til UKIP enn målingene indikerte. I og med at Singh var en av svært få som traff blink, var han på vei mot guru-status. England hadde fått sin egen Nate Silver. Det vil si helt til Singh på dagen for EU-avstemmingen skrev følgende på sin side (Number Cruncher Politics – NPC):
”Remain is favourite to win, with a 75 per cent chance of having more votes than leave. Though the polls on average suggest a close result, with Remain about 2 points ahead, the single likeliest outcome in the NPC projection is a more decisive vote to stay in the EU: Remain 53, Leave 47.”
Som Singh imidlertid påpekte, men på et vis tok avstand fra, viste målingene at det ville bli jevnt. Det må være lov å påpeke at mens både finansmarked og bookmakere så det som tilnærmet usannsynlig at det ville bli flertall for å forlate EU, var flere meningsmålere ute og advarte at dette var for jevnt på målingene til at man kunne konkludere den ene eller andre veien.
I ettertid var det imidlertid en mager trøst at man advarte om et jevnt valg. Selv om en del hadde valgresultatet innenfor feilmarginen, ble det etterlatte inntrykket at man hadde bommet grovt igjen. Ikke minst fordi mange av de som hadde resultatet innenfor feilmarginene like fullt tippet med i større grad mot remain enn mot leave.
DEN STØRSTE BOMMEN
7. november 2016: ”The HuffPost presidential forecast model gives Democrat Hillary Clinton a 98.2 percent chance of winning the presidency. Republican Donald Trump has essentially no path to an Electoral College victory.”
Av alle som bommet på presidentvalget i USA, var vel Huffington Post sin prediksjon den groveste, men alle prediksjonsmodeller som hadde meningsmålinger som en sentral variabel tok feil. Tabellen på neste side er fra nettstedet 270towin.com og viser oversikt over toneangivende aktørers anslag for antall valgmenn, der alle har Clinton som vinner.
Men selv om modellene som predikerte styrkeforholdet i valgmenn var feil, er det et sammensatt bilde når det gjelder hvorvidt målingene tok feil. Nasjonale målinger hadde Clinton som vinner og hun fikk flertallet av stemmene nasjonalt. De nasjonale målingene traff i mange tilfeller bedre enn i 2012 (da de hadde Mitt Romney altfor høyt). Det er i enkelte vippestater det skurret. Spesielt i Demokratenes tradisjonelle «Blue Wall» med Michigan, Pennsylvania og Wisconsin. Dette ble ansett som så sikre Demokratiske stater at Wisconsin og Michigan ble totalt ignorert av Clintonkampanjen. Når Wisconsins historisk sett mest treffsikre politiske måling hadde Clinton 6 poeng foran, avlyste Trump-kampanjen et planlagt arrangement i delstaten i den tro at løpet var kjørt.
Generelt er bildet at Demokratene beholdt grepet om de høyt utdannede i urbane strøk og tradisjonelle forstadsområder. I byene gjorde Trump det elendig. I Los Angeles og Chicago fikk han rundt 20 prosent, i Boston under 15 prosent, i San Fransisco under 10 prosent. I sin egen hjemby New York City fikk han under 20 prosent og i bydelen Manhattan var det under 10 prosent som stemte på Trump. Drar man ut i rurale deler av delstaten New York, blir det et litt annet bilde. I Hamilton County fikk Trump 67 prosent og i en rekke andre distrikt i delstaten var resultatet på dette nivået. Dette illustrerer noe av det skarpe skillet mellom ulike grupper velgere, der Republikanernes grep om landsbygda blir sterkere.
Av grafen (neste side) (fra NPR), ser vi at styrkeforholdet har holdt seg ganske likt i urbane strøk fra 2008, mens Republikanerne har styrket seg i rurale strøk.
Og Trumps grep om velgere på landsbygda blir veldig klart når vi ser på resultatene fordelt på sentralitet. Av de 9 sentralitetsnivåene USDA deler inn i, er det kun i det mest sentrale at Clinton har flertall, i alle andre områder er det Trump-flertall. Og jo mindre sentralt området blir, jo større er marginen til fordel for Trump.
NEKTET Å TRO DET KUNNE SKJE?
Et perspektiv vi ikke skal glemme er oppfattelsen og tolkningen av usikkerhet. Dette blir kanskje spesielt viktig når man tolker poll of polls, eller prediksjonsmodeller, fordi det blir lettere å overse den enkelte målings svakheter (ikke bare i form av feilmarginer). Ta følgende eksempel:
Nate Silver hadde 29 prosent sannsynlighet for Donald Trump seier. 29 prosent sannsynlighet for at noe skal skje er langt unna null! Handler derfor noe av sjokket over at målingene feilet også om at mange uansett hva målingene viste ikke klarte se for seg at Donald Trump kunne bli president? Det var rett og slett litt for sprøtt til at vi kan forestille oss det. Hvis ditt favorittlag i fotball før en viktig kamp har en 30 prosent sjanse til å slå et storlag, tenker du da at nei, det er jo sjanseløst, ikke noen vits i å se på engang? Neppe.
NPR 14. november.
NPR 14. november. Av grafen ser vi at styrkeforholdet har holdt seg ganske likt i urbane strøk fra 2008, mens Republikanerne har styrket seg i rurale strøk.
Fivethirtyeight siste prediksjon 8. november.
VALG 2017
Sett i lys av det som har skjedd i USA og Storbritannia, er det grunn til å anta at en del politiske journalister og kommentatorer vil tolke meningsmålinger med en viss skepsis i valgkampen her hjemme. Sannsynligvis blir dette et viktig valg for vår troverdighet, der det er lite spillerom for bommerter. Så hva kan være farene i våre målinger? I det store og hele er vi litt mer gunstig stilt enn i spesielt Storbritannia der utvalgene kan være noe rufsete for å si det forsiktig. Likevel har vi enkelte forhold vi bør være obs på. Både Brexit og presidentvalget i USA viser en by/land, elite/ikke-elite (i mangelen av et bedre uttrykk) forhold. Det er spesielt en ting å merke seg i den sammenheng. Mens vi i det store og hele har utvalg som ser bra ut når det gjelder de «vanlige» kjennetegnene (kjønn. alder, geografi), er det langt mer åpent om vi fanger opp alle grupper som vi bør fange opp. Nå kjenner jeg selvsagt ikke alle befolkningsundersøkelser som er gjort, men i alle landsrepresentative befolkningsundersøkelser jeg har sjekket for utdanning, er det en underrepresentasjon av lavt utdannede. Vekting på utdanning fører i mange tilfeller til så store vekter at utvalget må justeres.
Og selv om utvalget er mer eller mindre spot on på geografi, kan det like fullt være underliggende skjevheter vi må vite om. By/land dimensjonen kan for eksempel ikke ignoreres. Når dette skrives går SP fram på målingene. Er det ulvestrid og kun by/land, er det også en gryende EØS-skepsis som går langs andre dimensjoner eller er det noe vi ikke engang vet å spørre om?
Foran et måpende pressekorps la tidligere forsvarsminister i USA Donald Rumsfeld i sin tid ut om the known knowns, the known unknowns og the unknown unknowns. I utvalgene vi må passe oss for the unknown unknowns – forhold vi ikke engang vet at vi ikke vet, men som vi absolutt burde vite….
Kilder: The Guardian, BBC, Number Cruncher Politics, Washington Post, Huffington Post, fivethirtyeight.com, Larry Sabato’s Crystal Ball, npr.org, New York Times, 270towin.com.