Om man ska ta en liten tur tillbaka till det där med statistiskt säkerställda förändringar och storleken på dessa så har ju även Novus kommenterat frågan.
Citat:
Signifikanta förändringar:
Förändringar som är större än följande sedan valet är statistiskt signifikanta: M 2,0 %, FP 1,0 %, C 1,1 %, KD, 0,9 %, S 2,0 %, V 1,2 %, MP 1,2 %, SD 1,7 % och FI 0,6 %, alliansen 2,3 % och rödgröna 2,3 %.
http://novus.se/wp-content/uploads/2015/05/Novus-Väljarbarometer-21-maj-2015.pdf
Detta är taget ur rapporten för undersökningen i maj. I och med att man vet att skillnaderna är små mellan undersökningarna har man tydligen här valt att hänvisa till signifikanta förändringar jämfört med valet vilket på sitt sätt är förståeligt men samtidigt så gör det ju inte saken så intressant att följa månad per månad. Orsaken till att de här siffrorna är lägre än Demoskops är ju givetvis att Novus har valt att göra undersökningar med omkring 4000 intervjuer på sistone, antagligen för att de vill kunna få möjligheten till bättre subgruppsanalyser men det har ju också bieffekten att man får lite snävare konfidensintervall för partistorlekarna.
Nu har ju vår käre statistiker svarat lite om detta, men risken är ju att det blir ett väl teoretiskt svar för de flesta som inte har läst mycket statistik. Nu har jag inte min statistikbok för dumskallar (läs medicinare) liggande, men det kan ju vara en fördel ibland just för att man inte kan vara lika teoretisk. Konfidensintervall är ju alltid kopplade till ett visst antagande om statistisk säkerhet. I princip kan väl beskriva läget lite så här. Ska man värdera ett resultat i en undersökning vill man göra en bedömning om hur stor risken är att ett resultat beror på slumpen. Går man runt och frågar två personer i Rinkeby om de föredrar chokladglass eller vaniljglass, och alla svarar chokladglass, och sedan frågor samma fråga till två personer i Danderyd och upptäcker att de föredrar vaniljglass är det ju kanske värt att reflektera en liten stund om det här kan vara en slumpresultat innan man drar igång en kampanj mot rasifierad glasskonsumtion och ICA:s frysdisks del i att upprätta hålla detta.
I princip bygger ju sedan den statistiska analysen på att man utgår från nollhypotesen, det vill säga att det inte finns någon skillnad i hur grupperna föredrar glass, och sedan beräknar man sannolikheten att få fram den observerade skillnaden med hjälp av slumpen. I just det här fallet är det ju rätt enkelt att förstå att sannolikheten är tämligen stor att ett så här litet urval av personer kan ge en sådan här skillnad beroende på slumpen. Det vanligaste statistiska signifikanskriteriet är 0,05, d.v.s att sannolikheten är 5 procent att få fram den observerade skillnaden givet att det inte finns någon skillnad i verkligheten. Det här får absolut inte tolkas som att det är 95 procents säkerhet att skillnaden är sann om man rör sig utanför den här typen av mätningar där man mäter en känd faktor som antingen ändrar sig eller inte men i varje fall garanterat finns på riktigt.
Inom mitt eget område, d.v.s. medicinsk vetenskap är ju situationen helt annorlunda, i och med att man där använder samma testning för hypotestestning, t.ex. att värdera om resultat i läkemedelsstudier visar tillräckligt stora skillnader för att vara intressanta. I det läget kan man ju antingen testa verkliga skillnader, eller testa bullshit. Sannolikheten för att resultatet är sant i verkligheten är ju beroende på hur troligt det var från start att det faktiskt var sant och inte bullshit som inte är sant från start. Testar man homeopati som garanterat är bullshit är ett positivt resultat i en studie med till visshet gränsande sannolikhet ett slumpresultat även om det är statistiskt signifikant*. Den bästa illustrationen av det här problemet (och orsaken till att jag inte läser kvällstidningarnas rapportering om medicinska rön) är nog det här avsnittet av XKCD:
https://xkcd.com/882/
Ett konfidensintervall är egentligen bara ett alternativt sätt att redovisa statistisk säkerhet där man anger medelvärdet och sedan ett intervall uppåt och nedåt. I senaste Demoskop uppenbarligen 18,7 +-3,2 procent, vilket innebär att SD:s väljarsiffror med 95 procents sannolikhet (eftersom man valt signifikanskriteriet p = 0,05) finns inom intervallet 15,5 till 21,9 procent. Hade man valt ett annat signifikanskriterium, t.ex. 0,10, hade man ju angett snävare konfidensintervall istället eftersom man då bara kräver att 90 procent av fallen ska falla inom det. Det man menar med statistiskt säkerställd förändring är att SD:s resultat faller utanför konfidensintervallet, vilket är samma sak som att säga att det är 5 procents sannolikhet att förändringen skulle ske av en slump om det egentligen inte skett en ändring i SD:s väljarstöd.
Storleken på konfidensintervallen är beroende på antalet personer man frågar i och med att variationen man kan få mellan olika mätningar är beroende av antalet personer som är med i mätningen. Ett stort antal personer innebär ju en mindre variation i resultaten, och tumregeln är ju att detta minskar med kvadratroten ur ökningens storlek. Med andra ord, dubblar du antalet personer i studien så kan du dela konfidensintervallen med roten ur 2, ska du halvera ditt mätfel, då får du fyrdubbla antalet personer i studien (i och med att roten ur 4 är 2).
Konsekvensen av detta är ju att det finns massiva diminishing returns på att gå upp i antalet intervjuade personer i en opinionsmätning i och med att man hela tiden måsta ökat antalet deltagare exponentiellt för att halvera mätfelet samtidigt som mätfelet blir allt mindre intressant i förhållande till eventuella systematiska fel. En annan konsekvens av detta är att det är svindyrt att göra läkemedelsstudier på läkemedel om du ska bevisa att du är lite bättre än ett annat läkemedel och inte bara (som det andra läkemedlet gjorde) visa att du är bättre än placebo, i och med att man blir tvingad att påverka en mycket mindre skillnad, vilket i sin tur kräver mycket fler personer i din studie. Gissa varför läkemedelsbolagen inte gillar att göra den här typen av studier...
I alla fall tog jag och slog ihop Novus uppgifter om felmarginalen med Demoskops och räknade mig tillbaka baklänges till vad konfidensintervallet skulle vara om man hade 1000 personer i en studie:
Citat:
- Partistorlek Felmarginal vid 1000 deltagare
- 39,00 4,60
- 35,00 4,14
- 30,00 4,00
- 25,00 3,80
- 13,00 3,40
- 10,00 2,68
- 7,00 2,40
- 5,40 2,00
- 5,00 1,90
- 4,60 1,80
- 3,10 1,20
Nu är ju det här inte perfekta siffror eftersom det uppenbarligen finns en del avrundningar som gör att det blev lite ojämna hopp när man slår ihop de två källorna, men det går ju att höfta sig fram lite till vad felmarginalen är om man vet antalet deltagare i undersökningen och vilken siffra man befinner sig på. T.ex.: Demoskop anger 18,7 procent för SD och har 1250 intervjuer på ett ungefär i sin undersökning. Alltså kan vi ta en siffra lite mitt emellan 13 och 25 vilket blir 3,6 procent vid 1000 intervjuer, sedan kan vi korrigera ökningen: 3,6 delat med roten ur 1250/1000 = 3,6/1,25^0,5 = 3,2 procent.
Spontant kan jag ju känna att det analyserar och skrivs väldigt mycket om uppenbarligen väldigt osäkra ändringar i opinionen i opinionsmätningarna, och inom naturvetenskap och medicin skulle vi mest slänga den här typen av osäkra samband i papperskorgen som oanvändbar information, men i och med att det är mer eller mindre osäkra ökningar i väljarstöd kan det väl ha visst underhållningsvärde även om jag nog kommer vara lite mer försiktig att bry mig om 1 procent hit eller dit framöver. Uppenbarligen fattar ju inte de politiska kommentatorerna hur osäkra ändringarna är, eller gör de det och inser att de blir arbetslösa om man nu inte tar alla ändringar på allvar och låtsas att allt är sant.
*Som fördjupning kan ju den intresserade se den sannolikt mest citerade artikeln på det här temat av Ioannidis från 2005,
Why most published research findings are false
http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124