Citat:
Ursprungligen postat av
Doktor Pork
I princip bygger ju sedan den statistiska analysen på att man utgår från nollhypotesen, det vill säga att det inte finns någon skillnad i hur grupperna föredrar glass, och sedan beräknar man sannolikheten att få fram den observerade skillnaden med hjälp av slumpen. I just det här fallet är det ju rätt enkelt att förstå att sannolikheten är tämligen stor att ett så här litet urval av personer kan ge en sådan här skillnad beroende på slumpen. Det vanligaste statistiska signifikanskriteriet är 0,05, d.v.s att sannolikheten är 5 procent att få fram den observerade skillnaden givet att det inte finns någon skillnad i verkligheten. Det här får absolut inte tolkas som att det är 95 procents säkerhet att skillnaden är sann om man rör sig utanför den här typen av mätningar där man mäter en känd faktor som antingen ändrar sig eller inte men i varje fall garanterat finns på riktigt.
Detta (dvs. det fetmarkerade) är tyvärr inte helt korrekt. Eftersom p-värdet beräknas betingat över att nollhypotesen är sann så beror all observerad avvikelse per definition på sampling error, det vill säga slumpen. Icke-formellt gäller p = Pr(D+|H0), eller lite mer korrekt som p = Pr(T(X)>=T(x)|H0) det vill säga sannolikheten att observera datan (eller snarare teststatistikan) vi har observerat eller "mer extrem" sådan. Detta är ju tyvärr inte är särskilt användbart när vi vi egentligen vill veta Pr(H0|D). Signifikansbegreppen och p-värden är notoriskt svårtolkade och även statistiker blir ofta "lurade" och drar icke underbyggda slutsatser ibland. Jag upptäckte även nyligen Lindleys paradox, en paradox som inte är särskilt betryggande för p-värdesälskarna. Paradoxen lyder: ∀p och ∀Pr(H0) > 0, så finns det ett n så att posteriorisannolikheten Pr(H0|x) är 1-p. Alltså "null hypothesis that is soundly rejected at, say, the .05 level by a Fisherian significance test can nevertheless have 95% support from a Bayesian viewpoint. That these inferences are diametrically opposed is the paradox", eftersom faktumet är att "no matter how small the p value, the likelihood ratio Pr(x | H0) / Pr(x | HA) approaches infinity as the sample size increases. Consequently, for large n, a small p value can actually be
interpreted as evidence in favor of H0 rather than against it".