Varför minus ett i standardavvikelse

varför tar man -1 på elementen i en uträkning av standardavvikelse? Rent matematiskt bör väl man dela med n och inte n-1?

För att väntevärdet av standardavvikelsen för en finit mätning skall bli lika med den stokastiska fördelningens standardavvikelse. Man brukar kalla detta obiaserad skattning.

sheridans formulering kanske är formellt korrekt, men föga begriplig för lekmän (som mig själv).

En mer intuitiv förståelse som jag har (rätta mig om den är fel, någon) av det där med "frihetsgrader" är att en del mått inte är definierade för små datamängder. Beräkningen av en standardavvikelse kräver användning av differenser. Man kan rent logiskt inte beräkna differensen mellan ett enda värde (typ avståndet mellan en punkt). Man måste ha minst två värden. När n=1 så innebär beräkningen av standardavvikelsen en division med n-1=0 vilket är odefinierat.

En del andra beräkningar förbrukar fler frihetsgrader, t.ex. differensen mellan differenser.

Jag tror jag begrep det hela men är osäker så jag ställer en följdfråga. N-1, gör att standardavvikelse bara kan räknas ut om N>1? För annars så är man tvungen att dela med noll. Det innebär precis som du säger att minst två värden måste förekomma vilket ter sig rimligt.

Jag instämmer att det kunde vara tydligare och jag tror att bilden med frihetsgrader har en merit om tänker lite djupare på det. Det syns dock inte direkt i den direkta härledningen av det.

Om jag skall elaborera lite så kommer 1:an från väntevärdet av kvadraten på medelvärdet. Beräkningen av standardavvikelse kräver att man känner till väntevärdet. Nu gör man ju inte det om man bara har en finit mängd data och medan sum(x_i)/N är "väntevärdesriktig" som man säger så är (sum(x_i)/N)^2 det INTE utan bidrar med en term variansen/N som med lite algebra bildar (variansen*(1-1/N)). Det är denna 1/N som med gnutta algebra till blir sum(x_i - medelvärdet av x)² /(N-1).

Sheridan du är säkert utan tvekan en herre med matematiken, men att förstå dig är bekymmersamt för en amatör som mig själv. Skulle du kanske våga sjunka ner till en mycket lägre nivå där jag befinner mig så skuller jag uppskatta det.

Den korta(re) sammanfattningen av mitt förra inlägg är att ursprunget till -1 i 1/(N-1) kommer från att man inte känner till det exakta väntevärdet utan beräknar det från den kvadrerade summan. Hela "grejen" har sitt ursprung i skillnaden mellan väntevärde och medelvärde. Är det kanske där som svårigheten ligger och inte i matematiken som utöver detta är ren algebra.

Pluggar ekonometri och Sherdians svar gör inte detta klart för mig. Någon som har en enklare beskrivning?

Jag fick lära mig att dela med n och att n-1 var den engelska formeln...

Alltså att http://upload.wikimedia.org/math/6/a...f84225956c.png skulle vara den franska formeln och http://upload.wikimedia.org/math/6/6...c14d3924be.png den engelska.

(Jag förstår att det där inte är formeln för standardavvikelse, men det är bara att slänga dit ett roten ur-tecken så löser det sig )

Tack sheridan för bra förklaringar! Jag tror att jag har blivit klokare på "n – 1" nu.

Jag försöker mig på ett litet förtydligande:
När man räknar ut standardavvikelse utgår man från avvikelser från ett medelvärde. Eftersom ett stickprov bara motsvarar en del av allt det man vill undersöka är det inte säkert att medelvärdet på mätningarna man gjort motsvarar det "riktiga" medelvärdet.

Den här skillnaden kan beskrivas som att medelvärdet på mätningarna skiljer sig från väntevärdet – det medelvärde vi får om vi tar med hela populationen i beräkningen.

Ytterligare ett sätt att säga det: Vi delar med n – 1 eftersom medelvärdet i vårt stickprov förmodligen hamnat lite snett. Att dela med n – 1 gör att standardavvikelsen blir lite större, vilket alltså kan kompensera för att vi missade det riktiga medelvärdet.


Själv tycker jag att två saker är lite konstiga:

• Varför är det alltid "n – 1" man delar med, oavsett hur stor del av populationen som stickprovet utgör?
• Varför använder vi inte genomsnittlig avvikelse istället för standardavvikelse? Det är lätt att förstå vad det måttet står för, och i normalfördelat material borde det finnas ett enkelt samband mellan genomsnittlig avvikelse och standardavvikelse (om skulle behöva standardavvikelse för statistiska analyser).

Men de frågorna får bli nya inlägg.

N-1 i skattningen av standardavvikelsen ger inte en väntevärdesriktig skattning, men den minskar biasen. Den är med andra ord inte unbiased. n-1 gör däremot variansskattningen unbiased, men kvadratroten introducerar bias genom Jensens olikhet. I standardavvikelsen beror det på, handlar det om normalfördelningar ger n-1.5 lägre bias. Men då får man även tänka på bias-varians-förhållandet för estimatorerna där lägre bias tenderar ge estimatorer med högre varians.
1. Är inte alls konstigt, eftersom biasen introduceras genom definitionen av stickprovsmedelvärdet och inte relationen mellan populaltionen och stickprovets storlekar, detta på grund av att man utgår från "oändliga populationer", egentligen stokastiska variabler.

Här: http://en.wikipedia.org/wiki/Bessel%27s_correction visas det varför n-1 ger en väntevärdesriktig estimator.

Det finns dock en så kallad ändlighetskorrigering där storleken spelar roll: http://stats.stackexchange.com/quest...rection-factor.

2. Standardavvikelsen är en "genomsnittlig avvikelse", du får i sådana fall definiera vad du menar med genomsnittlig avvikelse och i sådana fall vad skillnaden är.

Skrev en liten genomgång igår som jag tydligen inte postade, det är typ samma saker som VonFanderblad nämner så det kanske är lite redundans men någon kanske får ut nåt av det:

Säg att s² är uppskattad varians baserad på samplingsmängden; 1/n sum (x_i - x_M)² där x_M är medelvärdet av alla x_i. Vad motsvarar det egentligen? Eftersom x_M är genomsnittet av de uppmätta x_i så gäller det att x_M minimerar summan av (x_i - x_M)². Undersöker vi vad som händer om vi sätter in µ, medelvärdet på hela mängden (inte samplingsmängden), istället för x_M hade vi alltså märkt att sum (x_i - µ)² > sum (x_i - x_M)².

Vad betyder det? Jo, det betyder att vår uppskattning av s² baserad på x_M alltid är mindre än "korrekta" variansen som är baserad på µ (förutom om det råkar vara så att x_M = µ). Det här är vad man kallar en bias.

Kan man ta bort biasen på nåt vis (om man nu vill det, det är helt valfritt)? Jo, visar det sig. Biasen kan defineras som väntevärdet på (o²-s²) där o² är "verkliga variansen" på hela mängden. Det är alltså väntevärdet på hur mycket samplingsbaserade variansen skiljer sig från riktiga variansen. Man kan räkna lite för att se precis vad biasen är, lägger det i en spoiler för den som är intresserad:

Spoiler

E[o²-s²] =
E[1/n sum (x_i - µ)² - 1/n sum (x_i - x_M)²] =

{utveckla kvadraterna, ta ut 1/n}
1/n E [sum (x_i² - 2 x_i µ + µ² - x_i² + 2 x_i x_M - x_M²)] =

{x_i² tar ut varandra}
1/n E [ sum (µ² - 2 x_i µ + 2 x_i x_M - x_M²) ] =
1/n E [ sum (µ² - x_M²) + sum (2 x_i (x_M - µ)) ] =

{summa över 1 till n av konstant = n * konstant; 1/n * sum x_i = x_M}
E [ (µ² - x_M²) + 2 x_M (x_M - µ) ] =
E [ µ² - 2 x_M µ + x_M²) ] =
E [ (µ - x_M)² ] =

{enligt defintionen för varians, var(X) = E [ (µ - X)² ]}
Var(x_M) =

{enligt följande: wiki, Bienaymé}
o² / n.

Så vi har att biasen, väntevärdet på o² - s², är o² / n och vi vill ha det till 0 för att få bort biasen. s² = o² - o² / n = o² (1 - 1/n) = o² (n-1)/n. Vi kan alltså införa en korrektion, k, som gör att väntevärdet på s² är o² istället för o² (n-1)/n genom att sätta k = n/(n-1) -> k E[s²] = E[ks²] = o². s² är som bekant 1/n sum (x_i - x_M)² och ks² = 1/(n-1) sum (x_i - x_M)².

För att uppskatta standardavvikelsen på ett enkelt vis brukar man köra direkt med sqrt(uppskattad varians) och man använder då oftast variansen utan bias, ks², så det är där 1/(n-1) kommer in i uppskattade standardavvikelsen. Man brukar kalla det för en korrigerad uppskattad standardavvikelse.