Metod för att exkludera avvikande mätdata ur en datamängd?

Hej på er,

Är det någon vänlig själ på forumet som kan vägleda mig i nedanstående frågeställning? Jag håller på att damma av mina mest elementära statistikkunskaper och har för avsikt att med största möjliga noggrannhet beräkna sannolikheten för ett slumpvis utvalt data ur en datamängd. Det jag läst mig till är att standardavvikelse kan vara ett bra mått för spridningen i en datamängd men att detta mått också är känsligt för avvikande värden. Jag skulle därför vilja ”slipa till” datamängden innan jag beräknar standardavvikelsen.

Finns det någon generell metod för att exkludera avvikande data (med för mängden avvikande värden) ur en mängd eller väljer man metod från fall till fall? Och hur vet man egentligen vilka värden som kvalificerar sig som avvikande? Kan man exkludera de värden som tex avviker mer än en viss procentsats från medianvärdet? Använder man sig kanske av percentiler?

Tacksam för hjälp!
I.

Om du tror att det "avvikande" värdet är ett korrekt mätvärde/datavärde så ska det inte exkluderas. Det man ibland kan exkludera är avvikande värden som man tydligt kan tillskrivas en effekt som inte ska inkluderas, exempelvis ett instrumentfel eller att du stötte till mätutrustningen. Det är dock inte idealt att göra sånt utan en bra definition av vilka mätvärden som kan exkluderas. I vissa fall kan det finnas störningar i dina mätdata som du då behandlar med något filter men det är en annan fråga.

Exakt vad är det du vill göra?