Citat:
Ursprungligen postat av
Motacilla.alba
Det är naturligtvis INTE det som diskuteras.
Kan vi först bara konstatera EN sak:
Om man gör en undersökning enligt dina metoder får man ett mycket bar statistiskt resultat MEN det har mycket litet att göra med ett faktiskt valresultat. Detta då det är enorm skillnad på vad människor svarar i enkäter och hur de gör i valbåset. Enklaste beviset på detta är ju VALU när man frågor i vallokalen får man ändå ett annat resultat än valet.
Sedan om att "viktning för att simulera valresultat" är något bra eller inte är en annan fråga.
Även om inget institut har redogjort för dessa metoder så har vi indirekta indikationer på att det förekommer. De bästa bevisen som jag ser det är att vissa institut faktiskt låg nära valresultatet en annan är en den stora spridningen som finns mellan instituten bäst förklarar av sådan här icke statiskt viktningen och en tredje att det förklarar vissa instituts plötsliga hack i sina kurvor ett fjärde är den brist på varians i Sifos resultat
Klart att det förekommer viktning. Alla gör mer eller mindre exakt likadant. Stegen är följande:
1) Välj ut X personer slumpmässigt. Och försök kontakta dem.
2) Av de X utvalda svarar Y. De får frågan vilket parti de skulle rösta på nu; och ibland vilket parti de röstade på
förra gången.
3) Av de som svarat: kolla hur många som tillhör olika grupper som enkelt går att identifiera utifrån externa källor. Exempel vore man/kvinna, några olika inkomstnivåer, några åldersgrupper, etc. Bygg upp en viktnings matris utifrån det.
4) Frågades det hur de röstade i förra valet så bygger man nu upp en ny viktnings matris utifrån det.
5) Kör resultatet i ett litet datorprogram och allt är klart.
6) Eventuellt fuska lite och lägg in tröghet i systemet så att skillnaderna inte blir så stora mellan mätningar. Exempelvis ta medelvärdet av nuvarande och föregående månad.
Även om detaljerna kanske inte publiceras någonstans så är det ingen hemlighet hur man skall göra. Det är bara all läsa en lärobok i statistisk inferensteori. Jag är helt säker på att skulle jag sitta ett par timmar och skriva ner en metod så skulle det visa sig att det är exakt den metoden som instituten faktiskt använder. Skillnaden skulle eventuellt vara i hur bra data det har tillgång till för att göra viktningen.
Det som går fel är inte viktningen. Det som går fel är först i Steg 1. Av de X utvalda kanske bara 25% svarar. Det är inte nödvändigtvis ett problem om det är helt slumpmässigt vilka man får tag i. Det behöver inte ens vara ett problem om det är systematiskt vilka som vägrar svara. Bara om svarsbenägenheten är statistiskt oberoende gentemot det man frågar efter. Exempel: I åldersgruppen 20-40 år har fler lärt sig att okända nummer = försäljare och slutat svara jämfört med i åldersgruppen 60+. Det är helt orelaterat till vad man i övrigt har för partisympatier. Viktningen tar hand om detta på att statistiskt korrekt sätt.
Det blir ett problem först om så få svarar från vissa grupper att enskilda svar tillmäts extrem betydelse. Detta går isåfall dock att lösa genom att öka X; dvs slumpa fram fler personer från början. Då bör Y öka lika mycket och undersökningen bli mindre känslig för slumpmässiga konstigheter. Alla institut försöker väl fråga runt 10k även om de endast behöver svar från kanske 1500 för att få bra resultat.
Är det så att svarsbenägenheten inte endast är kopplad till de grupper man viktar efter utan direkt kopplad till hur man tycker i den fråga som instituten vill att man skall svara på. Då faller antagandet om statistiskt oberoende som ligger till grund för viktningen. Då fungerar viktningen mycket sämre. Man kompenserar till viss del för det slumpmässiga felet i urvalet men inte för det systematiska.
Detta kan förvärras i Steg 2 om vissa inte vill erkänna att de röstar/röstade på ett parti som är sigmatiserat. Detta kan inte viktningen kompensera för heller.
Hur skall man vikta för att kompensera för ett systematiskt fel? Ett alternativ är att fråga i två omgångar. Först titta på de som svarar efter bara ett par påringningar. Sedan anta att den återstående gruppen är annorlunda och mindre benägen att svara. Jaga dem lite extra tills du får tag på tillräckligt många och vikta efter skillnaderna mellan de två grupperna. Det kan fungera men det tar tid eftersom man måste ge de som skall ingå i grupp 1 tid att svara först. Detta är omöjligt att göra om man skall vara klar med undersökningen på en vecka eller så. Ingen kritik alls mot instituten egentligen. Det går bara inte.
Det som förklarar skillnader mellan institut är helt enkelt att svarsfrekvensen är så låg att kvaliteten i mätningarna blir dålig. Att skillnaden ser systematisk ut tror jag delvis beror på viktning av typen i steg 6) som inte heller är fel men som ger jämnare kurvor för respektive institut. Det stora är dock att instituten gör sitt slumpmässiga urval på olika sätt. Slumpar man direkt ur register över individer eller ur listor på de epostaddresser eller telefonnummer man lyckats få tag på? Det ger olika systematiska fel.
Viktningen bör inte förvärra resultaten eller öka spridningen. Snarare tvärtom. Det viktningen gör är att minsta det slumpmässiga felet utan att för den delen förvärra det systematiska.
Hursomhelst jag tror heller inte på någon konspiration. Bara att den billigaste metoden att slumpa (spara epostlistor/telefonnummer) gör att man har en skevhet redan i den grupp man slumpar ur som sedan förvärras när vissa struntar i att svara. Den lite dyrare metoden att slumpa ur listor på individer och sedan försöka hitta telefonnummer eller mailaddress får ett mindre systematiskt fel.
Ipsos och Novus drar slumpmässigt ur befolkningsregister och försöker sedan kontakta dessa personer på mail eller med telefon.
Sifo och Demoskop gör slumpmässiga urval av telefonnummer.
Hur stämmer det med nivåerna för (SD)? Vilka ligger systematiskt lägre? Olika sätt att göra det slumpmässiga urvalet förklarar det hela bättre än att anta inkompetens vid viktningen som jag är säker på att alla institut gör proffsigt och opartiskt.