Kommuner och Landsting gör tveksamma resvaneundersökningar

En god vän blev utvald att delta i sin kommuns resvaneundersökning och bad mig ta en titt på frågeformuläret. Jag gjorde inte bara det, utan kollade upp hur vanligt det är med sådana undersökningar, vilka resultat man får fram, med mera. Ur Stockholms redovining av en undersökning häromåret:


En grov tumregel är att man ska ha minst 70% deltagande, och helst över 80%, för att kunna dra någorlunda pålitliga slutsatser från en enkät. Vid lägre deltagande är det t ex vanligt att vissa grupper svarar i mindre utsträckning än andra (t ex att miljövänner och cyklister svarar i högre utsträckning än bilister). Vid så lågt deltagande som 35% kan man normalt inte dra några slutsatser alls.

Men trots 35% deltagande har denna rapport sida efter sida med sammanställningar och slutsatser, som förmodligen inte bara saknar värde utan kan vara direkt felaktiga. Det är inte svårt att förstå vilka problem sådana avvikelser kan leda till om man använder siffrorna som grund för utformningen av framtida trafiksystem.

En rad kommuner gör samma resvaneundersökning och drar sina egna (kanske felaktiga) slutsatser.

Varför lägger man tid och pengar (undersökningarna utförs av ett fristående företag) på detta om deltagandet är så lågt att resultatet är högst opålitligt, om inte rent av felaktigt? Har jag misst något? Eller är detta ännu en av de mätningar och kartläggningar som görs utan att man har tänkt till ordentligt?

http://miljobarometern.stockholm.se/...s-lan-2015.pdf

Visst, 35% deltagande är inte särskilt bra, men med ett urval på närmre 130 000 innebär det att man fått in svar från 45 000 personer. De valundersökningar vi har är ju baserade på långt färre deltagande och ger trots allt en hygglig bild av verkligheten.

Nu är det rätt många år sedan jag läste och tillämpad statistiken på högre nivå, men har man randomiserat urvalet så är det ju inte ett problem med stort bortfall. De som tenderar att svara på undersökningar är generellt också de som är minst nöjda med något. "Den som tiger samtycker".

Kan varmt rekommendera att läsa igenom kapitel 7 i den bifogade rapporten där det står beskrivet kring urvalsmetoder etc.

Jag förstår inte hur du kan först säga att den låga svarandegraden inte är något problem och sedan skriva det jag har fetmarkerat. Det är ju just det som är problemet, att svaren inte blir representativa i så fall. Då är det bättre att tillfråga färre men satsa på att verkligen få svar från en stor andel.

Jag har fått några undersökningar tillskickade mig som jag skitit i att besvara och då har de legat på och påmint flera gånger och till slut lockat med en lott eller något som belöning om man svarar. Jag skulle säga att de har frågat alldeles för många i en undersökning som säkert tar rätt lång tid att besvara (det är ju inte bara att svara ja/nej eller säga ett partinamn, sådana undersökningar går mycket fortare och gör att andelen svarande blir högre) och därmed inte orkat ligga på och få in tillräckligt hög andel svar. Färre tillfrågade men större andel svarande hade varit bättre.

Jag har fått enkätfrågor på telefon om fryst mat för många år sedan och det tog så lång tid att jag bestämde mig direkt för att aldrig mer delta i sådant. Hon som frågade, troligen en student, lät också väldigt oengagerad och sa knappt tack. Telefonintervjuer går alltså bort, svarar inte ens.

Ibland när jag åker kommunalt kommer det någon klämkäck typ med frågeformulär. I åtta fall av tio gör den klämkäcke typen ett eget urval. Oftare äldre damer som reser en gång i månaden än stressade pendlare mitt i livet. De får de svar de vill ha. Formuläret är vanligtvis maximalt tunt och idiotiskt. "Jag är trygg på min resa" 1-5.

Kan bara bli bättre.

En låg svarsandel ihop med ett litet urval => problem med validitet i en undersökning. Den punkt som ska noteras är att i kundnöjdhetsundersökningar så finns en överrepresentation utav personer som inte är nöjda.

Men läs som sagt var igenom kapitel 7 kring metodik osv. Det här är ju en av de bättre RVU som gjorts.

Det stora problemet med låga svarstal är att man riskerar att bara få svar av folk som har en åsikt och inte från folk som har en annan åsikt.

Låt mig ge ett exempel:
Jag deltog i en resvaneundersökning på jobbet som utvecklats av kommunen, efter att jag svarat på flera frågor så insåg jag att de som gjort frågorna hade en klar bias mot att kollektivtrafik är bra och biltrafik är dåligt. Jag valde då att riktigt aggressivt svara utifrån att kollektivtrafiken inte uppfyller behoven (jag har ingen kollektivtrafik där jag bor, vilket jag tydligt uttryckte). Pratade med flera bilbundna arbetskollegor som svarade på samma undersökning, de valde att inte svara färdigt och att inte lämna in den då de tyckte att undersökningen hade en bias för kollektivtrafik. Kollegorna som åkte kollektivt svarade och lämnade in undersökningen och tänkte inte ens på att den försökte styra/påverka den som svarade. Varken svaren från mig som lämnade in undersökningen eller de uteblivna svaren speglade därmed verkligheten och de som nu gjort undersökningen kommer att få et resultat som antyder att folk är nöjda med kollektivtrafiken, förutom någon enstaka som uppenbarligen hatar kollektivtrafik. Men bilisterna hade ju till stor del inte svarat på undersökningen och därmed så vet kommunen fortfarande inte vad som krävs för att få bilister att åka kollektivt.

Jaa, du, kapitel 7 är intressant läsning; t ex följande:


Detta kan fungera om man känner till en viss grupps beteende. Men det gör man inte; t ex är svarfrekvensen bara runt 20% för dem under 35. Det betyder att man inte har en aning om denna grupps beteende, och då kan man inte vikta upp eller ner för denna grupp med mindre än att man gjort en speciell undersökning i just denna grupp och fått mycket god svarsfrekvens. Något man inte verkar ha gjort, varför viktningarna blir rena gissningar.

Detta har ingenting att göra med vad man tycker eller inte tycker i trafikpolitiska frågor; detta är en fråga om statistikteori, och såvitt jag kan se är kapitel 7 en noggrann bekräftelse på att denna undersökning inte ger något användbart underlag. Tvärtom kan den ge ett direkt missvisande underlag.