Vinnaren i pepparkakshustävlingen!
2013-06-22, 14:00
  #1
Medlem
robomans avatar
Jag har i detta nu skapat en nominerings-omgång till en slags omröstning, där vi flashbackare ska avgöra vilket som är tidernas bästa RPG. Systemet för nominering har jag hämtat från den här tråden, där man nominerade till en omröstning om 80-talets bästa film.

När nomineringarna väl är avklarade väntar en finalomgång där varje användare får sätta betyg 0-3 på filmerna, eller x för de spel man inte spelat, inte minns osv. Systemet för betygsättning har jag hämtat från den här tråden, där man röstade om 80-talets bästa film.

När väl finalomgångens betygsättning är slut är det dags att räkna samman rösterna. Ett snitt för varje spel ska då räknas fram, som alltså kommer landa någonstans mellan 0 och 3.

Problem 1
Man kan inte bara ta TOTALT BETYG / ANTAL SOM BETYGSATT. Varför? Jo därför att det kanske ser ut så här:

Devine Divinity: snittbetyg 3, baserat på 1 röst.
Zelda: snittbetyg 2,641, baserat på 78 röster.
Final fantasy: Snittbetyg 2,434, baserat på 105 röster.

Alltså: Risken finns att små titlar som de flesta av naturliga skäl inte röstar på hamnar oförtjänt högt.

Problem 2
En enskild användare kanske ger extra låga betyg till alla titlar utom hans favorit, bara för att påverka lite extra. Som de beskriver på IMDB: "Various filters are applied to the raw data in order to eliminate and reduce attempts at 'vote stuffing' by individuals more interested in changing the current rating of a movie than giving their true opinion of it."

Viktad betygsättning
På IMDB använder man ett system som hastigast beskrivs på wikipedia: http://en.wikipedia.org/wiki/Interne...rs_and_weights
De ovan nämnda filmtrådarna sägs utgå ifrån IMDB:s system när de viktar röster.

Men kan någon vettig människa hjälpa mig förstå hur jag ska implementera det här med viktade betyg? Jag har hittat texter om Weighted mean och posterior mean, men jag förstår inte tillräckligt mycket av grunderna för att kunna utröna exakt vad som passar.

Hur skull ni gå till väga för att vikta betygsättningen, om alla användare får ange 0-3 för varje spel, eller avstå från de som de inte har spelat?

-----

PS: Här har ni den aktuella tråden, om ni skulle vara sugna på att nominera era favorit-RPG:n: https://www.flashback.org/t2166561
Citera
2013-06-23, 10:45
  #2
Medlem
Carelesss avatar
Det blir alltid superknepigt när vi börjar prata om sådana här små röstmängder. Jag skulle säga kör med systemet IMDB kör med:

WR = (0.05TC + Rv)/(v+0.05T)

Där R är spelets genomsnittliga betyg, v är antal röster spelet fått, T är totalt antal röstande och C genomsnittliga betyget för alla spel.

Och spelet måste ha fått 5% av alla röster för att ens kunna bli rankat. Det går liksom inte komma runt problemet med att ett spel får 1 röst som ligger högt högt över totala medelvärdet utan att hitta på egna parametrar, så det blir lättare att bara stryka dessa spel. Om man verkligen vill att alla resultat ska vara med samtidigt som man vill belöna spel som fått många röster kan man manipulera C så att det inte står för det genomsnittliga betyget för alla spel utan en godtycklig siffra säg 1.5.
Citera
2013-06-23, 14:18
  #3
Medlem
robomans avatar
Toppen! Det var precis det här jag var ute efter. Jag förstod inte riktigt IMDB-grejen, men nu ser jag det klart!

Jag har ju just nu en nomineringsomgång, där bara de spel som har fått flest nomineringar kommer vidare. Jag tänkte försöka dra min linje vid närmaste gräns efter 40, typ. Dvs om 38 spel har fått minst 5 nomineringar, men 55 spel har fått minst 4 nomineringar, ja då går alla dessa 55 vidare till finalomgången.
Så problemet med att bara en skulle ha spelat spelet kommer nog inte finnas, det måste ju vara MINST så många som finalgränsen, som har en åsikt om varje spel.

Jättebra riktlinjer, precis vad jag var ute efter.
Citera
2013-06-27, 20:12
  #4
Medlem
robomans avatar
Citat:
Ursprungligen postat av Careless
Det blir alltid superknepigt när vi börjar prata om sådana här små röstmängder. Jag skulle säga kör med systemet IMDB kör med:

WR = (0.05TC + Rv)/(v+0.05T)

Där R är spelets genomsnittliga betyg, v är antal röster spelet fått, T är totalt antal röstande och C genomsnittliga betyget för alla spel.

Och spelet måste ha fått 5% av alla röster för att ens kunna bli rankat. Det går liksom inte komma runt problemet med att ett spel får 1 röst som ligger högt högt över totala medelvärdet utan att hitta på egna parametrar, så det blir lättare att bara stryka dessa spel. Om man verkligen vill att alla resultat ska vara med samtidigt som man vill belöna spel som fått många röster kan man manipulera C så att det inte står för det genomsnittliga betyget för alla spel utan en godtycklig siffra säg 1.5.
Jag får inte ihop det här.
Idag är första dagen för betygsättningen, och jag testade den här formeln med värdet 0,05 som du föreslog.

Visserligen är det bara 16 pers som röstat över huvud taget hittills, men när jag extraherade till 64 pers blev det inte ett dugg bättre. Problemet:

Spel 1 har betygsatts av 10 personer och har snittbetyget 1,70.
Spel 2 har betygsatts av 10 personer och har snittbetyget 2,60.

Efter viktning, där T=16 och C=1,92, ser det ut så här:

Spel 1 har istället för 1,70 fått snittbetyg 1,72.
Spel 2 har istället för 2,60 fått snittbetyg 1,51.

Det spel som är överlägset mer populärt hamnar sämre till än det andra efter viktningen. Den enda parametern som skiljer de två åt är att spel 2 ett betygsnitt långt över snittet, medan spel 1 har ett strax under. Så ska det inte vara.
Är det den lilla röstmängden som ställer till det? Helst skulle jag se en slags viktning, fast om den inte leder till något bättre än detta så vet jag inte vad jag ska tycka. Då kanske jag kör utan viktning.

EDIT:

Spel 3, som har nästan lika bra betyg som spel 1, men baserat på bara hälften så många röster, får ÄNNU BÄTTRE betyg efter viktningen.
Viktningen missgynnar alltså framför allt de med bra betyg baserat på många röster, och gynnar framför allt de med få röster. Ska det vara så?
__________________
Senast redigerad av roboman 2013-06-27 kl. 20:35.
Citera
2013-06-28, 09:39
  #5
Medlem
robomans avatar
Obs, jag har gjort fel i formeln ser jag. Det här kan förmodligen lösas. Move along, nothing to see here.
Citera

Stöd Flashback

Flashback finansieras genom donationer från våra medlemmar och besökare. Det är med hjälp av dig vi kan fortsätta erbjuda en fri samhällsdebatt. Tack för ditt stöd!

Stöd Flashback