Vinnaren i pepparkakshustävlingen!
  • 2
  • 3
2019-03-16, 23:28
  #25
Medlem
Tom.Of.Finlands avatar
Citat:
Ursprungligen postat av Nakkvarr
Min intuitiva uppfattning är följande. Det skiljer (grovt räknat) sex storleksordningar mellan det fjärde och femte talet i listan. (Den näst största relativa skillnaden är mellan det näst sista och sista, där det skiljer tre storleksordningar.) Om man skall dela in talen i två grupper efter storlek är det således motiverat att dra gränsen mellan det fjärde och femte talet.

Jag kan inte garantera att detta kriterium fungerar i alla tillämpningar.

Ibland kan det vara annan data som är längre, så jag tror inte att din lösning skulle fungera på olika exempel.
Citera
2019-03-17, 09:39
  #26
Medlem
-taki-s avatar
Citat:
Ursprungligen postat av Tom.Of.Finland
Låt oss säga att jag har dessa sorterande tal.



Av våran erfarenhet så kan vi säga att de 4 första talen är stora tal och övriga är små tal. Men hur kan vi visa detta matematiskt?

Jag svarade på en tidigare fråga i samma ämne som du postade. Testade du den metod jag föreslog?

https://www.itl.nist.gov/div898/hand...n3/eda35h3.htm

Det är en metod för att hitta utliggare och kallas Generalized Extreme Studentized Deviate Test for Outliers, "Generalized ESD".

I denna metod kan man välja hur många utliggare som ska tas bort men metoden väljer inte nödvändigtvis ut exakt det antalet utan kan nöja sig med färre. Om du på förhand inte vet hur många "stora" tal det finns kan du förhoppningsvis ta till men ändå inte sålla bort "små" tal.
Citera
2019-03-17, 10:40
  #27
Medlem
Citat:
Ursprungligen postat av Tom.Of.Finland
Tyvärr inte. Jag vet dock att det blir typ ett "hopp" mellan stora och små tal.

stor, stor, stor, stor, stor, små, små, små, små, små, små, små

Citat:
Ursprungligen postat av Tom.Of.Finland
Datan kommer från SVD, singular value decomposition. Testa utföra [u,s,v] = svd(A) i MATLAB/Octave så ska du få se på de singulära värderna i s-matrisen. Vad är stort och vad är litet här i s-matrisen?

När du letar "knän" kan du ta differensen mellan närliggande tal, eller kvoten, och kolla var den blir störst. Det kan vara bra att logaritmera först. Vill du ha en effektiv algoritm kan du kolla hur Per Christian Hansen bestämmer optimum i L-kurvan i Regularization Tools.
Citera
2019-03-17, 13:07
  #28
Medlem
Tom.Of.Finlands avatar
Citat:
Ursprungligen postat av -taki-
Jag svarade på en tidigare fråga i samma ämne som du postade. Testade du den metod jag föreslog?

https://www.itl.nist.gov/div898/hand...n3/eda35h3.htm

Det är en metod för att hitta utliggare och kallas Generalized Extreme Studentized Deviate Test for Outliers, "Generalized ESD".

I denna metod kan man välja hur många utliggare som ska tas bort men metoden väljer inte nödvändigtvis ut exakt det antalet utan kan nöja sig med färre. Om du på förhand inte vet hur många "stora" tal det finns kan du förhoppningsvis ta till men ändå inte sålla bort "små" tal.

Tack. Du tror att denna kan hjälpa mig?
Citera
2019-03-17, 13:08
  #29
Medlem
Tom.Of.Finlands avatar
Citat:
Ursprungligen postat av mulpac
När du letar "knän" kan du ta differensen mellan närliggande tal, eller kvoten, och kolla var den blir störst. Det kan vara bra att logaritmera först. Vill du ha en effektiv algoritm kan du kolla hur Per Christian Hansen bestämmer optimum i L-kurvan i Regularization Tools.

Ja. Det är ju en L kurva jag ska analysera.

Kolla upp hankel singular values.
Citera
2019-03-17, 13:34
  #30
Medlem
-taki-s avatar
Citat:
Ursprungligen postat av Tom.Of.Finland
Tack. Du tror att denna kan hjälpa mig?

Med den typen av skillnader mellan storleken på talen som du visat, absolut.
Också enkelt att testa.
Citera
2019-03-18, 09:56
  #31
Medlem
Som sagt, beror av sammanhanget. (1+x)^2 = 1+2x för små x. Hur stor noggrannhet vill du ha? Om x< 0.1 så blir felet ca 1 % . Är det stort eller litet fel?
Om jag räknar i huvudet så är pi=3 men det lär finnas några fler decimaler.
Så volymen av en sfär är 4r^3 , enligt min metod.
__________________
Senast redigerad av AlgotR 2019-03-18 kl. 10:01.
Citera
2019-03-24, 00:14
  #32
Medlem
Citat:
Ursprungligen postat av Tom.Of.Finland
Mer mot machine learning. Hur ska vi klassa stora och små tal?
Inom den välordnade matematiken (välordnad=väldefinierad) finns (detta är mängdteori) ordningsrelationen mellan matematiska objekt.
Inom den vanliga matematiken, två objekt a, b, det råder ordningsrelation mellan dessa, a=b eller a< b eller a>b.
Matematiken blir välordnat.
Citera
2019-03-24, 00:27
  #33
Medlem
Man räknar ihop alla tal tex 10 stycken å sen delar med 10 . Sen kollar man snittet om talen är över eller under .

Sen är ju tex 138 8 bitar stor medans 0.00004667 8 bitars plus kanske 16 32 bitars å blir ju det stora talet mindre än det lilla talet iaf minnesmässigt
__________________
Senast redigerad av troligengud 2019-03-24 kl. 00:31.
Citera
2019-03-27, 22:08
  #34
Medlem
-taki-s avatar
Citat:
Ursprungligen postat av Tom.Of.Finland
Låt oss säga att jag har dessa sorterande tal.



Av våran erfarenhet så kan vi säga att de 4 första talen är stora tal och övriga är små tal. Men hur kan vi visa detta matematiskt?

Jag försökte PM:a ett svar på ditt PM men din mejlbox verkar full. Lägger svaret här i stället.

Nja, det här testet kallas The generalized extreme Studentized deviate test och kör ett modifierat Grubbs test flera gånger (för Grubbs tar bara bort en utliggare).

På den här länken

http://www.miljostatistik.se/grubbs.html

står det:

"Ofta går det inte att objektivt avgöra om ett värde är avvikande eller ej, men det finns ett antal metoder som kan identifiera värden som bör undersökas närmare. En enkel metod för att testa om ett (enda) observerat värde avviker är Grubbs test (Grubbs & Beck 1972).

Grubb's test bygger på normalfördelningskurvans välkända egenskaper. Testet beräknar hur stor sannolikhet det är att få ytterligare ett värde som avviker lika mycket från övriga värden som det värde man vill kontrollera."

En nackdel kan vara att testet inte fungerar så bra på få datapunkter. Är det fler än typ 15 är det absolut lugna gatan men om det är så stor storleksskillnad som du har visat i exemplen fungerar det nog bra med betydligt färre datapunkter också.

En annan nackdel kan vara att man måste ange ett maxantal utliggare som ska sållas bort. Har man nollkoll på hur många det finns i datat kanske man tar till för få. Det är säker inte bra att ta till alldeles för många heller.

Men du kanske har viss kunskap om datat?
Citera
2019-03-27, 22:11
  #35
Medlem
Tom.Of.Finlands avatar
Citat:
Ursprungligen postat av -taki-
Jag försökte PM:a ett svar på ditt PM men din mejlbox verkar full. Lägger svaret här i stället.

Nja, det här testet kallas The generalized extreme Studentized deviate test och kör ett modifierat Grubbs test flera gånger (för Grubbs tar bara bort en utliggare).

På den här länken

http://www.miljostatistik.se/grubbs.html

står det:

"Ofta går det inte att objektivt avgöra om ett värde är avvikande eller ej, men det finns ett antal metoder som kan identifiera värden som bör undersökas närmare. En enkel metod för att testa om ett (enda) observerat värde avviker är Grubbs test (Grubbs & Beck 1972).

Grubb's test bygger på normalfördelningskurvans välkända egenskaper. Testet beräknar hur stor sannolikhet det är att få ytterligare ett värde som avviker lika mycket från övriga värden som det värde man vill kontrollera."

En nackdel kan vara att testet inte fungerar så bra på få datapunkter. Är det fler än typ 15 är det absolut lugna gatan men om det är så stor storleksskillnad som du har visat i exemplen fungerar det nog bra med betydligt färre datapunkter också.

En annan nackdel kan vara att man måste ange ett maxantal utliggare som ska sållas bort. Har man nollkoll på hur många det finns i datat kanske man tar till för få. Det är säker inte bra att ta till alldeles för många heller.

Men du kanske har viss kunskap om datat?

Noll kunskap om datan. Men jag ska testa implementera detta och köra några mätvärden

Jag talade med en professor och han sade att sådant löser man med multipla kalmanfilter. Det estimat som kan visa bäst fel, så kan man alltså avgöra storleken på datan.

Så har du funderat på flera kalman filter som ständigt körs hela tiden? Då går det ju att lösa
Citera
  • 2
  • 3

Stöd Flashback

Flashback finansieras genom donationer från våra medlemmar och besökare. Det är med hjälp av dig vi kan fortsätta erbjuda en fri samhällsdebatt. Tack för ditt stöd!

Stöd Flashback