Vinnaren i pepparkakshustävlingen!
Kulturkrocken när professionella statistiker tittar in i klimatologernas förunderliga värld tar sig smått komiska uttryck i McShane och Wyners svar på Manns virriga kritik.
Tillgång till data och kod:
Körsbärsplockning:
Principalkomponentanalys:
Linjär anpassning:
Och det där är bara några exempel. Att klimatologer inte förstår sig på avancerade statistiska metoder är väl en sak, men att summan av residualerna är noll vid en vanlig linjär minsta kvadrat-anpassning torde alla som läst en introduktionskurs i linjär algebra veta.
Tillsammans med det vanliga fusket att klistra in en temperaturserie på slutet av en proxy-serie så att det ska se riktigt allvarligt ut. Ränderna går aldrig ur på hockeyklubbs-krökarna.
Det är jättebra när ett vetenskapligt område kan föra ett annat framåt, men det finns inget genialt med att göra nybörjarfel som introducerar felaktiga väntevärden/konfidensintervall eller rentav omöjliggör en tolkning av resultaten.
MW är inte en analys av MBH utan utgår från samma datamaterial som Mann et al 08. Det var i den studien han först använde data från kontaminerade sedimentprover upp och ned, så han är nog inte rätt person att avgöra vilka data som är bra och vilka som är dåliga.
https://climateaudit.org/2009/10/14/upside-side-down-mann-and-the-peerreviewedliterature/
Bra poäng, det borde jag ha gjort. Artikeln är på sida 5-44, SMR:s svar är på sida 65-70 och MW:s svar på deras och andras kommentarer är på sida 99-123.
https://projecteuclid.org/euclid.aoas/1300715166
Och det brukar beskrivas i samma överslätande ordalag. "Hide the decline" var bara ett smart sätt att lösa ett tekniskt problem...
Citat:
Läs då även svaret från Mann:
https://pubs.giss.nasa.gov/abs/sc06400f.html
https://pubs.giss.nasa.gov/abs/sc06400f.html
Kulturkrocken när professionella statistiker tittar in i klimatologernas förunderliga värld tar sig smått komiska uttryck i McShane och Wyners svar på Manns virriga kritik.
Tillgång till data och kod:
Citat:
Before embarking on our discussion of their [SMR - Schmidt, Mann & Rutherford] work, we must mention that, of the five discussants who performed analyses (DL, Kaplan, SMR, Smerdon, and Tingley), SMR was the only one who provided an incomplete and generally unusable repository of data and code.
Körsbärsplockning:
Citat:
SMR allege that we have applied the various methods in Sections 4 and 5 of our paper to an inappropriately large group of 95 proxies which date back to 1000 AD (93 when the Tiljander lightsum and thicknessmm series are removed due to high correlation as in our paper; see footnote 11). In contrast, the reconstruction of Mann et al. (2008) is applied to a smaller set of 59 proxies (57 if the two Tiljander series mentioned previously are removed; 55 if all four Tiljander series are excluded because they are “potentially contaminated”).
The process by which the complete set of 95/93 proxies is reduced to 59/57/55 is only suggestively described in an online supplement to Mann et al. (2008). As statisticians we can only be skeptical of such improvisation, especially since the instrumental calibration period contains very few independent degrees of freedom. Consequently, the application of ad hoc methods to screen and exclude data increases model uncertainty in ways that are unmeasurable and uncorrectable.
The process by which the complete set of 95/93 proxies is reduced to 59/57/55 is only suggestively described in an online supplement to Mann et al. (2008). As statisticians we can only be skeptical of such improvisation, especially since the instrumental calibration period contains very few independent degrees of freedom. Consequently, the application of ad hoc methods to screen and exclude data increases model uncertainty in ways that are unmeasurable and uncorrectable.
Principalkomponentanalys:
Citat:
SMR Figure 1c replots our Bayes model (Figure 16 of the paper) with two differences: it uses the reduced dataset of 55 proxies and only four principal components. There are no statistically significant differences between the resulting model and our original one (see SI), yet SMR allege that “K = 10 principal components is almost certainly too large, and the resulting reconstruction likely suffers from statistical over-fitting. Objective selection criteria applied to the Mann et al. (2008) AD 1000 proxy network, as well as independent “pseudoproxy” analyses discussed below, favor retaining only K = 4.”
SMR are wrong on two counts. First, the two “objective” criteria they suggest select differing numbers of principal components. Second, each criterion has multiple implementations each producing different results. As is well known to statisticians, there is no single objective way to resolve these discrepancies. Furthermore, the PC selection procedures that SMR prefer select “significant” PCs based entirely on the matrix of predictors without considering the response variable. To protect against overfitting, the selection process should in some way take into account the relationship between the predictor and the response [see also Izenman (2008), Hastie, Tibshirani and Friedman (2009)]. Compounding matters, SMR implement their allegedly objective criteria in nonstandard and arbitrary ways and several times in error. When correctly implemented, the number of principal components retained varies across each “objective” criterion from two to fifty-seven. Using ten principal components, therefore, can hardly be said to induce the “statistical over-fitting” claimed by SMR.
SMR are wrong on two counts. First, the two “objective” criteria they suggest select differing numbers of principal components. Second, each criterion has multiple implementations each producing different results. As is well known to statisticians, there is no single objective way to resolve these discrepancies. Furthermore, the PC selection procedures that SMR prefer select “significant” PCs based entirely on the matrix of predictors without considering the response variable. To protect against overfitting, the selection process should in some way take into account the relationship between the predictor and the response [see also Izenman (2008), Hastie, Tibshirani and Friedman (2009)]. Compounding matters, SMR implement their allegedly objective criteria in nonstandard and arbitrary ways and several times in error. When correctly implemented, the number of principal components retained varies across each “objective” criterion from two to fifty-seven. Using ten principal components, therefore, can hardly be said to induce the “statistical over-fitting” claimed by SMR.
Linjär anpassning:
Citat:
Fortunately, we are able to use the data and code provided to us to rebut SMR’s findings. Before proceeding, however, we must note a troubling problem with SMR Figure 2. Visual inspection of the plots reveals an errant feature: OLS methods appear to have nonzero average residual in-sample! Upon examining the code SMR did provide, we confirmed that this is indeed the case. The culprit is an unreported and improper centering of the data subsequent to the model fits, resulting in biased estimates and uncalibrated confidence intervals.
Och det där är bara några exempel. Att klimatologer inte förstår sig på avancerade statistiska metoder är väl en sak, men att summan av residualerna är noll vid en vanlig linjär minsta kvadrat-anpassning torde alla som läst en introduktionskurs i linjär algebra veta.
Citat:
Kulturkrocken när professionella statistiker tittar in i klimatologernas förunderliga värld tar sig smått komiska uttryck i McShane och Wyners svar på Manns virriga kritik.
Tillgång till data och kod:
Körsbärsplockning:
Principalkomponentanalys:
Linjär anpassning:
Och det där är bara några exempel. Att klimatologer inte förstår sig på avancerade statistiska metoder är väl en sak, men att summan av residualerna är noll vid en vanlig linjär minsta kvadrat-anpassning torde alla som läst en introduktionskurs i linjär algebra veta.
Tillgång till data och kod:
Körsbärsplockning:
Principalkomponentanalys:
Linjär anpassning:
Och det där är bara några exempel. Att klimatologer inte förstår sig på avancerade statistiska metoder är väl en sak, men att summan av residualerna är noll vid en vanlig linjär minsta kvadrat-anpassning torde alla som läst en introduktionskurs i linjär algebra veta.
Tillsammans med det vanliga fusket att klistra in en temperaturserie på slutet av en proxy-serie så att det ska se riktigt allvarligt ut. Ränderna går aldrig ur på hockeyklubbs-krökarna.
Citat:
Det är rätt normalt. Matematiker blir nästan alltid bestörta när de ser hur naturvetare använder matematik. Enstaka gånger som med distributioner på ett sätt där de efter att första chocken gått över inser att det var genialt, men ofta bara över bristen på stringens. Å andra sidan var SMR inte förtjusta i hur M&W använde proxydata, matematiker må vara bra på att räkna på data, men inte alltid på att ta hänsyn till deras kvalitet.
I vilket fall som helst känns denna besatthet över en 22 år gammal artikel väldigt konstig. Det finns gott om senare rekonstruktioner som inte använder samma statistiska metod men ändå får snarlikt resultat.
I vilket fall som helst känns denna besatthet över en 22 år gammal artikel väldigt konstig. Det finns gott om senare rekonstruktioner som inte använder samma statistiska metod men ändå får snarlikt resultat.
Det är jättebra när ett vetenskapligt område kan föra ett annat framåt, men det finns inget genialt med att göra nybörjarfel som introducerar felaktiga väntevärden/konfidensintervall eller rentav omöjliggör en tolkning av resultaten.
MW är inte en analys av MBH utan utgår från samma datamaterial som Mann et al 08. Det var i den studien han först använde data från kontaminerade sedimentprover upp och ned, så han är nog inte rätt person att avgöra vilka data som är bra och vilka som är dåliga.
https://climateaudit.org/2009/10/14/upside-side-down-mann-and-the-peerreviewedliterature/
Citat:
P.S. det spar tid om du länkar till de dokument du hänvisar till istället för att bara klippa ut de bitar du tycker vi skall se.
Bra poäng, det borde jag ha gjort. Artikeln är på sida 5-44, SMR:s svar är på sida 65-70 och MW:s svar på deras och andras kommentarer är på sida 99-123.
https://projecteuclid.org/euclid.aoas/1300715166
Citat:
Och det brukar beskrivas i samma överslätande ordalag. "Hide the decline" var bara ett smart sätt att lösa ett tekniskt problem...
Skapa ett konto eller logga in för att kommentera
Du måste vara medlem för att kunna kommentera
