Är neurala nätverk BÄSTA metoden för regression?

Vet man redan vilken modell som ligger bakom de data man har finns det mest bara nackdelar med att inte använda den.

- Svårt/omöjligt att matematiskt bevisa att modellen är stabil
- Mycket mätdata behövs
- Beräkningsintensiv både för optimering och prediktion

Känner man däremot inte till vad som ligger bakom de data man har, mer än att det är komplicerat, så är det av naturliga skäl svårare att sätta upp den modell man ska optimera parametrar i.

Men overfittning-problemet har man löst. Det handlar bara om att testa med ny data som man ej har tränat med. Då får man resultatet om den är OK eller inte.

Ja. Neurala nätverk är väldigt anpassningsbar. Men jag förstår inte vad du menar angående "svår att träna". Finns inte alla dessa stora bibliotek för att lösa dessa problem åt oss?

Okej.
Om jag vet att det är en överföringsfunktion - andra grad, som ligger bakom dynamiken, eller en ODE - 4 grader. Då är det bättre att jag kurvanpassar på en sådan än att välja ett neuralt nätverk?

I allmänhet så definitivt ja. Parametrarna i modellen du anpassar har dessutom ofta någon tolkning, så du tappar även systemförståelse om du väljer att inte använda en känd funktion.

Men är det inte det som är tanken med "black-box" identifiering? Att man skall ej ha någon systemförståelse.

Tja, man kanske kan se det som att det är bra att man inte fattar något. Jag ser det mer som lite av en nödlösning när man faktiskt inte lyckas få till en lämplig bakomliggande funktion med rimliga insatser.

Okej. Så Grey Box identifiering är egentligen det bästa? Alltså parameterestimering.

Men borde inte neurala nätverk fungera bättre för bildigenkänning? Alltså klassifisering, istället för regression?

Jo, det kan som sagt vara en bra metod där det inte finns någon matematisk/teoretisk/känd empirisk modell som beskriver hur det fungerar.

Med TS resonemang är tärningar bästa metoden, eftersom man alltid får rätt svar efter tillräckligt många kast, utan att behöva förstå något alls om problemet.

Nej. Jag argumenterar om gamla metoder är bättre än nya metoder.

Är det svårt att träna in ett djupt neuralt nätverk för bildigenkänning?

Vilka metoder pratar du om? Det som är "nytt" är väl att man lyckats formulerar sina nätverksfunktioner så att de faktiskt går att parameteroptimera med vanlig regressionsanalys? Eller missförstår jag vad man gör? Jag kan inte det här speciellt bra och du får gärna förklara mer utförligt vad du menar.