Är neurala nätverk BÄSTA metoden för regression?

Jag tog upp en bok om statistik med sannolikhet. Intressant bok. Halva boken handlade om sannolikhetslära och resten av boken handlade om regressionsanalys.

Det fanns massvis med olika regressionsanalyser bereoende om problemet var linjärt, olinjärt, logaritmiskt osv.
Men boken är skriven innan 2012, och 2012 var det år man först kunde tillämpa djupa neurala nätverk.

Neurala nätverk är inget annat än linjär algebra, fast olinjär. Det är samma Ax = b system som man löser, fast istället är det en aktivitetsfunktion σ(Ax) = b där σ är en olinjär funktion.

Djupa neurala nätverk så är det så här:

Där varje σ är sin unika aktivetsfunktion. Då är min fråga: Borde inte djupa neurala nätverk vara bättre på alla olika sätt jämfört med vanliga regressionsanalyser?

Du menar typ som en rund kvadrat eller en tresidig cirkel?

Förstår ej vad du menar.

Neurala nätverk utan aktivitetsfunktionen är vanliga linjära system.

Och en cirkel med tre sidor är en vanlig triangel.

Fördelen med regressionsanalyser är att man tillför information genom att välja en lämplig modell, beroende på vad man anser ligger bakom de mätvärden man använder till att bestämma parametrarna. På det viset modelleras det som ligger bakom, och alla mätvärden bidrar till att undertrycka det brus som finns i mätningarna, och man kan därigenom få en hyfsad modell med ett begränsat antal mätningar.

När ett neuralt nätverk tränas görs en optimering med väldigt många parametrar, och med måttligt antal mätningar kan nätverket då lära sig exakt hur utsignalen ser ut med en viss insignal. Risken är alltså att nätverket lär sig exakt de exempel man presenterat (inklusive brus), snarare än vad som ligger bakom, och får då problem att prediktera rätt utsignal när man presenterar nya insignaler. Därför behövs förhållandevis många mätningar att träna nätverket på, innan det börjar prestera lika bra som en modell skapad med regressionsanalys.

Så man kan lösa samma problem, igenom att använda vanlig regressiosnanalys istället för djupa neurala nätverk?

Jag tycker ofta att jag uppfattar "deeplearners" som okunniga. Detta är vad dom har sagt till mig ovan. Det är "bara" stoppa in massa data och träna en modell. Klart.

0% matematik. Bara träna med data och hoppas på det bästa.

Tja, vill man raljera kan man väl säga att metoden är bra när man inte riktigt vet vad man håller på med. Fast det finns väl egentligen en hel del allvar i det också, för ibland kan saker vara komplicerade att modellera. Hjärnan är exempelvis väldigt bra på att på att identifiera och känna igen människor i rörliga bilder. Sådant är tämligen svårt att modellera, så jag tänker inte säga emot den som hävdar att neurala nätverk är rätt metod för sådana saker.

Skulle gissa att tekniken har ett existensberättigande, men inte att det är den optimala lösningen på allt.

Finns det någon färdig programvara för detta, eller någon färdig funktion i Excel eller R etc som kan laddas ned och installeras?

Annars är ju iofs det ett skäl. Vanlig linjär regression är ju verkligen lättillgänglig. Och till en del även för vissa olinjära regressioner.

Deeplearning4J?
Keras?
TensorFlow?

Men om neurala nätverk är så bra på att klassifisera och använda som regressionsmodeller. Varför inte dumpa ALLA tidigare regressions analys och bara köra på neurala nätverk?

Som nämnt tidigare, oftast handlar frågeställningen om att man vill reducera ett problem och "förstå mekanismen", dvs skapa en modell. Deep learning bidrar inte till modellering.

Det har väl att göra med investeringen i att bygga modellen, träna modellen och använda modellen.

Du kan i princip bygga in hur många frihetsgrader som helst i en deep learning-modell (vilket gör den extremt anpassningsbar) men man riskerar också overfitting och en svårtillämplig modell på ny data. Dessutom tar det väldigt lång tid att träna en modell med många lager och/eller många interna kopplingar mellan neuronerna.