Citat:
Jag sa inte att de förstår "allt med AI." Jag sa att de förstår tekniken. Du själv var den som sa att ingen människa förstår AI och bad mig att beskriva bokstavligen just tekniken för att bevisa att den är förståelig för människor. Sluta flytta målstolparna.
Ja, varför inte. ChatGPT är ju smartare än oss och den kan förklara problemet bättre 
Bra fråga. Det är faktiskt ett av de mer intressanta problemen inom AI just nu. Här är en teknisk men kortfattad förklaring varför forskarna inte fullt ut "förstår" hur de största språkmodellerna fungerar:
1. Otransparent optimering
Modeller som GPT tränas genom att minimera en förlustfunktion över enorma datamängder, med tiotals eller hundratals miljarder parametrar. Men gradientnedstigningen som används hittar bara någon lokal minimum i denna extremt komplexa optimeringsyta – det är inte förutsägbart vilka lösningar som kommer att hittas eller exakt varför de fungerar.
2. Emergenta egenskaper
Vissa förmågor (t.ex. logisk resonemang, översättning, kodgenerering) dyker upp plötsligt när modellen blir tillräckligt stor – det är svårt att förutsäga när och varför. Det är alltså inte designat att kunna dessa saker, utan snarare en sidoeffekt av träningsprocessen.
3. Ingen direkt tolkning av vikter
Parametrarna i nätverket (vikter) är matrisvärden utan direkt semantisk betydelse. Det är som att försöka förstå en hjärna bara genom att titta på hur varje neuron är kopplad – du kan se kopplingarna, men inte förstå funktionen direkt.
4. Svart låda även för skaparna
Träningskod, arkitektur och data är kända – men beteendet som uppstår är en konsekvens av komplexa interaktioner. Det är som med djupa neuronnät inom bildigenkänning: vi vet hur vi byggt dem, men inte alltid varför de gör vissa fel eller har vissa styrkor.
5. Begränsad tolkningsvetenskap
Fältet för att förstå neuronnät – t.ex. "interpretability" eller "mechanistic interpretability" – är fortfarande ungt. Forskare försöker analysera enskilda neuroner, mönster i aktivering, modularitet etc., men har bara fragmentariska framsteg hittills.
Kort sagt:
De vet hur man bygger modellerna, men inte varför vissa funktioner uppstår eller hur information representeras internt. Det är som att ha konstruerat en komplex maskin genom evolution snarare än ingenjörsdesign.
Vill du ha exempel på emergenta förmågor eller tolkningsförsök?
__________________
Senast redigerad av DoldaAvsikter 2025-07-04 kl. 22:17. Anledning: Fixad formulering
Senast redigerad av DoldaAvsikter 2025-07-04 kl. 22:17. Anledning: Fixad formulering
Citat:
Herregud.
Nej, du tog som exempel en del av tekniken som är förstådd. Och där trodde du att du vann. Jag svarade sedan, med ChatGPT:s hjälp, med en annan del, en mer central och viktig del, som inte är helt förstådd. Att den delen inte är helt förstådd innebär att vi inte kan veta så mycket om teknikens potential eller tekniska hinder för att bli intelligent, eller mer intelligent än i dag. Vi vet inte var målstolparna står. Det fungerar alltså inte att peka på brister med tekniken och använda det som argument för att den inte kan leda till intelligens. Det hänger också ihop med vår begränsade kunskap om hur vår egen intelligens fungerar. Vi kan däremot mäta intelligens med IQ-test, eller ännu bättre Arc-AGI (som iofs är ett svårt IQ-test, i princip).
Jag ska förenkla konversationen för dig så att du hänger med. Du:
Citat:
Jag:
Kan du förklara, eller peka på förklaringen som i varje teknisk detalj beskriver hur GPT kan skriva en rocklåt om Pippi Långstrump? Det kan du inte, eftersom ingen vet hur det fungerar exakt.
Citat:
Ja. Förklaringen finns här:
Och det är här vi är nu.
Jesus kristus.
Skapa ett konto eller logga in för att kommentera
Du måste vara medlem för att kunna kommentera
