Igår, 02:46
  #49
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av BeneathTheSurface
Och för att förtydliga, det jag syftar på med att FFNet är det minst intressanta är att det som får språkmodellerna att ticka är embeddingen, som praktiskt är kan ses som en koordinat, som skalas/roteras och flyttas av attention beräkningen, vilket "kodar egenskaper" på koordinaten, det stora FFN:et förflyttar sedan koordinaten som en lookup table och sen beräknar man softmax och får då ut sannolikhetsdistributionen för nästa token (sannolikhetsdistributionen är alltså koordinatens distans till andra tokens i den här rymden).
Ungefär som en mänsklig hjärna då, men väldigt schematiskt.
Det man förlorar på gungorna kan man ta igen på karusellerna.
Det som är ganska simpelt och schematiskt är enklare att skala upp än det som är ett mysterium.
Men mysteriet är väl en bra psykologisk sköld?
Citera
Igår, 08:28
  #50
Medlem
Hardstekts avatar
Om det alltid krävs träning för att lösa problem, ett problem som en människa kan lösa, utan träning. Så kan man fråga sig hur intelligenta dessa modeller är.

Jag tror personligen ai kommer ta alla jobb och ersätta människor, precis som skrämselpropagandan. Men inte dagens llm.
Citera
Igår, 13:04
  #51
Medlem
Citat:
Ursprungligen postat av Cyborg2030
Det jag menar är att de modeller som misslyckas har förmodligen inte tillräckligt med träning på det specifika problemet att prova sig fram för att förstå spelets regler. Om man skulle sätta upp det bättre i träningen skulle den klara spelet vilket du själv bekräftar. "Två AI-modeller har klarat alla tre spel, men det är alltså inte LLMs det handlar om". Artificiell Intelligens kan, får innehålla och innehåller de facto fler teknologier än bara LLM.

Att LLM skulle klara alla typer av logiska uppgifter har varken jag eller någon annan hävdat någonsin.

-Har du AGI så ska du ju inte behöva ha någon särskild träning alls förutom det man redan har. Du ska ha förmåga att resonera.

-Nu handlar ju tråden om just LLMs, förvisso inklusive multimodala LLMs. Som jag redan skrivit så är dessa mer eller mindre hopplösa i Arc v3. Ändå är det dessa modeller det läggs mest pengar på och som lanseras i nästan alla branscher.


Citat:
Ursprungligen postat av Cyborg2030
Grundteknologin är att skapa ett digitalt neuralt nätverk genom träning på stora datamängder och mycket beräkningskraft. Som det verkar finns det knappt något problem som vi inte kan träna en AI (smal eller generell) till att klara så länge vi har tillräckligt bra träningsdata för de problemen som ska lösas. Vid något tillfälle i framtiden kommer träningsdatat vara såpass rikt och de generella multimodala frontier-modellerna kommer att vara såpass stora att de kan lösa alla logiska problem som människor kan klura ut, för alltid (och nej, de kommer inte att vara baserade på LLM enbart). Hur ska du då förkasta att vi har en AGI?

-(om det fetade) Nej precis, och just det underkänner idén att AGI ska nås den vägen. Om AI måste tränas för att lösa problem så kan det aldrig lösa originella problem då det saknas träningsdata för dessa. Den begränsningen har inte människan, vars hela existens har byggt på att kunna lösa helt nya problem - dvs inte något som människan har klurat ut eller tränat oss för.

-Även om man kommer till en plats där man genom träningsdata kan lösa alla logiska problem som människor kan klura ut så måste jag vänligt påminna om att AGI inte är detsamma som att kunna lösa samma logiska problem som människor. AGI är att matcha eller överträffa människans förmåga i alla kognitiva uppgifter. Detta kan inte lösas genom probabilistiska modeller på existerande eller syntetisk träningsdata just eftersom den teknologin inte resonerar överhuvudtaget - till skillnad från människan.
Citera
Igår, 13:14
  #52
Medlem
Här har du förresten en artikel av en man som var tidig med att kritisera "scale is all you need", alltså det du hävdar. Finns länk i artikeln till en längre kritik av idén, artikeln jag har länkat till är mer en sammanfattning av hur många ledande AI-makthavare, inklusive de som investerat miljarder dollar i att just träna AI-modeller på stora mängder träningsdata, har börjat att hålla med honom.

Snart är det bara du kvar som tror på detta.
Citera
Igår, 13:24
  #53
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av Flaskback
-Har du AGI så ska du ju inte behöva ha någon särskild träning alls förutom det man redan har. Du ska ha förmåga att resonera.

-Nu handlar ju tråden om just LLMs, förvisso inklusive multimodala LLMs. Som jag redan skrivit så är dessa mer eller mindre hopplösa i Arc v3. Ändå är det dessa modeller det läggs mest pengar på och som lanseras i nästan alla branscher.




-(om det fetade) Nej precis, och just det underkänner idén att AGI ska nås den vägen. Om AI måste tränas för att lösa problem så kan det aldrig lösa originella problem då det saknas träningsdata för dessa. Den begränsningen har inte människan, vars hela existens har byggt på att kunna lösa helt nya problem - dvs inte något som människan har klurat ut eller tränat oss för.

-Även om man kommer till en plats där man genom träningsdata kan lösa alla logiska problem som människor kan klura ut så måste jag vänligt påminna om att AGI inte är detsamma som att kunna lösa samma logiska problem som människor. AGI är att matcha eller överträffa människans förmåga i alla kognitiva uppgifter. Detta kan inte lösas genom probabilistiska modeller på existerande eller syntetisk träningsdata just eftersom den teknologin inte resonerar överhuvudtaget - till skillnad från människan.
AGI kommer att bestå av fler teknologier än LLM
Citera
Igår, 13:37
  #54
Medlem
Citat:
Ursprungligen postat av Cyborg2030
AGI kommer att bestå av fler teknologier än LLM


Berätta mer. Vilka teknologier? Hur kommer de att interagera med varandra och hur kommer AI:n att välja vilken teknologi som ska användas?

Varför har du gått ner dig till att skriva en oneliner?
Citera
Igår, 13:45
  #55
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av Flaskback
Berätta mer. Vilka teknologier? Hur kommer de att interagera med varandra och hur kommer AI:n att välja vilken teknologi som ska användas?

Varför har du gått ner dig till att skriva en oneliner?
När du frågar t.ex. GPT 5.5 om den kan räkna antal R i en stor textmassa och den kör ett Python-script för att ta fram svaret då är ju inte det bara LLM, eller hur? De stora AI-tjänsterna är multimodala där LLM är en delmängd. Teknologin bakom detta är hemlig. Ingen utanför kan veta hur de bygger detta med sikte på AGI.

What did Ilya see?
Citera
Igår, 14:02
  #56
Medlem
Citat:
Ursprungligen postat av Cyborg2030
När du frågar t.ex. GPT 5.5 om den kan räkna antal R i en stor textmassa och den kör ett Python-script för att ta fram svaret då är ju inte det bara LLM, eller hur? De stora AI-tjänsterna är multimodala där LLM är en delmängd. Teknologin bakom detta är hemlig. Ingen utanför kan veta hur de bygger detta med sikte på AGI.

What did Ilya see?


Jag tänkte väl det. Det du beskriver är dock inte LLM som en delmängd utan som ett "centrum" som sedan använder sig av ANI, algoritmer eller programvara för att klara problem som en LLM är dålig på. Då återstår samma problem som jag redan belyst flera gånger, nämligen:

-Att "hjärnan" i systemet fortfarande är probabilistisk och alltså inte kan resonera eller ens förstå input och output.

-Risk för hallucinationer i de uppgifter som bäst löses med LLM eller andra former av generativ AI.

-Risk för jailbreaks.

-Oförmåga att lösa originella problem då man saknar träningsdata för sådant.

Inget av detta är förenligt med AGI, eller ens självständigt arbete.
Citera
Igår, 14:07
  #57
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av Flaskback
Berätta mer. Vilka teknologier? Hur kommer de att interagera med varandra och hur kommer AI:n att välja vilken teknologi som ska användas?

Varför har du gått ner dig till att skriva en oneliner?


Citat:
Ursprungligen postat av Cyborg2030
När du frågar t.ex. GPT 5.5 om den kan räkna antal R i en stor textmassa och den kör ett Python-script för att ta fram svaret då är ju inte det bara LLM, eller hur? De stora AI-tjänsterna är multimodala där LLM är en delmängd. Teknologin bakom detta är hemlig. Ingen utanför kan veta hur de bygger detta med sikte på AGI.

What did Ilya see?

Men om jag får gissa:

Kod:
UserRequest --> CensorshipAI --> TaskDirectorAI 
  | - LanguageAI 
  | - ResearchAI 
      - ResearchAgent 
  | - CodeAI 
      - PythonTool, ...
  | - ImageAI 
      - PythonImageTool

Dessa AIs skulle ibland kunna vara separata, smala AI och/eller samma grundmodell som ges olika roller och som har finjusterats på olika sätt för sin uppgift.

Jag föreställer mig inte att AGI kommer att vara "en personlighet", snarare "ett team" av experter/agenter.
Citera
Igår, 14:09
  #58
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av Flaskback
Jag tänkte väl det. Det du beskriver är dock inte LLM som en delmängd utan som ett "centrum" som sedan använder sig av ANI, algoritmer eller programvara för att klara problem som en LLM är dålig på. Då återstår samma problem som jag redan belyst flera gånger, nämligen:

-Att "hjärnan" i systemet fortfarande är probabilistisk och alltså inte kan resonera eller ens förstå input och output.

-Risk för hallucinationer i de uppgifter som bäst löses med LLM eller andra former av generativ AI.

-Risk för jailbreaks.

-Oförmåga att lösa originella problem då man saknar träningsdata för sådant.

Inget av detta är förenligt med AGI, eller ens självständigt arbete.

Exakt så och dessutom användandet av specifika verktyg för specifika situationer är också ett tränat beteende, inte resultatet av kausal förståelse från modellens sida.
Citera
Igår, 14:13
  #59
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av Cyborg2030
Men om jag får gissa:

Kod:
UserRequest --> CensorshipAI --> TaskDirectorAI 
  | - LanguageAI 
  | - ResearchAI 
      - ResearchAgent 
  | - CodeAI 
      - PythonTool, ...
  | - ImageAI 
      - PythonImageTool

Dessa AIs skulle ibland kunna vara separata, smala AI och/eller samma grundmodell som ges olika roller och som har finjusterats på olika sätt för sin uppgift.

Jag föreställer mig inte att AGI kommer att vara "en personlighet", snarare "ett team" av experter/agenter.

Det är precis så här agentiska system fungerar idag... Faktum är att det är även så MoE fungerar fast internt i modellen där "TaskDirectorAI" är router lager som helt enkelt aktiverar de experter som överlappar med den "semantiska" betydelsen av nuvarande token som skickas in i modellen.
Citera
Igår, 14:14
  #60
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av Flaskback
Jag tänkte väl det. Det du beskriver är dock inte LLM som en delmängd utan som ett "centrum" som sedan använder sig av ANI, algoritmer eller programvara för att klara problem som en LLM är dålig på. Då återstår samma problem som jag redan belyst flera gånger, nämligen:

-Att "hjärnan" i systemet fortfarande är probabilistisk och alltså inte kan resonera eller ens förstå input och output.

-Risk för hallucinationer i de uppgifter som bäst löses med LLM eller andra former av generativ AI.

-Risk för jailbreaks.

-Oförmåga att lösa originella problem då man saknar träningsdata för sådant.

Inget av detta är förenligt med AGI, eller ens självständigt arbete.
Kan du ge ett exempel på ett nytt problem som en framtida AGI inte kan klara för att den inte är tränad på den typen av problem?

Om varken du eller någon annan i tråden kan klura ut det problemet då är väl inte du smartare än AI:n? Är inte det AGI?

Jag har försökt med denna typen av utmaning flera gånger här på forumet. Jag har aldrig fått något svar. Ska du också ducka?
Citera

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in