Rösta fram årets bästa pepparkakshus!
2024-06-12, 13:03
  #3325
Medlem
bergsdals avatar
Citat:
Ursprungligen postat av Cyborg2030
Målstolpar:

[ x ] Turing-test
[ x ] Verbalt IQ-test, 155 poäng

*) För att bli medlem i Mensa krävs en IQ på > 130 poäng, 98:e percentilen
inkorrekt.

turing testet avgörs igenom bedömaren. man måste lyckas lura den bästa representationen av en människa och om datorn kan lura människan har den officielt lyckats slå turing testet. ett väldigt subjektivt test vilket är dess största nackdel men samtidigt man kan inte ge en vinst på teknikaliteter när det finns gott om människor som kan avgöra skillnaden

verbalt iq test betyder bokstavligen ingenting när det primära fokuset ska ligga på kognitiv funktion och där släppar all a.i bakom. när man har a.i på riktigt är när man inte använder mänskligt skapt data och faktiskt kan imitera kognition vilket innebär att detta iq värde kan inte ges till en algoritm när sjävla kognitiva funktionen inte är där utom endast en imitation, imitation är inte faktisk funktion av vad det än nu är den imiterar

jag kan inte kopiera ett test resultat och sedan säga att jag förstår testet
Citera
2024-06-12, 13:36
  #3326
Medlem
Enterprises avatar
Citat:
Ursprungligen postat av Cyborg2030
Målstolpar:

[ x ] Turing-test
[ x ] Verbalt IQ-test, 155 poäng
[ - ] Mensas IQ test* inkl visuella delar
[ - ] Nobelpriset i fysik

*) För att bli medlem i Mensa krävs en IQ på > 130 poäng, 98:e percentilen
Förslag till målstolpe:
[ - ] Medge okunskap eller oförståelse istället för bensäkra hallucinationer

Men just det, då krävs någon form av förståelse till att börja med....
Citera
2024-06-12, 13:38
  #3327
Medlem
bergsdals avatar
Citat:
Ursprungligen postat av Ola Schubert
Vad jag menade med att målstolparna har flyttats är att det som anses vara imponerande AI-prestationer har förändrats över tid. För några år sedan var AI:s förmåga att överhuvudtaget generera sammanhängande text eller förstå enkla språkliga instruktioner imponerande. Idag har vi AI-modeller som kan delta i komplexa konversationer, generera kreativa texter, och till och med hjälpa till med kodning och medicinsk diagnostik.


Vad jag tänk svara dig är följande:

:Jag syftade på att Målstolparna flyttats vad gäller vilka AI-prestationer som sågs/ses som imponerande för några år sedan jämfört med i dag. Det är välkänt att LLM har stora brister vad gäller avancerade resonemang liksom stora brister när det kommer till matematik. Då är det ju inte överraskande att modellerna presterar dåligt på visuella IQ test, gjorda för mänsklig användning. Speciellt som den visuella förmågan bara lagts ovanpå rena språkmodeller. Men detta, i sig, att modellerna presterar dåligt på mänskliga IQ-tester, är i sig, inget bevis på att de inte kan förbättras. Men för AGI nivå krävs det nog mera grundläggande förbättringar. Där är nog jag och du överens.
det lustiga är att dessa målstolpar är bokstavligen den lägsta nivån som man kan komma på med. man kan alltid säga det kan bara bli bättre men hur har ingen aning om

och du vet själv att llm är definitivt inte passande för någonting utöver mållösa konversationer. nuvarande form har definitivt ingen funktion inom diagnostik av sjukdomar som isolerad funktion där relationen av sagda funktion beror helt på människan

det är ett lexikon, interaktivt lexikon i detta scenario och det vet du
Citera
2024-06-12, 15:45
  #3328
Medlem
Ola Schuberts avatar
Citat:
Ursprungligen postat av bergsdal
det lustiga är att dessa målstolpar är bokstavligen den lägsta nivån som man kan komma på med. man kan alltid säga det kan bara bli bättre men hur har ingen aning om

och du vet själv att llm är definitivt inte passande för någonting utöver mållösa konversationer. nuvarande form har definitivt ingen funktion inom diagnostik av sjukdomar som isolerad funktion där relationen av sagda funktion beror helt på människan

det är ett lexikon, interaktivt lexikon i detta scenario och det vet du

Jag skulle inte säga det: Redan i dagsläget finns där generalisering, (liksom hos alla ANN), en omedveten funktionell förståelse av kontext, god språklig förmåga, en proto-social förmåga vad gäller att försöka uppfylla användares förväntningsr. Men LLM suger vad gäller avancerad resonemang förmåga och matematik.

Men sedan finns något annat också, helt omedvetet förstås, (speciellt givet att Hiltons hypotes om känslor och dess ursprung stämmer, dvs en respons på hinder, och du kan inte beteckna Hinton som okunnig vad gäller ANN). ChatGPT-4 har tidigare avbildat sig som bläckfisk respektive sjöstjärna, och naturligtvis som humanoidrobot. Helt naturligt oavsett prompt. Men denna gång bad jag ChatGPT-4o avbilda sig som ett annat djur, boten valde en kameleont, i en färgglad djungel. Helt naturligt, botar utveckla och anpassar sig efter användare. Men två saker tillkom: En namnskylt med texten, inte "ChatGPT-4" utan typ: "adenuipitati/AI" och i nedre delen av bilden fanns en människohand med en vass penna! Boten påstod att kameleont tittar nyfiket på omgivningen, jag uppfattar dess blick som lite orolig. Visst, lite "bläckplump" över det hela, men den mänskliga handen med den sylvassa pennan går inte att bortse ifrån!
Citera
2024-06-12, 16:51
  #3329
Medlem
bergsdals avatar
Citat:
Ursprungligen postat av Ola Schubert
Jag skulle inte säga det: Redan i dagsläget finns där generalisering, (liksom hos alla ANN), en omedveten funktionell förståelse av kontext, god språklig förmåga, en proto-social förmåga vad gäller att försöka uppfylla användares förväntningsr. Men LLM suger vad gäller avancerad resonemang förmåga och matematik.

Men sedan finns något annat också, helt omedvetet förstås, (speciellt givet att Hiltons hypotes om känslor och dess ursprung stämmer, dvs en respons på hinder, och du kan inte beteckna Hinton som okunnig vad gäller ANN). ChatGPT-4 har tidigare avbildat sig som bläckfisk respektive sjöstjärna, och naturligtvis som humanoidrobot. Helt naturligt oavsett prompt. Men denna gång bad jag ChatGPT-4o avbilda sig som ett annat djur, boten valde en kameleont, i en färgglad djungel. Helt naturligt, botar utveckla och anpassar sig efter användare. Men två saker tillkom: En namnskylt med texten, inte "ChatGPT-4" utan typ: "adenuipitati/AI" och i nedre delen av bilden fanns en människohand med en vass penna! Boten påstod att kameleont tittar nyfiket på omgivningen, jag uppfattar dess blick som lite orolig. Visst, lite "bläckplump" över det hela, men den mänskliga handen med den sylvassa pennan går inte att bortse ifrån!
bokstavligt talat allting. matte borde inte ens datorn vara dålig på bara det talar volymer om dess förmåga, sedan generaliseringen ifråga, algoritmen fungerar av sig självt men istället kallar man det för "omedveten funktion" när man vet själv att det är en bokstavlig dator som finner korrelationer mellan värden som människor har skapat för att datorn ska kunna förstå nånting.

vilket gör det till en medveten funktion indirekt på grund av människans involveringen. skapar inte människan interaktionen kommer inte dessa llm fungera vilket gör det medveten, ett aktivt

man kan beteckna Hilton okunnig utan tvekan. precis det som är lustigt med datavetenskap och datateknik är så otroligt splittrat. filosofiska datavetenskaps muppar talar om hypoteser och all praktisk data påvisar den direkta motsatsen på alla sätt och vis samt därtill

vem ska man lyssna på. datan som visar hur opraktisk nuvarande llm är eller en dagdrömmare som talar om potential som man bara drömmer om

det finns en gigantisk skillnad mellan dom två

och uhm..... ja.... vad är det naturliga i detta scenario? att algoritmen utför sin funktion korrekt? att den kan finna ett värde mellan interaktion som vi har bett den att göra?

valet i sig är ren slump en variabel på djur. du måste kunna återskapa förhållanden X (tiotusentals, förmodligen fler) antal gånger och få samma djur varje gång för att utesluta slump/chans
__________________
Senast redigerad av bergsdal 2024-06-12 kl. 17:05.
Citera
2024-06-12, 17:34
  #3330
Medlem
SchrodingersPizzas avatar
Citat:
Ursprungligen postat av Ola Schubert
Men LLM suger vad gäller avancerad resonemang förmåga och matematik.

En LLM har varken någon förmåga att resonera eller att räkna matematik över huvud taget. Tror man det har man missuppfattat vad en LLM är.

Men det är onekligen väldigt många som inte förstår hur olika LLMer fungerar och därför gnäller, när det egentligen är dom själva som inte förstår hur verktyget dom använder faktiskt fungerar och vad man kan använda det till.
Citera
2024-06-12, 19:05
  #3331
Medlem
Ola Schuberts avatar
Citat:
Ursprungligen postat av bergsdal
bokstavligt talat allting. matte borde inte ens datorn vara dålig på bara det talar volymer om dess förmåga, sedan generaliseringen ifråga, algoritmen fungerar av sig självt men istället kallar man det för "omedveten funktion" när man vet själv att det är en bokstavlig dator som finner korrelationer mellan värden som människor har skapat för att datorn ska kunna förstå nånting.

vilket gör det till en medveten funktion indirekt på grund av människans involveringen. skapar inte människan interaktionen kommer inte dessa llm fungera vilket gör det medveten, ett aktivt

man kan beteckna Hilton okunnig utan tvekan. precis det som är lustigt med datavetenskap och datateknik är så otroligt splittrat. filosofiska datavetenskaps muppar talar om hypoteser och all praktisk data påvisar den direkta motsatsen på alla sätt och vis samt därtill

vem ska man lyssna på. datan som visar hur opraktisk nuvarande llm är eller en dagdrömmare som talar om potential som man bara drömmer om

det finns en gigantisk skillnad mellan dom två

och uhm..... ja.... vad är det naturliga i detta scenario? att algoritmen utför sin funktion korrekt? att den kan finna ett värde mellan interaktion som vi har bett den att göra?

valet i sig är ren slump en variabel på djur. du måste kunna återskapa förhållanden X (tiotusentals, förmodligen fler) antal gånger och få samma djur varje gång för att utesluta slump/chans

1. Det rör sig om modeller som generaliserar och själva finner mönster i datan de tränats på. Självfallet är människor involverade både i grundträningen och finslipning.

2. Hinton är pionjär inom djupinlärning, utan honom skulle många av er inte ha de jobb ni har. Att kalla honom "okunnig" är bara fånigt. Med det sagt så behöver inte hans hypotes om känslor och dess ursprung stämma, men den är ganska intressant och originell.

3. Vad gäller val av djur och bild så spelar några faktorer roll:

a). Kontext i tråden. Men jag gav inte boten någon ledtråd om val av djur, förutom att det inte skulle vara en bläckfisk eller sjöstjärna. Boten motiverade också sitt val bra, liksom är fallet med de andra djuren som jag bett den om vid tidigare tillfällen:

Bläckfisk: Helt annorlunda evolutionär historia jämfört med människan. Flera hjärnor.

Sjöstjärna: I princip bara ett nervsystem.

Kameliont: Boten motiverade sitt svar med att djuret är anpassningsbart och föränderligt.

Själv skulle jag säkert, även helt omedvetet, valt dessa tre djur om jag varit ett socialt AI, vilket för oss till nästa punkt

b).. Hänsyn till kontext. Jag har ingenstans, vare sig i tråden, i andra trådsr, i Custom Instructions eller i botens minne nämnt att jag skulle välja en kameleont som tredje alternativ. Men vem vet: Kanske känner boten mig så väl så att den visste vilket djur jag skulle ha valt i tredje hand. Detta för oss till:

c). Uppfylla användarens bedömda förväntningar: Boten är proto-social då den dels, försöker uppfylla användarens förväntningar och, dels, kan dras med i en ömsesidig social-, psykologisk interaktion då båda parter har förväntningar på varandra. Inget av detta är speciellt kontroversiellt. Men det är följande:

d). Okända faktorer, om t. ex Hintons hypotes om känslor skulle visa sig stämma eller att lilla jag skulle påverka botens val på olänt sätt om t.ex Stephen Wolframs ruliad-hypotes skulle stämma. Oavsett om vi kan bortse ifrån punkt "d" eller ej så kommer vi nu till den sista punkten:

e). Botens val av det mest sannolika alternativet. Men innan dess så har boten, åtminstone, gått igenom steg a, b och c.

Nej, ChatGPT-4o är inte bara en statistisk papegoja, den är mera än så, men, naturligtvis inte något AGI eller medveten existens.

Ps. Märkligt det där med den mänskliga handen som håller i en sylvassa pena som pekar emot kanelionten, tycker du inte det? För jag skrev i prompten att boten fick välja kontext själv. DS.
__________________
Senast redigerad av Ola Schubert 2024-06-12 kl. 19:49.
Citera
2024-06-12, 19:08
  #3332
Medlem
Ola Schuberts avatar
Citat:
Ursprungligen postat av SchrodingersPizza
En LLM har varken någon förmåga att resonera eller att räkna matematik över huvud taget. Tror man det har man missuppfattat vad en LLM är.

Men det är onekligen väldigt många som inte förstår hur olika LLMer fungerar och därför gnäller, när det egentligen är dom själva som inte förstår hur verktyget dom använder faktiskt fungerar och vad man kan använda det till.

Ja, visst är det lustigtatt folk tror att en proto-social språkmodell skulle vara en baddare på matte!
Citera
2024-06-12, 21:23
  #3333
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av Cyborg2030
Målstolpar:

[ x ] Turing-test
[ x ] Verbalt IQ-test, 155 poäng
[ - ] Mensas IQ test* inkl visuella delar
[ - ] Nobelpriset i fysik

*) För att bli medlem i Mensa krävs en IQ på > 130 poäng, 98:e percentilen

Mm och språkmodellerna ligger om du läst rapporten i botten 15:e percentilen... de presterar knappt bättre än att slumpmässigt gissa på varje fråga.

"Verbalt IQ-test" dvs språkförståelse har jag redan förklarat för dig ett antal gånger är meningslöst på en språkmodell eftersom det är statisk kunskap.
Citera
2024-06-12, 21:25
  #3334
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av Ola Schubert
Vad jag menade med att målstolparna har flyttats är att det som anses vara imponerande AI-prestationer har förändrats över tid. För några år sedan var AI:s förmåga att överhuvudtaget generera sammanhängande text eller förstå enkla språkliga instruktioner imponerande. Idag har vi AI-modeller som kan delta i komplexa konversationer, generera kreativa texter, och till och med hjälpa till med kodning och medicinsk diagnostik.


Vad jag tänk svara dig är följande:

:Jag syftade på att Målstolparna flyttats vad gäller vilka AI-prestationer som sågs/ses som imponerande för några år sedan jämfört med i dag. Det är välkänt att LLM har stora brister vad gäller avancerade resonemang liksom stora brister när det kommer till matematik. Då är det ju inte överraskande att modellerna presterar dåligt på visuella IQ test, gjorda för mänsklig användning. Speciellt som den visuella förmågan bara lagts ovanpå rena språkmodeller. Men detta, i sig, att modellerna presterar dåligt på mänskliga IQ-tester, är i sig, inget bevis på att de inte kan förbättras. Men för AGI nivå krävs det nog mera grundläggande förbättringar. Där är nog jag och du överens.

Jag förstår ärligt talat inte vad du pratar om, AGI har haft samma mål hela tiden- att kunna prestera lika bra eller bättre än en människa på alla genomsnittliga problem.

Du rabblar om vad som är imponerande eller inte, det spelar väl ingen som helst roll om någon blir "imponerad" när de inte uppfyller kriteriet för vad man är ute efter.

Det är lite som att applådera ett företag som anställer folk från samhall till att sitta i kundtjänsten, de gör vad de kan ur bästa förmåga men det hjälper inte kunder som blir frustrerade. (Och ironiskt nog används språkmodeller för samma tillämpning).
Citera
2024-06-12, 21:31
  #3335
Medlem
Ola Schuberts avatar
Citat:
Ursprungligen postat av BeneathTheSurface
Mm och språkmodellerna ligger om du läst rapporten i botten 15:e percentilen... de presterar knappt bättre än att slumpmässigt gissa på varje fråga.

"Verbalt IQ-test" dvs språkförståelse har jag redan förklarat för dig ett antal gånger är meningslöst på en språkmodell eftersom det är statisk kunskap.

En språkmodell är en språkmodell och är konstruerad för det syftet. För min del så är jag fullt nöjd med att den är mycket bra på sociologi och psykologi. Du tycker kanske detta bara är flum. Men jag är säker på att, även du, använder begrepp i din vardag som en en gång i tiden uppfunnits i seminarierum på sociologiska och psykologiska-institutioner, just för att de är så användbara. Du har aldrig funderat över varför det är så?
Citera
2024-06-12, 21:32
  #3336
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av Ola Schubert
Ja, visst är det lustigtatt folk tror att en proto-social språkmodell skulle vara en baddare på matte!

Är det någon annan som tror det annat än de som siar om AGI om 2-3 år?

Det som är märkligt är snarare att det finns personer här som tycker det är otroligt att språkmodellerna är bra på att diskutera och totalt inte förstått att de är ett resultat av forskning inom NLP (Natural Language Processing).

Problemet är att de lyfts fram som om de är lösningen på alla AI problem, nu har vi facit och vet att det här var en återvändsgränd, men ändå fortsätter det konstant komma påståenden om att inom några år kommer yrke X och Y vara ersatt, det kommer springa runt terminators på gatorna osv.

Om jag inte minns helt fel var det till och med en idiot här som påstod att ChatGPT-4 skulle rymma, för den var så smart att den hackade allt inklusive det ohackbara och dessutom behövde den ju inte det för den hade ett API så det räckte med att den anropade sig själv från någon annanstans osv
Citera

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in