Citat:
Ursprungligen postat av
Ola Schubert
Vare sig man satsar på större modeller eller inferens-tid så behövs det beräkningskraft, mycket beräkningskraft, och det kostar oerhörda summor pengar. OpenAI är nu, helt, i händerna på Microsoft, som just kan erbjuda en sådan beräkningskraft. Därför kan Microsoft ställa vilka krav som helst på OpenAI, vilket de också gör genom att tvinga OpenAI att "definiera AGI" som när modellerna kan dra in 100 miljarder dollar. Det är ingen definition, utan vansinne. Men OpenAI har inget val. Tror du det går att Crowd-fonda ihop 100 miljarder dollar?
Det är träningen som kräver enormt mycket beräkningskraft, men uppenbarligen med rätt träningsteknik så behövs inte en bråkdel av det för att uppnå snarlika resultat, något som kineserna demonstrerat.
Microsoft har inte tvingat OpenAI att defininera AGI, det är OpenAI själva som gjort deras avtal med Microsoft sträcker sig fram tills dess de utvecklar AGI, OpenAI försökte först därför definiera AGI som ett autonomt system som presterar bättre än en människa på de flesta momentära uppgifter, nu har man blivit bedd att förtydliga detta och har därför satt att AGI är uppnådd när någon av deras tjänster genererar 100 miljarder USD.
Det är ingen som pratat om någon crowdfunding överhuvudtaget, men det går samla in enorma summor genom donationer osv om det är sådant man är intresserad av. Men det har inte till saken att göra och det är skrattretande att du ens tar till sådana argument när OpenAI är ett av de företag som drivit på mest att sätta regulationer på tekniken, något som också till viss del redan gjorts i och med att Biden administrationen satte tak för hur starka datorer och hur mycket och länge en modell får tränas utan statligt tillstånd. Och för att vara tydlig- förstår du inte själv hur det är ett kontraproduktivt argument från din sida då? Ingen utom några av världens rikaste företag skulle ha råd att utveckla tekniken, så varför någon reglering i så fall?
Microsoft vill ha tillbaka sina miljarder, det är ingen välgörenhet de sysslar med, varför tror du propaganda maskinen drog igång med "Sparks of AGI"?
Apple drog sig ur sin tilltänkta investering av OpenAI, du kan ju gissa varför, eller så kan du ju tro att de inte tänker vitt och brett som dig.
Citat:
Ursprungligen postat av
Ola Schubert
Du tror inte på LLM-Transformer tekniken. Du anser att det bara är en hype, en "leksak" , en "bandspelare" eller dylikt. Det lustiga är att du, istället förespråkar symbolisk AI, som Yann LeCun arbetar med, eller kanske en en elektronisk kopia av den mänskliga hjärnan. Men symbolisk-AI är just det som misslyckats sedan 1970-talet och du är ju stolt över att du "genomskådade hypen" just runt detta och och andra hyper. ANN började fungera först när tillräckligt med beräkningskraft blev tillgänglig.
Var och när har jag förespråkat symbolisk AI? Däremot tror jag det är en betydligt bättre väg att nå pålitliga modeller.
En elektronisk kopia av hjärnan har jag aldrig förespråkat överhuvudtaget, vi är inte ens på stenåldern i att förstå hjärnans komplexitet, men redan idag vet vi att det som kallas traditionellt kallas "ANNs" och framförallt den typ som Transformers använder som alltså är stora fully connected feedforward nätverk, är den äldsta maskininlärningsteknik vi har, den kommer direkt från 50 talet.
ANNs har "fungerat" hela tiden, men det har inte varit effektivt jämfört med kontemplativa metoder med dåtidens datorer.
Och i absoluta början hade man inte kommit på någon teknik att träna djupare nätverk, det är det som gradient descent löste eller annars känt som "back-propagation". Som av någon anledning Geoffery Hinton får äran för, fast han inte gjort annat än att använda det.
Citat:
Ursprungligen postat av
Ola Schubert
Och resultaten visade sig när man utvecklat transformers för språklig förståelse hos modellerna, eller Alex-net vad gäller bildförståels, vilket du säger dig arbeta med, och dessutom säger dig sträva efter "fullständig automatisering". Att försöka bygga en exakt elektronisk kopia av den mänskliga hjärnan är förstås praktiskt omöjligt. Det finns redan ett enklare och trevligare sätt att skapa sådana kopior!🙂 LeCun kan möjligtvis tillföra något nyttigt, men, än så länge har jag bara sett teoretiska skisser komma ut ur hans forskning.
Vad drar du in Alexnet för överhuvudtaget? Det är för det första ingen transformer utan en CNN struktur, vilket var vad Yann LeCun utvecklade/uppfann.
Språkmodeller var heller inget nytt när transformers introducerades, och samma idé användes redan då, jag har skrivit det åtskilliga gånger redan NLP är inget nytt och grundprincipen är precis densamma idag som den var från början, statistiskt modellera nästkommande "ord" baserat på föregående, det finns mängder med sätt att göra detta på och det gick göra redan på 70 talet med markovkedjor, problemet är att texten blir väldigt osammanhängande med en enkel markovkedja för den tar enbart hänsyn till föregående ord. Då utforskades att använda n-gram markovkedjor i stället vilket innebär att man tittar på N föregående "ord" resultatet blev genast mycket bättre, men du fick problemet att det tog sjukt mycket minne, spola fram till mitten på 2010 talet... Google använde snarlika tekniker för sin maskinöversättning- google translate, de insåg att för att översättningen ska bli bättre så behöver de spegla ordens relation och där uppfanns transformers, som har vad som kallas "uppmärksamhetshuvuden" vilket låter mer avancerat än det faktiskt är, för vad det gör är att det bygger en korrelation mellan indata och förväntad utdata, så att algoritmen kan ta hänsyn till ordens position, vilket är högst nödvändigt när du översätter eftersom grammatiken i olika språk förändrar ordningen på orden, med transformers så kan du genom att ge exempel automatiskt träna fram transformationer så att algoritmen fungerar, ungefär som om du har ett språk som svenska som tex säger "Jag är glad" medans om du översätter det till tex yoda språk "glad jag är" så kan de algoritmiskt genom exempel skapa en transformation som effektivt är samma sak som att säga "översätter du från svenska till yoda" så flyttar du adjektivet först. (Och om du inte förstod det, är det därför de heter Transformers- men jag gissar du trodde de syftade på de färgglada bil-robotarna från 80 talet)
Citat:
Ursprungligen postat av
Ola Schubert
Det som gett, konkreta, resultat är istället LLM-Transformer spåret i kombination med att justera samt lära modellerna rationellt tänkande , hur mycket du än bagstelliserar dem. Det tanke fel som jag anser du gör dig skyldig till är att du inte tar hänsyn till några viktiga omständigheter: Språket som grund för abstrakt tänkande samt att LLM-Transformers fungerar som de facto sociala agenter som verkar under samma socialpsykologiska mekanismer som vi gör.
Dessutom missar du att såväl våra egna, helt oundvikliga och omfattande, fabriceringar och simuleringar är helt nödvändiga för vårt kreativa tänkande. Samma sak gäller även LLM-Transformers. Allt detta har jag uppenbart förgäves, försökt förklara för dig. Likt en sorkastisk papegoja hänvisar du istället ständigt till modellernas grundläggande funktionssätt, som du beskriver just som stokastiska papegojor, utan att ta hänsyn till det jag beskrivit ovan. Jag kommer därför inte att gå in mera på just detta.
Nej OpenAI är inga, "elaka farbröder med cyliderhatt". Har du vuxit upp med "Wille, valle och Viktor"? 😄 Där jobbar visionärer, men som, tyvärr, också måste ta hänsyn till ekonomiska realiteter. Väldigt många datavetare och andra forskare arbetar med att utveckla LLM-Transformers, och du väljer att betrakta dem som idioter om sysslar med "hype" och utvecklar "leksaker"/i princip meningslösa kopior av "The reell thing". Låt vara att du även medgett att de, trots allt, kan göra viss nytta och ha viss funktion.
Tänk om det är, du, som är fel ute denna gång? Det går inte att likt Karl Poppe att, å ena sidan hävda att alla hypoteser måste först försöka falcificeras och å andra sidan senare själv ägna sig åt flummiga spekulationer om "medvetna kvantpartiklar"! På samma sätt så kan du inte hävda vetenskaplig integritet och samtidigt bortse ifrån en massa andra faktorer, bara för att vi inte kan mäta dem så exakt som du önskar. Det är ovetenskapligt hyckleri i båda fallen.
Jag orkar inte detaljcitera mer av ditt spaltlånga inlägg, så jag skriver bara kortfattat på resterande.
Det är meningslöst att diskutera detta mer med dig, jag har försökt förklara åtskilliga gånger om du vill fortsätta tro och slösa din tid på detta, slänga bort dina pengar på prenumerationer för att samtala med din bästa kompis GPT osv gör det för all del.
Skyll inte på mig den dag ljuset går upp för dig hur grundlurad du blivit bara, fram tills dess kan vi hoppas att någon faktiskt knäcker problemet med riktig AI.