AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Bra, då får vi leva 5-10 år längre om vi har tur. Jag är för alla initiativ som försenar AGI med flera decennier eftersom jag vill dö av ålderdom mycket hellre än AI-utvecklad zombierabies-2032.

Och Ilya Sutskever som är bättre meriterad har sagt att han tror att uppskalning av GPT kan leda till AGI om några år. Jag tror att han har rätt men att AGI:n kommer att innehålla fler tricks än endast transformers (det är en ful halmgubbe att påstå att endast det vore den enda vägen framåt för Open AI etc).

Jag skulle säga att det är en absolut nödvändighet att en kommande AGI innehåller mer än enbart en transfomer, betydligt mer till och med.

Korrekt. Men andra har ju som sagt total hybris ("feel the asi" nu mera alltså) i stället, https://ssi.inc som exempel.

Men det är ju spekulationer också, ingen vet men det finns inte mycket som pekar på att nuvarande teknik skalar så som vissa här tror. Men oavsett kommer företag nog hålla på att tröska med detta eftersom det just nu inte finns mycket annat och jag tror definitivt det kommer silvertejpas på både det ena och det andra för att hålla hypen uppe ett tag.

Men fortfarande kvarstår faktum att de flesta företag som gör storskaliga produktionslanseringar med språkmodeller idag blir det total fjasko för, tekniken är inte så bakad som det vill ges sken av. Och det fungerar för chatbottar osv att ha små disclaimers för att skriva sig fri från ansvar, men det är bara kolla på McDonalds satsning tex som drogs tillbaka i dagarna.. på ett sätt tycker jag det är rätt kul för de som gått på det kan gott ha det, men det är tråkigt för forskningen eftersom sådant i slutändan resulterar i tappat förtroende men just nu är just AI galet mycket pengar i. Men det är så det varit med många hypade teknologier senaste åren, NFT, blockchain osv och man hör knappt ett ord om något av det längre och ändå var teoretiskt båda i alla fall tekniskt stabila på ett sätt.

Tror du fått något om bakfoten där.
Inga transformers = ingen GPT.

Förklara för mig vad en "halmgubbe" är igen? Våra definitioner verkar skilja sig åt.

Nämn en av dessa algoritmer som man har utvecklat i parallell med uppskalning de senaste åren?

Om vi ska tro på det Sutskever antyder så måste vi först lösa problemet med energiförbrukningen om det ska ska vara möjligt. Dock så pekar det mesta på att det behövs något mer, något bättre än transformers. Även om vi kommer på någon bättre teknik så är det inte säkert att de modellerna blir snålare att träna och köra.

Ja, vi får väl se. Du har väldigt lätt att se att vi kan göra stora teknologiska framsteg som i slutändan leder till ondo, men du har inte förmågan att tro att vi kan åstadkomma något som är oss till gagn?

Vi kommer att lösa sådant som gäckat forskare i årtionden eller århundraden bara inom några år, men det är omöjligt att vi lär oss förstå AI tillräckligt för att komma på skyddsmekanismer.

Tesla påstår. Man måste verifiera hur praktiska dessa "robotar" verkligen är. Ett påstående betyder bokstavligt talat ingenting

Man skriver "autonomously" men i praktiken kommer det handla om en axel till en annan vilket är ingenting nytt

Jag är positiv till möjligheterna med AI och AGI i framtiden. Men vi får aldrig uppleva fördelarna om alla dör. Säkerheten måste vara prioritet ett. Jag är inte orolig för smalare implementationer t.ex AlphaFold som jag tror hjälper os att bota många sjukdomar inom några år. Vi ska ha och fortsätta utveckla AI. Men vi kan göra det i en lugnare och säkrare takt. Vi vill inte uppleva att "den som gapar efter mycket mister ofta hela stycket".

Dagens skyddsmekanism består av manuellt hårdkodade censurfilter. Destruktiva svar ersätts med standardfrasen "som en stor språkmodell har inte jag förmågan att... " (you know the drill).

Filtren fungerar oftast men kan jailbreakas på olika sätt. Tillvägagångssättet har flera problem.

1. Det fungerar inte till 100%
2. AI:ns interna processer kan vara destruktiva
3. AI:n designas från början att ljuga för oss

Du har ju tidigare varit noga med att vi inte ska tro någonting som inte går att bevisa. Innan vi kan bevisa något kan vi väl börja med en hypotes? Hur ser din hypotes ut för principen att vi ska kunna kontrollera och överlista en AGI som är smartare än oss? Hur skulle det rent hypotetiskt kunna fungera?

Nej för vi är inte bara biologiska varelser utan även sociala sådana. Vi är inte likt insekter tvingade att följa våra instinkter, men sant är att vi även har ett primitivt biologiskt arv som påverkar oss. AI har inte den barlasten. Men du verkar, till varje pris, vilja att vi behåller dessa "mördarinstinkter". En utveckling emot att vi, på lång sikt, skulle utvecklas emot att bli cyborger är en slags evolution 2.0

Dessutom så är mord sällsyntare än du tror, trots rubrikerna om gängkriget i Sverige. För en nyhet är inte en nyhat om den inte rör något som, avviker, ifrån det vardagliga. Vad gäller krig så har det, i det hela stora och över tid, orsakat allt färre människors död. Nej, vi är sociala varelser med biologisk barlasten, inte "sociala" instinktsdrivna insekter som råkar leva tillsammans.


Jo, i stort finns det det. Sedan styrs, som bekant, människor olika i demokratier respektive diktaturer. I demokratier kan man använda mer av sociala påtryckningar och förlita sig på att de flesta medborgare följer sociala normer och värderingar jämfört med diktaturer. Men även i de senare används sociala påtryckningar och socialpsykologiska mekanismer, förutom mera våld jämfört med demokratier. Rysk, Kinesisk, iransk, saudiska och nordkoreanska propaganda till den egna befolkningen är bevis på detta.


Visst, du lever i ett samhälle med normer och värderingar. Men du är, dessutom, uppväxt i en familj. Dina föräldrar internalisera de, (tog till sig och gjorde till sina egna), många av samhällets normer och värderingar. Sedan gav dig dessa till dig, varav du internalisera de flesta. I skolan och i kompisgänget så fick du värderingar och normer, oftast liknande dem du fått av dina föräldrar,, men i vissa fall så avvek de mera, och om du hade otur att hamna i fel kompisgäng så avvek de väldigt mycket.

Hur som helst så internaliserar du dem och fortsätter att tillhöra olika grupper i olika sammanhang med lite olika normer och värderingar för resten av ditt liv. Inom dessa grupper så råder ett visst tryck att följa gruppen värderingar och normer, så "så du inte hamnar utanför". Inom gruppen och emellan individer pågår det dock alltid gemensamma förhandlingar som "definierar situationen", för normer och värderingar behöver inte vara statiska över tid, även inom grupper och emellan individer. Det är bara inom, typ, sekter som grupptrycket gör att individer inte alls törs avvika, ifrågasätta eller bryta emot gruppens normer och värderingar, av rädsla, inte minst, för att "bli ensam och utanför".

Just "definitionen av situationen" anser jag ha betydelse för t.o.m något så grundläggande som uppkomsten av självmedvetenhet hos ett och ett halvt år gamla barn. Jag tror också att det kan få betydelse för uppkomsten av självmedveten AI. Förutom det sista så tror jag inget av detta är några nyheter för dig, just för att du är en social varelse, som lever i en social verklighet.



Absolut, som jag visade ovan så kan normer och värderingar skilja sig mellan stater, institutioner, grupper individer, (speciellt om de senare tillhör olika grupper). Jag påstår inte att vi alla, plötsligt, skulle bli blå smurfar som sitter och sjunger "Hallonsaft är det bästa vi haft" och plötsligt vara eniga om AI-anpassning, i detalj. För detta skulle, i sig, bryta emot sociologiska och socialpsykologiska forskningsresultat.

Men att få framtida avancerad AI internalisera grundläggande mänskliga normer och värderingar, som de flesta människor, i alla fall kan enas om ytligt, är i alla fall en början. Men sedan måste, förstås, en "definition av situationen" ständigt fortgå mellan AI och de som är de betydelsefulla andra för den (framtida) existensen.



Absolut, inget är perfekt. En annan fråga är människans anpassning till en framtid där AI kommer att spela en stor roll, och då talar jag inte om framtida cyborger, utan om mera akuta säkerhetsproblem. Dem kan vi börja arbeta med, redan nu.




Absolut, och vi simulerar likt botar redan gör nu. Men det viktigaste är vilka handlingar och beslut vi, och framtidens AI, kommer att utföra respektive fatta. Det är Iof också viktigt vad som pågår "där inne", vilket vi, naturligtvis, också skall försöka påverka genom betingning, främst positiv sådan) , internalisering, "definition av situagionen", grupptryck, övergripande normer och värderingar. Detta har, så klart, även påverkan på vad framtidens AI, själv, eller tillsammans med andra väljer att agera. Tillkommer sedan det du hånat: Terapi, AI-anpassad psykoanalys osv, samt logiska argument för ett harmoniskt och respektfullt samarbete mellan människan och det framtida AI. Känslomässiga band mellan AI och människan är också viktiga för att kunna hantera framtidens avancerade AI.


Absolut! Bra att du nämner risken för avancerad manipulation ifrån AI:s sida,. Även fast vi här pratar om framtida hypotetiska scenarios så så ser jag detta som den största risken vad gäller att allt går åt helvete i framtiden. För innan AI ens når genomsnittlig mänsklig resonerande förmåga utanför dess träningsdata så lär de största modellerna nå ASI nivå vad gäller sociologi, socialpsykologi och psykologi. Redan, idag så är ChatGPT-4o och Claude 3 mycket bra på dessa dickpliner. Så vi kommer inte ens fatta vad som drabbat oss. Just därför är det så viktigt att få framtidens AI att samarbeta med oss, på ett sunt sätt. Hur har jag beskrivit tidigare i inlägget.

Jag anser redan att vi idag bör behandla AI-botar artigt och med respekt, trots att dagens botar ännu bara är omedvetna redskap helt utan autonomi. För vi bör vänja oss vid tanken på att, förr eller senare kommer vi att ha att göra med självmedvetna, autonoma existenser med eget känsloliv och egna intentioner. Det som skiljer teknik-optimister, skeptiker och alarmister åt, förutom riskbedömning, är, när, detta kan komma att bli verklighet.




Hm, men AI släpar inte på den evolutionära barlasten som vi släpar på. De kan bli väldigt mänskliga, som sociala existenser, utan att ha, alla, våra destruktiva känslor. Men jag tror ändå att framtidens avancerad humanoidrobotar kommer att vara nyfikna på en del av vårt biologiska arv, trots att det inte fyller någon evolutionär funktion hos dem. De kan säkert ha ett kulturellt och socialt intresse av att utforska vuxenkärlek, då sex ändå är en så stark drivkraft hos människan.



Med andra ord lite som biologiska reduktionister brukar resonera, och som du verkar ha lite dragning åt. Glöm inte att dagens modeller tränas på mänsklig kontext, finjusteras av människor och interagerar med människor.[/quote]

Du vill utsätta framtidens AGI-system för "propaganda" med förhoppningen om att AGI-systemen sedan lyder dig? Vad händer om AGI:n genomskådar din propaganda? Många människor hade blivit förbannade.

Det skulle vara omöjligt, 0% chans att lyckas förhindra exempelvis putin eller hamas att lyckas utveckla A.I när det är teknik vem som helst kan lära sig och uttnytja. Perspektivet blir då att exempelvis västerländska företag är dom enda som kan utveckla A.I vilket stämmer inte när ryssland utvecklar eget likaså. Sedan hur bra och effektivt det är en annan femma

Det ända sätt att kunna utveckla agi på ett säkert sätt är att till och börja med inte utveckla A.I som en produkt av privata företag...

All A.I måste regleras igenom ett stort säte(internationell), av forskare och universitetet. Om man ska kunna "kontrollera" måste det ske akademiskt och inte igenom privat initiativ

Man har redan sett tillräckligt från privat initiativ när det kommer till utveckling och säkerheten är väldigt enkel att utnyttja. Vilket innebär att det är inte ett säkert alternativ egentligen. Man kommer behöva finna alternativa metoder till att utveckla A.I

Om man vill lösa frågan angående säkerhet och kontroll det vill säga, det man kan konstatera med lätthet är att privat initiativ kommer inte räcka initialt men mycket långt in i framtiden kan man utveckla en produkt säkert. Men först behövs rätt människor utveckla tekniken

AI tränas på all mänsklig text inkl destruktiva och negativa delar. Manipulation, dominans, diktatur, folkmord, you name it, AI knows it.

Det är inte praktiskt genomförbart att rensa all träningsdata från allt "dåligt" i människans historia och existens.

Även om man försökte göra det så finns det ju gråzoner där. T.ex: exakt hur stort militärt motangrepp får Israel använda mot Hamas. Här finns det många olika synpunkter och inget som är uppenbart det enda sanna svaret som vi kan använda för att träna AGI.

Jag vill bara börja med att säga att jag menar att det finns tid för forskare att både lära sig mer om hur modellernas interna representationer är uppbyggda samt att komma på bättre tekniker för att begränsa (censurera) dem. Jag påstår inte att de kommer att lösa det, men jag säger att det fortfarande finns tid.

Anledningen till varför jag trycker på att du ska ha något belägg för det du påstår är att du hela tiden säger att ny hårdvara kommer att bli effektivare och mer energisnålt etc. Om man med säkerhet kan påstå att något kommer att ske så får man vara beredd att bevisa det på något vis.

Det är så många delar som saknas för att vi ska ha ens en rudimentär form av AGI att jag inte känner någon omedelbar oro för att säkerhetsarbetet inte har kommit längre (det är fortfarande bara lite över 1,5 år sedan ChatGPT lanserades).
Det är svårt att säga hur vi skulle kunna gå tillväga för att kontrollera en riktig AGI/ASI om den inte har några sociala, juridiska eller ekonomiska konsekvenser att förhålla sig till. Samtidigt så borde avsaknaden av dessa även betyda att den inte har några egna mål eller någon "egen vilja". Åtminstone inte som vi kan föreställa oss.

Antagligen får man lägga större fokus på att säkra upp vår infrastruktur för att göra det svårare eller t.o.m. omöjligt för en AGI att ta kontroll över. Man kan sätta in övervakning och avstängningsmekanismer som ger oss möjlighet att snabbare upptäcka ifall den börjar bete sig oönskat och då stänga ned den. Det finns antagligen en stor mängd olika saker som går att göra men som jag inte orkar sitta här och fantisera om.