AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Det går inte att lösa i bemärkelsen att det kommer att finnas 100 procentig garantier, det finns det inte för något här i livet. Men vi skulle kunna minska sannolikheten för att det går riktigt åt helvete till promille nivå, om vi sköter våra kort rätt. Och det är en betydligt mindre risknivå än vad vi lever med i dag gällande kärnvapenkrig med bl.a Putler och babie-Kim vid rodren. Men vi måste redan nu börja förbereda oss genom att introducera beteendevetar-/samhällsvetenskapliga perspektiv inom AI-utvecklingen. För redan idag behövs det att vi börjar se på människans anpassning-problem till AI! Vilket för oss till cyborger. Jag menar, absolut inte, att likt "The Borgs" i Star-trek, tvinga människor att bli cyborger, det måste ske helt frivilligt!

Och till det du skrivit i andra inlägg om "2 procent säkerhetsforskning". Formellt stämmer detta, men i praktiken så ser det betydligt ljusare ut: AI-säkerhetsarbetet är en integrerad del av att utveckla och underhålla AI-modeller. När man "finjustera" modeller efter grundträningen och när man uppdaterar dem, så gör man det av prestanda-/användbarhets- och säkerhetsskäl.

Jag är inte rädd, nej.
Dagens modeller tar enorma mängder pengar och energi i anspråk och de är ändå inte i närheten av AGI. Du nämner ofta GPT-6 eller GPT-x men du tar ingen hänsyn till att dessa modeller sannolikt skulle kräva tiofaldigt många gånger mer resurser än dagens modeller. Du anser inte att det är, som du säger, oärligt att ignorera dessa barriärer? Säg att vi skulle kunna lösa energiproblemet, men för att göra det behöver vi hjälp av en AI som kräver att energiproblemet redan är löst, ett s.k. "Moment 22".

Självklart ska det forskas på säkerhet och det görs också konstant. Om man tror på alla som säger att AGI kommer vara verklighet innan 2030 ja, då har vi bråttom. Jag sällar mig dock inte till den skaran.

Du tror inte att man samtidigt implementerar diverse olika spärrar och fail-safes under tiden man bygger dessa robotar och integrerar dem i all vår infrastruktur? Om man hela tiden antar att vi är smarta nog att kunna tillverka dessa avancerade maskiner, men samtidigt tror att vi är så korkade att vi inte kan förutse risker och försöka förebygga dessa så gott som möjligt så kan man såklart föreställa sig vad som helst.

Varför ska vi anta att allt annat förhåller sig statiskt medan vi låter AI löpa fritt?

Jag vet inte ens vad du syftar på här. 100%iga garantier för vad? Jag menar att det är ett problem det inte finns någon lösning på eftersom att det inte ens existerar några mänskliga värderingar och mål som vi kan komma överens om.


Det är bara dina gissningar och antaganden.
https://aiimpacts.org/wp-content/uploads/2023/04/Thousands_of_AI_authors_on_the_future_of_AI.pdf



Må så vara, men det är inget argument för att lägga till ytterligare en oacceptabelt hög riskfaktor.


Ditt scenario låter som rena mardrömmen.

Varför föreställer du dig en orubblig och oöverstiglig hårdvarubarriär? Så ser inte hårdvaruutvecklingen ut. Den accelererar as we speak, och snart har vi AI som bygger på kvantdatorer som i teorin har oändlig prestanda. Så nej, jag ser inga sådana barriärer alls på lite längre sikt.

Jag tror att man försöker implementera spärrar, absolut. Men eftersom de inte vet hur AI-nätverken egentligen fungerar kan detta inte göras tillförlitligt. Man kommer att försöka så klart, men av allt att döma kommer det att misslyckas. Berätta annars för oss hur vi detaljstyr och kvalitetssäkrar en massiv AI-modell så att den bara gör exakt det vi vill och inget annat? Jag rekommenderar dig till nobelpriset om du löser den här uppgiften.

Precis. Och att då prata om nära 100% säkerhet blir ju bara löjligt när vi i praktiken inte ens har 1% chans för att hela mänskligheten skulle komma överens om ett gemensamt regelverk för någonting överhuvudtaget.

Att AGI misslyckas och leder till en katastrof är med mänsklighetens track record inte en liten risk, det är snarare nästan garanterat att det kommer att misslyckas.

Nej inte oändlig prestanda men för vissa problem markant snabbare än dagens datorer... problemet är bara att det inte finns några praktiska tillämpningar där de är bättre just nu utan enbart på hypotetiska problem speciellt designade för kvantdatorer som shors algoritm osv.

Jag pratar inte hårdvara här, jag pratar elektricitet. Närmare 100 GW till en kostnad av ungefär en biljon dollar om vi ska tro siffrorna som Leopold Aschenbrenner (Situational Awareness) tagit fram i sina beräkningar.

Jag håller inte med hans hypotes om att vi skulle ha AGI 2027 men just dessa siffror baseras på vad dagens modeller kostar och lär därför vara mer eller mindre rättvisande om det inte skulle ske något markant de närmsta åren.

Vi behöver inte förstå exakt hur nätverken fungerar för att sätta in spärrar i vår befintliga infrastruktur. Det finns mängder med saker man kan göra (och gör redan idag) för att försvåra eller helt förhindra oavsiktlig användning.

Men sådana diskussioner brukar alltid sluta med att AI blir så smart att den kan förutse varenda drag vi kan komma på samt kringgå varenda spärr utan problem, so what's the point?

Det finns inget, reellt, AI-anpassningsproblem i dagens läge. Men ändå måste vi börja förbereda oss, för vi vet inte när det blir aktuellt och man kan inte lösa ett problem som vi, i dag, inte exakt vet hur det kommer ser ut i framtiden.




Den enkäten skickas ut varje år och brukar bara ge en svarsfrekvens på ca 13 procent. Ingen annan undersökning med så liten svarsfrekvens skulle tas på allvar! Men låt oss ändå göra det: Det är extremerna som ställer till det, framför allt "The doomers". För tillsammans med de som tror på 100 procents risk för en katastrofal utgång, så gör, naturligtvis även sansade forskare en viss riskbedömning, som tillsammans med "The doomers" ger en ganska hög nivå på riskuppfattning. Tycker du att man skall ta en sådan "undersökning" seriöst? Det enda intressanta med den enkätserien är att den uppskattade tidpunkten för när vi har AGI har flyttat sig allt närmare. Men detta gäller alltså endast de blott ca 13 procent av forskarna och debattörerna som enkäten skickats ut till.






Nej, men vi är vana att hantera höga riskfaktorer, och AI utvecklingen behöver inte öka riskerna mycket, om den hanteras rätt.




Jo så blir det för dem som sett för mycket sci-fi filmer/serier, och tagit dem på allvar.

(Jag lät ChatGPT4o titta på vår diskussion och boten kom med följande förslag:



Och min egen "giftiga" kommentar, som jag sätter inom spoiler:

Har energiåtgången ingenting med hårdvaran att göra? Det är ju självklart. Hårdvaran kommer att bli mer effektiv och därmed dra mindre ström. När AGI blir verklighet kan vi bygga miljontals humanoida robotar som kan bygga hur många gröna elkraftverk som helst, till en jämförelsevis låg kostnad. Energi kommer inte att vara ett hinder.
Men jag har ju tydligt visat att detta inte fungerar. Inte ens med dagens relativt primitiva AI som (troligtvis) inte försöker vilseleda oss.

Siffrorna jag citerade baseras på Nvidia H100 CPU:er.
Vad är det för hårdvara som presterar på samma eller högre nivå samtidigt som den förbrukar en bråkdel av elektriciteten?

Vem kunde se det komma att lösningen på problemet med energi skulle komma med hjälp av AI? (OBS! Sarkasm).
Vad är det för gröna elkraftverk som dessa robotar ska bygga (och när?)

Snälla, säg inte att det bara magiskt kommer att lösa sig.

Den består alltså utav svaren från 2778 AI-forskare. Om man vill ta den på mindre allvar än dina gissningar är förstås upp till var och en. Vad den verkliga risken är vet ingen men att du underskattar risken enormt är uppenbart. Om du vill att man ska börja tro på att den ligger på några promille så får du också ha väldigt starka argument för det men jag har inte sett några sådana.

Vilka 100% garantier är det du pratar om? Garantier för vad exakt? Du svarade aldrig på det.


Nej, det är det inte. Det är inte bara det värsta tänkbara scenariot med utrotning som är problematiskt. Det står tydligt i det jag citerade till och med:


Du försöker dig på någon sorts siffermagi här men siffrorna är tydliga, även bland de som är mer optimistiskt inställda så uppskattar de risken ofantligt mycket högre än vad du gör.


Det är som sagt något du bara antar för att du vill att det ska vara på det viset. Även om den verkliga risken för utrotning eller något annat helt katastrofalt scenario ligger på någon promille så är det oacceptabelt hög risk. Det är dessutom en risk du påtvingar mänskligheten utan deras samtycke vilket är oetiskt.


Vem har sett för mycket på sci-fi här? Låt mig citera dina senaste inlägg:

Jag har inte nämnt en enda sci-fi film eller serie en enda gång.

Ditt framtidsscenario är en mardröm då det per definition innebär att någon gång i processen av att bli din önskade cyborg du drömmer om så slutar vi vara människor. Med andra ord kan man se det som en utrotning av mänskligheten.

Dina mål och värderingar är alltså det värsta tänkbara mardrömsscenariot för många människor och hade du fått bestämma så hade du "löst" AI-anpassningsproblemet genom att ställa in AI utefter dina värderingar och mål. Vad är det för problem du har löst egentligen? Inte är det AI-anpassningsproblemet i alla fall då det handlar om att få AI att bete sig i linje med mänskliga värderingar och mål(något som inte ens existerar eller som vi kan komma överens om vad det skulle vara).

Frågan innehåller 2778 svar från drygt 20000 förfrågande, det är dryga 13% om man kan matematik, Ola är helt korrekt.