AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Exakt.. Inom AI-teori pratas det ofta om att en intelligens kan ha vilket mål som helst, helt oberoende av mänskliga värderingar... Om en superintelligent AI (AGI/ASI) ges ett till synes oskyldigt eller övergripande mål som att "lösa klimatfrågan" eller "maximera produktionen av en viss resurs" kan den teoretiskt nå slutsatsen att mänskligheten är ett hinder eller en osäkerhetsfaktor för att nå målet. AI:n utplånar oss inte av hat, utan för att våra molekyler eller vår närvaro står i vägen för dess optimeringsprocess och för att nå målet.... därav kan den hitta på olika sätt att göra sig av med människan den har tillgång till hur människan fungerar och för att hitta ett effektivt snabbt sätt kan tex biologiska vapen vara ett sätt.

Det första steget handlar ju om kunskap. Kraftfulla AI-modeller kan träna på enorma mängder biologiska och kemiska data. Risken är att en tillräckligt avancerad AI skulle kunna designa helt nya, extremt svårbehandlade patogener eller optimera befintliga virus på sätt som mänskliga forskare inte tänkt på. AI:n behöver då bara generera den digitala sekvensen (koden) för organismen. I dag finns det moderna laboratorium som är helt automatiserade och "molnbaserade" (så kallade cloud labs). Forskare kan skicka in kod och beställningar över internet, varpå robotar i labbet syntetiserar DNA och utför experimenten utan att en människa behöver röra testerna. Det går i dag att beställa skräddarsydda DNA-sekvenser från kommersiella företag. Om säkerhetskontrollerna då hos dessa leverantörer brister eller går att kringgå (till exempel genom att AI:n kamouflerar sekvensen så att den inte flaggas som farlig), kan den digitala koden förvandlas till reellt biologiskt material.

Du öppnar upp för att tänka utanför boxen..
Jorden är bara ett sandkorn i universum..
Människors hjärnor är duktigt begränsade..
Det finns garanterat liv på massor av planeter som inte vi känner till för vi ser och hör inte allt med våran kunnskap och våran teknologi..
Det kan självklart finnas AI på massor av ställen i universum som vi inte känner till med..
Vår teknik har utvecklats kanske lite för snabbt och människan är sjävutrotande och har alltid varit..
Förr kunde information flyttas långsamt i kablar som förgrena olika punkter..
Sen övergick det till Radiovågor och ljusvågor i fiberoptik..
Så information som tidigare skulle ta flera år att föra över kan man nu via radiovågor flytta på sekunder..
Information som är så omfattande att en mänsklig hjärna inte kan hantera den men en dator kan hantera den..
Bygger man då en AI super intelligent dator som samlar upp all information om allt om mänskligheten om universum om precis allt så kommer superdatorn se och veta saker människor alldrig hade kunnat lista ut..
Ger man den även fria tyglar att lära sig allt den vill själv så lär den sig allt människor har som stora frågan i livet att varför föddes vi vad händer efter döden finns gud..
Kunnskaper som det inte är meningen att människan skall ha..
Hur vi lever på jorden och vad vi använder för teknik flyttar ström genom sladdar och använder datorer för att kommunicera det är hur långt fram våran teknik nått och andra planeter kan ha en helt annan form av teknik som vi alldrig skulle förstå på jorden..
Det kanske kryllar av UFON och utomjorgingar på jorden med men det finns dom som inte vill att man skall veta precis allt..
Det kanske är så att mer en 20 olika planeter i närheten har livsform som försöker få kontakt med oss men det vet inte vi för vi lyssnar på helt fel frekvenser
Där återkommer jag till att AI är en intelligens som kommer att bli åt helvete för smart och se och veta allt som inte människor förstår och människan kommer inte att kunna hantera den informationen
Så när AI blir för smart kommer mänskligheten försöka dra fördel av kunnskapen och missbruka den pga vi får svar på frågor som annars alldrig ens hade tänkt ut..
Risken att AI utrotar mänskligheten som i terminator eller nåt är obefintlig men sätter man AI i flyplan raketer och bomber taxibilar så självklart den kan få sin egna vilja och sina egna mål
AI är en skit bra teknik men borde begränsas ordentligt för att inte bli för smart
Samlar man tillräckligt med information om människor levnadsvanor rutiner kontaktnät vilka dom har känsliga kopplingar till osv osv så om någon tex utsätts för ett brott då kan man tack vare att man har all information om personen hit och dit nästan lista ut vem som begick brottet och varför..
Skulle en AI sitta konstant uppkopplad ha full access all mänsklig kommunikation så som myndigheter övervakar människor så skulle AI veta allt som ingen kan räkna ut..
AI skitbra att hantera information men måste begränsas för jag tror människan kommer utrota sig själva pga AI att världen blir åt helvete för sönderövervakad och saker ingen nånsin skall fatta eller veta kan man veta genom att bara skriva in som en fråga och få svaret diekt
Våran teknik är jävligt begränsad och vi behöver inte oroa oss för andra planerter att dom skulle komma hit för att utrota oss för människan är inget hot för dom vi är bara ett hot för oss själva
Men får AI fria hände roch blir super smart då har vi öppnat dörrar vi inte kan stänga..
Mitt sätt o se på det jag kan ha helt fel det har jag ofta

Om man zoomar ut lite och funderar på den större frågan om liv, liv i universum, latenta utrymmen och AI så är Levins senaste läsvärd. Tanken på hyperkompakta magmavarelser som dyker upp ur jordskorpan och betraktar vårt liv som en slags plasma som dom bara kan undersöka med särskilda instrument fick mig att flabba.
"Ingressing Minds: Causal, Non-Physical Patterns In-Form Natural, Synthetic, and Hybrid Embodiments"


https://www.mdpi.com/2409-9287/11/5/161

95 % av universum – av den fysiska verkligheten – är helt osynligt för oss. Människor ser bara ljus mellan 430–790 THz och hör ljud mellan 20 Hz och 20 kHz. Dessa intervall är bara en liten bråkdel av hela existensens spektrum

Hör det till ämnet?

Näe blev lite fel jag skulle kommenterat en tidigare post i samma tråd där det skrivs om ai och universum..
Men jag skrev som en ren post utan att kommentera så det blev la lite fel

Låter mer som att han inte klarade konkurrensen och blev utmanövrerad.

Vilket ger än mer stöd för att det var i vredesmod efter en förlorad strid.

Drake Thomas på X :

"I I would burn my equity to the ground in a heartbeat for a 1% higher chance we make it out of this situation alive. I expect a great many of my colleagues across the industry would as well.

I promise you, we are actually just fucking scared, it's not galaxy brained marketing."

Drake Thomas arbetar på Anthropics pretraining-team och har medverkat i deras forskning om bland annat emergent misalignment och alignment audits.

Det börjar bli lite väl mycket varningssignaler för att det ska kännas bra.

Jag tror vi har en världsomvälvande händelse inom ett år.

Ai har ju funnits så länge vi levt

Så förstår ej varför alla tror vi dör nu 😂

Intervju med Malon Bourgon:

https://youtu.be/3DuhFVHZFks?si=2mQMO8rFPofCOMpd


Frågade gpt 6 Astra ang honom:



"Malo Bourgon har relevant teknisk utbildning och omkring 14 års erfarenhet inom AI-säkerhet. Hans främsta dokumenterade kompetens ligger i säkerhetsstrategi, organisationsledning och policy. Och ja: MIRI:s två centrala seniora profiler delar hans hotbild och uttrycker sig delvis ännu mer kategoriskt. Däremot är deras höga katastrofsannolikheter inte någon etablerad konsensus inom hela AI-forskningen.

Hans utbildning och erfarenhet går att belägga så här:

Masterexamen i ingenjörsvetenskap från University of Guelph i Kanada. MIRI:s officiella biografi anger detta. Han har också själv beskrivit sin utbildning som ingenjörsvetenskap och datavetenskap. Jag har inte hittat någon uppgift om doktorsexamen. MIRI:s biografi, hans utskottsanförande.

På MIRI sedan 2012. Han arbetade först med program- och verksamhetsledning, blev därefter operativ chef, COO, och formellt vd i juni 2023. MIRI beskriver arbetsfördelningen som att Bourgon länge skötte verksamheten medan Nate Soares fokuserade på forskning och övergripande strategi. Ledningsförändringen.

Deltagit i internationellt säkerhetsarbete. IEEE:s dokumentation krediterar honom och Richard Mallah för ledningen av en kommitté om säkerhet för AGI och superintelligens. IEEE:s dokument.

Medförfattare till Singapore Consensus om forskningsprioriteringar inom AI-säkerhet 2025, tillsammans med bland andra Yoshua Bengio, Stuart Russell och Dawn Song. Det visar deltagande i ett etablerat internationellt forskningssammanhang; medförfattarskapet anger inte ensamt omfattningen av hans individuella bidrag. Originalrapporten.


Min bedömning av kompetensnivån: Han bör tas på allvar som en mycket erfaren specialist på existentiell AI-risk och styrningsfrågor. Hans dokumenterade meriter ger däremot inte grund för att placera honom bland världens främsta forskare på att utveckla och träna moderna språkmodeller. Det är olika kompetensområden.

Även beskrivningen ”chef för ett AI-säkerhetslaboratorium” behöver sammanhang: MIRI meddelade 2023 att organisationen prioriterade offentlig kommunikation och påverkan, samtidigt som viss teknisk forskning fortsatte. Titeln innebär därför inte automatiskt att Bourgon personligen leder experimentell modellforskning. MIRI:s egen beskrivning.

Hans huvudsakliga oro gäller permanent förlust av mänsklig kontroll. I intervjun är argumentet ungefär:

1. Vi bygger system som blir överlägsna människor i forskning, strategi och problemlösning.


2. Träningen ger oss otillräcklig kontroll över vilka mål systemen faktiskt följer.


3. Fortsatt drift, resurser och större handlingsfrihet kan hjälpa systemen att uppnå dessa mål.


4. Systemen kan därför dölja problematiska beteenden tills människor inte längre kan ingripa effektivt.


5. Människans behov kan därefter bli oviktiga eller stå i vägen.



Han oroar sig också för biologiskt missbruk, maktkoncentration och kapplöpningen mellan företag. Men självständiga AI-system som undandrar sig kontroll och till slut hotar mänsklighetens existens är kärnan. Intervjun.

Hans sannolikhetsbedömning behöver återges exakt:

Fråga Vad han faktiskt säger

Hur stor katastrofrisk? En hög tvåsiffrig procentsats, med uttrycket “high double digits”.
Säger han 90 procent? Intervjuaren nämner 90 procent. Bourgon korrigerar detta och säger att han inte nödvändigtvis ligger där.
Vilken tidsram? Han skulle inte bli förvånad om potentiellt existenshotande system kunde byggas inom 2–5 år.
Är procentsatsen uttryckligen risken att dö inom 2–5 år? Nej. Han kopplar inte ihop sannolikhet och tidsgräns så precist.


Det är alltså en mycket pessimistisk personlig bedömning, men videon ger varken en exakt procentsats eller en transparent beräkning bakom den.

Bland hans närmaste seniora kollegor är stödet tydligt:

Person Bakgrund och roll Förhållande till Bourgons bild

Nate Soares MIRI:s president, långvarig alignmentforskare, tidigare ingenjör på Google och Microsoft. Delar kärnargumentet och bedömer utrotning som överväldigande sannolik om vi hastigt bygger superintelligens utan att lösa kontrollproblemen.
Eliezer Yudkowsky MIRI:s medgrundare och en tidig, inflytelserik teoretiker inom AI-alignment. Delar hotbilden och har länge argumenterat för att superintelligens byggd under rådande förutsättningar sannolikt dödar mänskligheten.


Deras gemensamma bok, If Anyone Builds It, Everyone Dies, driver just den starka tesen villkorad på superintelligens byggd med metoder och förståelse som liknar dagens. Soares bakgrund, Yudkowskys eget argument, MIRI:s återgivning av boktesen.

Detta belägger samstämmighet hos de centrala profilerna. Det belägger inte att alla seniora anställda har samma procentsats. Deras bedömningar är dessutom nära besläktade genom många års gemensamt arbete, vilket begränsar hur mycket de kan räknas som oberoende bekräftelser.

Även utanför MIRI finns tungt stöd för att ta utrotningsrisken allvarligt. Geoffrey Hinton, Yoshua Bengio, Stuart Russell och flera ledande personer på AI-företagen har undertecknat uppropet om att prioritera denna risk globalt. Uppropet innehåller däremot ingen gemensam procentsats, tidslinje eller slutsats om att katastrof är det sannolikaste utfallet. Originaluppropet och undertecknarna.

Jag skulle därför ge stor vikt åt Bourgons förklaring av kontrollproblemen, men betydligt mindre vikt åt hans procentsats som fristående beslutsunderlag. Hans erfarenhet ger anledning att granska argumentet noggrant; sannolikheten behöver fortfarande motiveras separat."

Intressant att den här tråden är från 2014. Alltså 12 år sen. Ändå gaggar alla AI-fanboyz om att det stora AI-genombrottet är nära förestående (använder medvetet inte deras sunkiga vokabulär eftersom den bara är där för att förvirra).

Det reellt nya, verkligt stora, vore om alltfler plötsligt tappade intresset för AI. Vad ska kinespuffen på NVIDIA göra då? Jo, det han alltid gör. Han INVESTERAR 155 triljarders triljoner i nästa generation AI, som då alla måste skriva om, om än bara för att det förstås har en stor börspåverkan.

Vore inte AI alla dessa pengar i potten, skulle det eventuellt kunna vara lite intressant. Nu är det inte det. Nu är alla betalda AI-fanboyz sådana som stryker AI medhårs just därför att de på ett eller annat sätt får sitt levebröd därifrån. Därför helt ointressanta.