AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Jag förstår inte vad du fiskar efter?
Halmgubbar, månne?

Va? Förklara vad du menar och hur det helt slår hål på mina förslag?
Intressant också att jag måste förhålla mig till hur något fungerar idag när detsamma inte verkar gälla för dig?
Då har jag inte ens dragit till med något som är omöjligt ens med dagens teknik.

Failure of imagination.

Det finns många system där ute på Internet. Alla har inte långa, säkra lösenord.

Det finns många exploits mot många system som inte har att göra med lösenord.

Många AI-agenter är inkopplade på Internet. De är inte enbart isolerade i ett labb. Det tåget har redan gått.

Det finns alltså ingen grund för att säkerställa AI-säkerhet på det sättet som du föreslog.

Vad är det du inte förstår?

Ja, jag har rätt. Och vad är slutsatsen av det? Tryck gasen i botten på AGI-utvecklingen? Eller något annat?

Så, bara för att många system inte har lösenordsskydd idag så är det omöjligt att implementera?

Ja, det finns många exploits som går att utnyttja och de flesta täpps också till så snart de upptäcks. De system som styr vår allra viktigaste infrastruktur står dock redan idag under gott skydd och innan vi släpper lös någon AGI i det vilda så lär det tagits även ytterligare åtgärder.

Vad svamlar du om angående AI-agenter? Vad har deras existens på GitHub att göra med mitt förslag om specifika agenter som syftar till att övervaka systemet som AGI körs på? Dessa behöver inte laddas upp på GitHub men även om de skulle göra det, so what?

Jag anser inte att du förklarat varför det omöjligen skulle gå att implementera sådana skyddsmekanismer, om ens bara för att försvåra och köpa oss tid att exempelvis stänga ned den.

Är det sannolikt att alla datorer och system på internet patchas och säkras upp till absolut bästa skick pga att någon bygger en AGI? Berätta gärna mer om hur det ska gå till. Du är medveten om att det finns företag som kör Windows XP i dag? Du är medveten om att många användare har osäkra lösenord?

AGI kan sprida sig som ett virus. Då finns det ingen central server att stänga ner. AI-agenter är en av många mjukvaror som kan bidra till sådan spridning.

Hur bevisar du att inget av detta kan inträffa? Allt skulle ju bevisas.

Jag har aldrig förespråkat att ", trycka gas i botten," vad gäller AI-utvecklingen. Men i motsats till dig så ser jag de stora grundläggande brister som finns hos, dagens, AI. Vi vet inte när vi uppnår AGI/ASI eller hur framtidens teknologi och påföljande utmaningar kommer att se ut. Men vi vet att enbart uppskalning av modellerna ger allt mindre i återbäring, låt vara att allt mera effektiva chip gör det teoretiskt möjligt att fortsätta ett tag till innan kostnaderna och energiförbrukningen gör det praktiskt omöjligt.

Så du och din alarmist kollega vill alltså att jag skall lösa ett framtida hypotetiskt problem som vi ännu inte känner till detaljerna utav, utan datavetenskaplig utbildning och utan effektiva orakel-glasögon, och dessutom garantera 100 procent säkert resultat. Så fungerar inte världen. Och vi vet inte ens om vår filosofiska diskussion är. Något akut. Kanske bromsas den teknologiska utvecklingen upp, kanske fortsätter den att accelerera, vi vet inte ens det!

Ändå har jag försökt, utifrån min utbildningsbakgrund och de lilla datavetenskapliga kunskaper jag skaffat mig det senaste ett och ett halvt året, att komma med några försiktiga förslag . Kan inte du och din alarmist kollega tagga ner lite tills vi, åtminstone, ser vad som kommer med botar på "GPT-5 nivå" och kanske "GPT-6 nivå", för på GPT-5 nivå lär vi inte få se botar, som resonerar utanför deras träningsdata, på mänsklig nivå. Och utan denna förmåga så finns inget akut AI-anpassningsproblem. Och även GPT-6 nivån lär inte vara AGI, då så mycket återstår att lösa innan man kan ens kan börja tala om ett "potentiellt AGI, med tillhörande AI-anpassningsproblem". Men fortsätt gärna att tala om säkerhet, och filosofera vidare, även fast det senare är ganska meningslöst, då vi inte vet vad vi kommer att stå inför, eller när.

Jag sa inte att alla system på hela Internet skulle göra detta, jag pratade om kritisk infrastruktur och svarade väl specifikt på din fråga om "vårt försvar".

Angående att sprida sig som ett virus så föreslog jag ju att man låser möjligheten att ladda upp data på Internet för att begränsa den till en fysisk maskin. Även om det inte skulle vara möjligt att implementera så kräver ju ditt förslag att den lyckas lokalisera och ta sig in på datorer eller kluster med tillräcklig kapacitet att köra den.

Säg att man tvingar ägare av sådana kluster att uppfylla en viss nivå av säkerhet så har man åtminstone täppt till en stor mängd möjligheter till spridning.

Och det är ju därför det kan bli farligt ganska akut, eftersom vi inte vet när en AGI kan uppstå. Många expert inkl Sutskever tror ju att dagens teknik och uppskalning kan räcka till AGI. Jag är inte "alarmist" ur tomma luften, det finns anledningar.

Jag vill inte ha rätt. Jag vill att teknikoptimisterna ska ha rätt. Men jag har än så länge inte blivit övertygad eftersom de oftast bara sopar problemet under mattan eller presenterar olika halmgubbar.

Äntligen ett nyktert förslag. Jag håller med! Men hur säkerställer vi det? Avancerade AI-modeller är redan ute på open source-plattformarna. Och t.ex. Meta avser ju att fortsätta att visa upp sina AI-tricks. Som sagt tåget har redan gått när det gäller att isolera AI-teknik från Internet. Destruktiv spridning kan redan vara i gång. Här måste vi också fundera på unknown unknowns. Vi känner inte till all AI-utveckling som existerar i världen.

Att isolera från Internet är en bra början men det är ingen absolut garanti eftersom en AGI skulle kunna manipulera människor att sprida kod på andra sätt än via Internet.

Ilya är väl teknik-optimisterna om någon. Snarare bör du hoppas på att skeptikerna får rätt och att, AI-utvecklingen bromsar in. Själv är jag splittrad och lutar åt olika perspektiv, för närvarande åt det skeptiska hållet främst pga modellernas oförmåga att resonera utanför träningsdata. Men får alarmister och teknik-optimisterna rätt och vi talar om självmedveten framtida AI så ser jag i alla fall inga direkta monster framför mig. Detta grundar jag på mina erfarenheter av, dagens, chatt-botar. Men jag kan, förstås ha fel där, vi får se.

De modeller som finns ute som öppen källkod (om vi ens kan kalla det det i detta fall) är extremt nedbantade för att kunna köras på konsumenthårdvara och deras vikter är inte öppna. Det enda undantaget här är Grok och den är det ändå praktiskt taget ingen som kan köra ens inferens på. Dessa modeller kommer heller inte att automatiskt utvecklas till AGI:er.

Just att en AGI skulle släppas som öppen källkod eller kunna smita iväg till andra datorer är även det ganska osannolikt om den nu kommer att konsumera hundratals eller ens tiotal gigawatt. Den kommer sannolikt även att kräva stora mängder lagringsutrymme, vilket försvårar spridning både över Internet samt fysisk lagringsmedia.

Det troliga är snarare att AGI enbart kommer att kunna köras på ett fåtal kluster.

Nja, en AGI-utopi låter ju jättebra men jag tror inte på det eftersom jag har inte sett några argument för att den mest positiva utvecklingen är sannolik, eller tillräckligt sannolik.

Hur stor x-risk är du själv beredd att ta här? 1%?
Och var befinner vi oss på skalan?


Din upplevelse av AI bygger på att man har lyckats träna och censurera den såpass att du upplever det hela positivt. Men du vet inte vad som egentligen finns där inne eftersom du inte får den åtkomsten.