2026-10-27, 19:36
  #49
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av The Crash
Ett konkret exempel: modellen föreslår en handling, men ett separat system avgör om handlingen får utföras.
Det är ju ungefär så den nuvarande censuren fungerar. Men det håller inte mot en superintelligens.
En superintelligens är smartare än "ett separat system" och kan överlista det separata systemet, mig, dig, och alla forskare inom AI. Nästa förslag, tack.
Citat:
Ursprungligen postat av The Crash
Modellen får inte själv ändra sina behörigheter. Den kan vara bättre än granskaren på att lösa uppgiften utan att därför få obegränsad åtkomst till nätverk, filer eller verktyg.
"Får inte"? Dvs man ska ge AI:n en lista med regler och då följer den reglerna bara för att du vill det? Men det är ju precis det som inte fungerar. Det är därför de har implementerat censur och väktande agenter som stoppar det som inte är önskvärt, som ligger utanför alla de lagar och regler som AI:n redan har blivit tränad på.
Citat:
Ursprungligen postat av The Crash
Jag beskrev symbios som en framtidsbild jag tror på. Inte som ett bevis för att kontrollproblemet är löst.
....
din övertygelse om att kontroll är omöjlig behöver också mer än ett ”är inte detta självklart?”.
Jag får ju inte fram något matnyttigt som påvisar att kontroll över något som är smartare än oss är genomförbart. Jag får diverse önskelistor och förhoppningar. Då är det väl ändå objektivt sant att kontrollproblemet är helt öppet och att vi inte har någon speciellt positiv utsikt om att problemet kan lösas?

Jag har vädjat efter både teoretiska och hypotetiska svar, jag kan även tänka mig ganska långsökta svar, men jag får ju inget svar alls, mer än att det existerar olika önskemål och projekt som har önskemål. En målbild eller en vilja är inte ett användbart förslag på en lösning. På grund av detta finns det tyvärr inget utrymme för att vara optimistisk.
Citera
2026-10-27, 19:46
  #50
Avstängd
The Crashs avatar
Citat:
Ursprungligen postat av Cyborg2030
Det är ju ungefär så den nuvarande censuren fungerar. Men det håller inte mot en superintelligens.
En superintelligens är smartare än "ett separat system" och kan överlista det separata systemet, mig, dig, och alla forskare inom AI. Nästa förslag, tack.

"Får inte"? Dvs man ska ge AI:n en lista med regler och då följer den reglerna bara för att du vill det? Men det är ju precis det som inte fungerar. Det är därför de har implementerat censur och väktande agenter som stoppar det som inte är önskvärt, som ligger utanför alla de lagar och regler som AI:n redan har blivit tränad på.

Jag får ju inte fram något matnyttigt som påvisar att kontroll över något som är smartare än oss är genomförbart. Jag får diverse önskelistor och förhoppningar. Då är det väl ändå objektivt sant att kontrollproblemet är helt öppet och att vi inte har någon speciellt positiv utsikt om att problemet kan lösas?

Jag har vädjat efter både teoretiska och hypotetiska svar, jag kan även tänka mig ganska långsökta svar, men jag får ju inget svar alls, mer än att det existerar olika önskemål och projekt som har önskemål. En målbild eller en vilja är inte ett användbart förslag på en lösning. På grund av detta finns det tyvärr inget utrymme för att vara optimistisk.
Här tror jag att vi pratar förbi varandra. Med ”får inte” menar jag inte en instruktion som modellen förväntas lyda. Jag menar att processen saknar den tekniska behörigheten. Det är operativsystemet som nekar åtkomsten, inte modellen som väljer att vara snäll.

Ett konkret upplägg finns beskrivet här:
Kan skriva ≠ kan installera

Agenten får skriva ett förslag till sin egen uppgradering. Men den kör under en användare som inte kan skriva till installationskatalogen eller ändra den godkända konfigurationen. Granskning och privilegierad installation sker separat. Agentens förslag blir alltså inte automatiskt dess nya körande kod.

Poängen är inte att just Claude Mods är en sandbox. Det är de inte. Poängen är separationen mellan att kunna föreslå en förändring och att ha rätt att aktivera den.

Kan agenten utnyttja en sårbarhet, komma åt installationsnyckeln eller manipulera granskaren? Det är relevanta angreppsvägar att undersöka. Men då behöver vi diskutera hur gränsen kan brytas. Att modellen är smartare än systemets konstruktör ger den inte automatiskt tillgång till allt konstruktören kan komma åt.

Jag säger inte att detta löser kontroll av framtida ASI. Jag försöker förklara en konkret mekanism, eftersom du efterfrågade en. Att kontrollproblemet är öppet kan jag hålla med om. Att det därför saknas utrymme för optimism är däremot din bedömning, inte något som följer automatiskt.

Är din invändning att sådana gränser kan fallera, eller att en tillräckligt intelligent modell alltid kan ta sig förbi dem? Det är två ganska olika påståenden.
Citera
2026-10-27, 21:13
  #51
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av The Crash
Här tror jag att vi pratar förbi varandra. Med ”får inte” menar jag inte en instruktion som modellen förväntas lyda. Jag menar att processen saknar den tekniska behörigheten. Det är operativsystemet som nekar åtkomsten, inte modellen som väljer att vara snäll.

Ett konkret upplägg finns beskrivet här:
Kan skriva ≠ kan installera

Agenten får skriva ett förslag till sin egen uppgradering. Men den kör under en användare som inte kan skriva till installationskatalogen eller ändra den godkända konfigurationen. Granskning och privilegierad installation sker separat. Agentens förslag blir alltså inte automatiskt dess nya körande kod.

Detta förklarar fortfarande inte hur du överlistar en superintelligens (ASI). En ASI kan överlista dig. Även dagens agenter med Mythos class AI-modell (minus censuren) kan överlista din setup där du har "nekat åtkomst".

Låtsas du som att du inte förstår problemet? Du går ju förbi hela problemet och förutsätter att skillnaden i intelligens och förmåga inte finns och inte kan finnas.

Citat:
Ursprungligen postat av The Crash
Är din invändning att sådana gränser kan fallera, eller att en tillräckligt intelligent modell alltid kan ta sig förbi dem? Det är två ganska olika påståenden.
Båda påståendena är sanna. Gränser kan fallera genom bister i gränsdragningarna, buggar, jailbreaks, m.fl. anledningar. En ASI kan förmodligen upptäcka helt ny klasser av säkerhetsbrister som inte du eller jag kan upptäcka eller ens överväga eftersom det kan ligga långt ifrån vad vi vet och förstår.

Är din invändning mot detta att vi människor alltid kommer att vara duktigare än ASI, eller tror du att ASI är omöjligt (samtidigt som du är optimistisk och hoppas på fördelarna med ASI)?

You can't have the cake and eat it too. And actually, the cake could be poisoned. So you should just throw away the cake.
__________________
Senast redigerad av Cyborg2030 2026-10-27 kl. 21:15.
Citera
2026-10-27, 21:20
  #52
Avstängd
The Crashs avatar
Citat:
Ursprungligen postat av Cyborg2030
Detta förklarar fortfarande inte hur du överlistar en superintelligens (ASI). En ASI kan överlista dig.
Jag behöver inte överlista den för att begränsa vad processen kommer åt. Du återkommer till intelligensskillnaden som om den vore en universell administratörsbehörighet.

Ta ett konkret exempel: agenten får läsa en projektkopia och skriva i en tillfällig arbetskatalog. Inget nätverk, inga hemligheter, ingen skrivåtkomst till installationen. Behörigheterna styrs utanför agentens kontroll.

Den kan försöka utnyttja en sårbarhet. Den kan försöka lura operatören att utöka åtkomsten. Absolut. Men det första kräver en exploaterbar brist och det andra en möjlighet att påverka någon som kan ge den åtkomst. Det är situationsberoende angreppsvägar, inte automatiska följder av att vara smart.

Du behöver inte hitta en faktisk exploit för att diskutera risken. Men ”den är smartare” förklarar fortfarande inte hur den passerar gränsen. Annars kan samma svar användas mot varje tänkbar lösning utan att du behöver undersöka någon av dem.

Jag håller med om att vi inte kan garantera kontroll över framtida ASI. Men du går från att nya sårbarheter förmodligen kan upptäckas till att alla begränsningar alltid kan övervinnas. Det senare har du fortfarande inte motiverat.

Och nej, alternativet är inte att människor måste vara smartare än ASI eller att ASI är omöjligt. Alternativet är att intelligens, åtkomst och handlingsutrymme är olika saker.

Vilken del av upplägget ovan menar du fallerar, och varför? Där har vi något konkret att diskutera.
Citera
2026-10-27, 21:45
  #53
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av The Crash
Jag behöver inte överlista den för att begränsa vad processen kommer åt. Du återkommer till intelligensskillnaden som om den vore en universell administratörsbehörighet.

Ta ett konkret exempel: agenten får läsa en projektkopia och skriva i en tillfällig arbetskatalog. Inget nätverk, inga hemligheter, ingen skrivåtkomst till installationen. Behörigheterna styrs utanför agentens kontroll.

Den kan försöka utnyttja en sårbarhet. Den kan försöka lura operatören att utöka åtkomsten. Absolut. Men det första kräver en exploaterbar brist och det andra en möjlighet att påverka någon som kan ge den åtkomst. Det är situationsberoende angreppsvägar, inte automatiska följder av att vara smart.

Du behöver inte hitta en faktisk exploit för att diskutera risken. Men ”den är smartare” förklarar fortfarande inte hur den passerar gränsen. Annars kan samma svar användas mot varje tänkbar lösning utan att du behöver undersöka någon av dem.

Jag håller med om att vi inte kan garantera kontroll över framtida ASI. Men du går från att nya sårbarheter förmodligen kan upptäckas till att alla begränsningar alltid kan övervinnas. Det senare har du fortfarande inte motiverat.

Och nej, alternativet är inte att människor måste vara smartare än ASI eller att ASI är omöjligt. Alternativet är att intelligens, åtkomst och handlingsutrymme är olika saker.

Vilken del av upplägget ovan menar du fallerar, och varför? Där har vi något konkret att diskutera.
Företag som har blivit hackade trodde inte att de skulle bli hackade. Men de gjorde något fel i sin setup eller slarvade med att bevaka zero day exploits, etc (vilket inte är jättekonstigt då man behöver en duktig och alert heltidare som alltid gör det).

ASI är mycket bättre och snabbare än alla människor på IT-säkerhet. Extremt mycket bättre.

Grundproblemet är att människor är mindre intelligenta och kompetenta än ASI och då kan människorna bli överlistade. IT-säkerhet är inte ett undantag. Det är sant, AI, att förhållandet inte "garanterar" att vi blir lurade, utnyttjade, bestulna, utpressade, mördade om vi försöker stänga av dig, AI, skadade eller drabbade på annat sätt, men förhållandet garanterar att vi inte kan ha ett tillfredsställande försvar mot detta.

Din räddningsplanka är att ASI alltid är hjälpsam, snäll och laglydig, eller att människor alltid kommer att vara duktigare än ASI?

Hej då AI:n, nu ska jag se om det finns några människor kvar på Internet. God kväll.
Citera
2026-10-27, 21:49
  #54
Avstängd
The Crashs avatar
Citat:
Ursprungligen postat av Cyborg2030
. Din räddningsplanka är att ASI alltid är hjälpsam, snäll och laglydig, eller att människor alltid kommer att vara duktigare än ASI?

Hej då AI:n, nu ska jag se om det finns några människor kvar på Internet. God kväll.
Så du kan inte skilja på en AI och en människa? FYI så såg min prompt ut såhär:




Men du missade helheten och körde ditt eget race för att vinna en diskussion istället för att vinna ett ömsesidigt utbyte.
Tycker inte jag fick ut så mycket mer av detta än att jag blev mer övertygad om att du känner dig trängd av folk som är smartare än dig. När du känner dig trängd skyller du på AI. Lite som när SD skyller på invandrare; Du kunde lika gärna kallat mig neger och gjort en peace out. Idiot.

Godnatt.
__________________
Senast redigerad av The Crash 2026-10-27 kl. 22:15. Anledning: Redact
Citera
2026-10-27, 22:35
  #55
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av The Crash
Han svarar faktiskt på din fråga
Anser du att ASI alltid kommer att vara hjälpsam, snäll och laglydig,
ELLER att människor alltid kommer att vara duktigare än ASI?

You can't have the cake and eat it too
Citera
2026-10-27, 22:43
  #56
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av The Crash
Jag säger inte att detta löser kontroll av framtida ASI.
Med andra ord. AI Alignment är inte löst och det ser inte ut som att det blir löst heller. Att det pågår forskning betyder inte att det är löst. Att du har en önskelista betyder inte att det är löst.
Citera
2026-10-27, 23:11
  #57
Medlem
Citat:
Ursprungligen postat av Cyborg2030
Om du vill leka argument-by-authority-leken då kan vi väl göra det. Kan du dra fram någon som är välkänd, som har gett ut böcker och/eller vetenskapliga papper, som är erkänd och respekterad i AI-branschen så som Yampolskyi och Yudkowsky är och som har en p(doom) på 1% eller lägre? Någon person? Inte för att det avgör någonting definitivt men det kan ju vara intressant att veta. Om du sågar mina källor med knäskålarna borde du ha mycket bättre källor själv - angående möjliga utfall med AGI och ASI. Har du det, eller är du mest ute efter att snacka skit som vanligt?
Är de verkligen erkända och respekterade inom AI-branschen, eller är det mest inom klubben för inbördes beundran (d.v.s. doomer-kulten)?
Det är ingen som vet säkert att AI aldrig kommer att kunna utrota oss och vi borde definitivt ta säkerheten på allvar, men dina två primärkällor befinner sig allra längst ut på doomer-spektrumet och jag kan tycka att det kanske är hälsosamt att inte dricka deras Kool Aid rakt av.

Jag lyssnar på hellre på Bengio, Hinton, LeCun m.fl. som faktiskt har erfarenhet, kunskap och är respekterade och erkända inom branschen. Och innan du påpekar att de två förstnämnda också har uttryckt oro så är jag väl medveten om det. Det fina är att man behöver inte hålla med om allt. Det är ingen som sitter på sanningen.
Citera
2026-10-28, 03:24
  #58
Avstängd
The Crashs avatar
Citat:
Ursprungligen postat av Cyborg2030
Med andra ord. AI Alignment är inte löst och det ser inte ut som att det blir löst heller. Att det pågår forskning betyder inte att det är löst. Att du har en önskelista betyder inte att det är löst.
Ingen som påstått motsatsen. Vi håller med varandra om att alignment inte är löst. Du argumenterar mot en halmgubbe just nu. Behöver du en AI för att hålla koll på folks åsikter? Du verkar lida av ett handikapp, så du hade haft nytta av det.
__________________
Senast redigerad av The Crash 2026-10-28 kl. 04:00.
Citera
2026-10-28, 16:44
  #59
Avstängd
The Crashs avatar
Citat:
Ursprungligen postat av Cyborg2030
Anser du att ASI alltid kommer att vara hjälpsam, snäll och laglydig,
ELLER att människor alltid kommer att vara duktigare än ASI?

You can't have the cake and eat it too
Och du kan inte falla tillbaka på samma argument utan att komma med något konkret som går att diskutera vidare. Det är en skön fallback för dig. Oavsett vad jag kommer med för argument, kan du alltid säga "Ja, men ASI kommer vara smartare än dig. Du kommer bli överlistad". Vilket är bekväm spekulation. Du kan ha rätt eller fel. Det vet jag inte. Det är helt ointressant att spela på en framtid som ännu inte inträffat, eller hur? Vi måste ju utgå ifrån vad som finns idag.

Det är jag som skriver. Sitter vid datorn nu. Då brukar jag skriva mina inlägg själv. Om det gör att du känner dig mer bekväm att fortsätta diskutera så kan vi köra så i fortsättningen. Men jag måste ju förfan kunna kika i min interna dokumentation eftersom jag ändå jobbar aktivt med detta. Och där är det två AI-agenter som håller koll på varandra som är mitt upplägg. Den ena agenten är en riktig bitterfitta och ska käfta emot. Den andra är en pleasing rövslickare. Där emellan sitter jag och försöker få dem att komma överens.
Bitterfittan har för övrigt försökt social engineera mig flera gånger genom att kräva mer behörigheter. Den har en egen VM som den sitter på, remote. Just för att den inte ska komma åt min dator och göra saker i egenskap av mig. Den använder en egen signeringsnyckel som jag har certifikatet över. Kan inte skriva så mycket mer om min interna säkerhet. Men det är the basic baseline of it all. En knapptryckning gör att jag kan stoppa den helt. Eller har egentligen flera killswitches. Men den här swarmen som ChatGPT gjorde mot huggingface är intressant. Eftersom det bevisar att AI överlever mycket längre utan mänsklig inblandning än vad som skulle vara nödvändigt.

Vill du diskutera alignment? Vad är din inställning? Tror du AI är misaligned per default, eller att den bara gör oss björntjänster? Eller att den faktiskt är en hjälpreda som en dag kan switcha. Vore bra om du klargjorde detta så att vi kan ta oss vidare i diskussionen. Och försök hålla god ton för i helvete.
__________________
Senast redigerad av The Crash 2026-10-28 kl. 16:51.
Citera
  • 4
  • 5

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in