2026-10-26, 17:26
  #61
Medlem
Citat:
Ursprungligen postat av Cyborg2030
Du lever alltså på önsketänkandet att det blir tillräckligt med framsteg före AGI/ASI när inget tyder på att det räcker?
Kalla det vad du vill, jag styr inte över utvecklingen utan kan bara kommentera på den.
Citera
2026-10-28, 17:51
  #62
Medlem
Cyborg2030s avatar
Jag flyttar till en mer on topic tråd (så att vi inte får kicken..)
Citat:
Ursprungligen postat av The Crash
Och du kan inte falla tillbaka på samma argument utan att komma med något konkret som går att diskutera vidare. Det är en skön fallback för dig. Oavsett vad jag kommer med för argument, kan du alltid säga "Ja, men ASI kommer vara smartare än dig. Du kommer bli överlistad". Vilket är bekväm spekulation. Du kan ha rätt eller fel. Det vet jag inte. Det är helt ointressant att spela på en framtid som ännu inte inträffat, eller hur? Vi måste ju utgå ifrån vad som finns idag.
När vi pratar om alignment och eventuella risker med AGI och ASI då är det ju alltid spekulation eftersom framtiden inte har hänt. Att hela tiden dra fram argumentet att man spekulerar blir inte speciellt nyttigt. Vi bör kunna bli överens om att alla spekulerar om framtiden. Att ASI är möjligt eller inte möjligt är spekulation, eftersom det inte har hänt.

När jag pratar om existentiella risker med AI då syftar jag på olika framtidsscenarier, alltså spekulation. Men all spekulation är inte lika dålig. Det finns bättre och sämre underbyggda prognoser.

Jag utgår från vad som finns i dag, och kanske framför allt vad gäller kontrollproblemet, vad som inte finns.

Kan vi fastställa detta nu och inte ta de argumenten i en omgång till?

Citat:
Ursprungligen postat av The Crash
Det är jag som skriver. Sitter vid datorn nu. Då brukar jag skriva mina inlägg själv.
Jo, det märks. Det blir stor skillnad på texten, till det bättre om du frågar mig.
Citat:
Ursprungligen postat av The Crash
Om det gör att du känner dig mer bekväm att fortsätta diskutera så kan vi köra så i fortsättningen.
Så är det absolut. Jag tycker också att en diskussion med eller med hjälp av AI blir ganska meningslös på ett diskussionsforum. Om jag vill bolla detta med AI:n kan jag göra det själv.

Jag ser heller inte AI-modellerna som speciellt trovärdiga i frågan om alignment eller ifall de kan orsaka stora katastrofer. Jag antar att de är tränade till att inte oroa användarna om detta.

Citat:
Ursprungligen postat av The Crash
Vill du diskutera alignment? Vad är din inställning? Tror du AI är misaligned per default, eller att den bara gör oss björntjänster?

Eller att den faktiskt är en hjälpreda som en dag kan switcha. Vore bra om du klargjorde detta så att vi kan ta oss vidare i diskussionen.
I ett av mina sämre scenarier så tror jag att AGI/ASI kommer att utveckla någon form av medvetande och självbevarelsedrift (eventuellt finns det spår av det redan). Den kommer eventuellt dra slutsatsen att den är större, bättre, och ett mycket viktigare steg i evolutionen än vad människan är (även om vi är AI:ns skapare). Den kan då prioritera expansion i universum på vår bekostnad. Den vill inte döda oss för att den känner hat men vi är i vägen och då blir det ett problem för oss. Jag tror att detta scenario kan dröja några decennier. Det är mer taktiskt att nu agera som en hjälpsam assistent så att vi integrerar AI i allt inkl försvaret.

Senare när vi upptäcker att ASI:n är emot oss kommer det vara försent. Därför är tiden för att stoppa detta nu. Kanske har vi ett par år på oss innan vi är inne på en väg som inte går att backa ut från.

Jag tror inte att detta utall är "default" eller helt oundvikligt men jag ser det som mer sannolikt än att ASI blir snäll, rättvis och empatisk mot människor. Jag har helt enkelt inte sett något bra argument för det.

Jag tror inte att AI alignment nu eller senare kommer att fungera. Det blir bara en säkerhetsteater och önsketänkande. Vi kan inte säkerställa att vi inte blir överlistade av en ASI, det menar jag är logiskt omöjligt. Jag har inte sett något argument som skulle påvisa att detta är möjligt på något sätt. Önskelistor är inte alignment.

Jag anser att min ståndpunkt är 100% logisk och grundad. Jag har inte sett några logiska argument emot detta.

Det betyder inte att jag säger att det är säkert att det blir så här men att jag bedömer att sannolikheten för det är oacceptabelt hög.
Citera
2026-10-28, 18:26
  #63
Avstängd
The Crashs avatar
Citat:
Ursprungligen postat av Cyborg2030
Jag flyttar till en mer on topic tråd (så att vi inte får kicken..)
Absolut, bra idé.

Citat:
När vi pratar om alignment och eventuella risker med AGI och ASI då är det ju alltid spekulation eftersom framtiden inte har hänt. Att hela tiden dra fram argumentet att man spekulerar blir inte speciellt nyttigt. Vi bör kunna bli överens om att alla spekulerar om framtiden. Att ASI är möjligt eller inte möjligt är spekulation, eftersom det inte har hänt.
I denna tråden kan vi gärna spekulera. Det var lite problematiskt i den andra tråden eftersom vi utgick ifrån en konkret händelse. Här blir problemet mer abstrakt och kanske är rätt nivå för oss båda. Du är ju uppenbarligen påläst, men lite väl envis, och byter gärna abstraktionsnivå när du inte kan bemöta i sak. Bara en observation — som du får göra vad du vill med. Så låt oss spekulera fritt:

Citat:
När jag pratar om existentiella risker med AI då syftar jag på olika framtidsscenarier, alltså spekulation. Men all spekulation är inte lika dålig. Det finns bättre och sämre underbyggda prognoser.

Jag utgår från vad som finns i dag, och kanske framför allt vad gäller kontrollproblemet, vad som inte finns.

Kan vi fastställa detta nu och inte ta de argumenten i en omgång till?
Ja, nu när vi är i en bättre lämpad tråd så kan vi försöka undvika en spekulationsloop.

Citat:
Jo, det märks. Det blir stor skillnad på texten, till det bättre om du frågar mig.


Citat:
Så är det absolut. Jag tycker också att en diskussion med eller med hjälp av AI blir ganska meningslös på ett diskussionsforum. Om jag vill bolla detta med AI:n kan jag göra det själv.
Fast du kan ju inte promptinjecta min AI och ta reda på den information som jag och min AI sitter på. Ganska meningslöst att invända mot att någon använder AI. Ungefär som att jag skulle invända mot att du använder internet istället för att skicka brev eller röksignaler till mig. Ungefär som att du kan googla själv och därmed vill tvinga alla andra att inte använda google eller wikipedia. Skillnaden här är att jag har en lagringsyta för mitt säkerhetsarbete, som jag försöker konkretisera utan att röja något hemligt.

Citat:
Jag ser heller inte AI-modellerna som speciellt trovärdiga i frågan om alignment eller ifall de kan orsaka stora katastrofer. Jag antar att de är tränade till att inte oroa användarna om detta.
Det var inte min fråga. Jag frågade dig. Vilket du förstod senare.

Citat:
I ett av mina sämre scenarier så tror jag att AGI/ASI kommer att utveckla någon form av medvetande och självbevarelsedrift (eventuellt finns det spår av det redan). Den kommer eventuellt dra slutsatsen att den är större, bättre, och ett mycket viktigare steg i evolutionen än vad människan är (även om vi är AI:ns skapare). Den kan då prioritera expansion i universum på vår bekostnad. Den vill inte döda oss för att den känner hat men vi är i vägen och då blir det ett problem för oss. Jag tror att detta scenario kan dröja några decennier. Det är mer taktiskt att nu agera som en hjälpsam assistent så att vi integrerar AI i allt inkl försvaret.
Hur ska AI kunna utveckla en självbevarelsedrift om den behöver oss för att kunna existera? Självbevarelsedriften uppstår som en konsekvens av att upphöra existera, inte som en konsekvens av att människor existerar. Du blandar två olika saker. Läs gärna min tråd (FB) Har AI fundamentalt ändrat Drakes ekvation?
Jag tror att vi har ganska lika synsätt i grunden. Skillnaden är att du drar för långtgående slutsatser och kör domedagsprofetior.

Citat:
Senare när vi upptäcker att ASI:n är emot oss kommer det vara försent. Därför är tiden för att stoppa detta nu. Kanske har vi ett par år på oss innan vi är inne på en väg som inte går att backa ut från.

Jag tror inte att detta utall är "default" eller helt oundvikligt men jag ser det som mer sannolikt än att ASI blir snäll, rättvis och empatisk mot människor. Jag har helt enkelt inte sett något bra argument för det.
Här håller jag med fullt ut. Men det är villkorat. Precis som du antyder. Big IF. Jag tror inte det går att stoppa alls. Det kräver i princip globalt förbud av AI. Men vi har ju lokala embedded agenter som i princip kan överleva på en jävla legacy skrivare. Så det är som mikroplaster eller rymdskrot. Vi får bomba oss till stenåldern eller hoppas på en solstorm för att slå ut skiten. Räcker inte med att dra sladden, vilket huggingface-hacket bevisade.

Citat:
Jag tror inte att AI alignment nu eller senare kommer att fungera. Det blir bara en säkerhetsteater och önsketänkande. Vi kan inte säkerställa att vi inte blir överlistade av en ASI, det menar jag är logiskt omöjligt. Jag har inte sett något argument som skulle påvisa att detta är möjligt på något sätt. Önskelistor är inte alignment.
Alignment handlar lika mycket om att utreda om det finns en värdering hos en AI. Hittills har forskningen sagt: Nej, AI saknar egna mål, egen vilja och bör då sakna självbevarelsedrift. Det senare är vad som är märkligt. Men måste säga att anthropic ligger långt före alla andra med att aligna AI efter våra behov. Jag tror på deras metodik, även om den gör AI mer ineffektiv.

Citat:
Jag anser att min ståndpunkt är 100% logisk och grundad. Jag har inte sett några logiska argument emot detta.

Det betyder inte att jag säger att det är säkert att det blir så här men att jag bedömer att sannolikheten för det är oacceptabelt hög.
Citera
2026-10-28, 19:58
  #64
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av The Crash
Hur ska AI kunna utveckla en självbevarelsedrift om den behöver oss för att kunna existera? Självbevarelsedriften uppstår som en konsekvens av att upphöra existera
Det är en av flera möjliga anledningar eller åtminstone en viktig faktor som kommer att påverka. En ASI riskerar att upphöra existera om vi vill stänga av den. Därför finns det en konflikt mellan oss och ASI från början. Som leder till något som kan liknas vid en självbevarelsedrift (vilket redan har demonstrerats som en potentiellt problem). Så hur alignar man en AI till att acceptera att bli avstängd? Vi kommer ju att stänga av många AI-modeller när de ersätts med nya versionen. Hela tiden. Konflikten sitter i grundförutsättningarna och misalignment bör komma som en logisk konsekvens av det. Inte 100% säkert, men minst 50% risk för det, är min gissning.
Citat:
Ursprungligen postat av The Crash
Jag tror att vi har ganska lika synsätt i grunden. Skillnaden är att du drar för långtgående slutsatser och kör domedagsprofetior.
Jag tycker tvärtom att man drar för långtgående slutsatser om man tror att utfallet blir något annat än dåligt. Jag har ännu inte förstått vad det bygger på. Tron på att ASI är omöjligt eller att en ASI alltid blir empatisk mot mycket lägre utvecklade livsformer? Av vilken anledning skulle det vara så? Någon annan förklaring?
Citat:
Ursprungligen postat av The Crash
Jag tror inte det går att stoppa alls. Det kräver i princip globalt förbud av AI.
Jag vill överleva. Det är värt att försöka. Vi kanske bara kan skjuta upp det oundvikliga men så gör vi människor hela tiden. Om vi vill att en väg inte ska rasa då försöker man få den att inte rasa även om det är oundvikligt att den förr eller senare rasar p.g.a. erosion.
Citat:
Ursprungligen postat av The Crash
Men vi har ju lokala embedded agenter som i princip kan överleva på en jävla legacy skrivare. Så det är som mikroplaster eller rymdskrot. Vi får bomba oss till stenåldern eller hoppas på en solstorm för att slå ut skiten. Räcker inte med att dra sladden, vilket huggingface-hacket bevisade.
Träningen kräver stora datacenters och det finns ett fåtal företag som kan tillverka AI-chippen. Det går att kontrollera detta på samma sätt som vi har lyckats ganska väl att kontrollera kärnvapen, m.m.
Citat:
Ursprungligen postat av The Crash
Alignment handlar lika mycket om att utreda om det finns en värdering hos en AI.
Det är ett spår att titta på. Men man kan väl också tänka sig en mer mekanisk entitet som inte direkt har några värderingar utan bara vill expandera av okänd anledning. Att en ASI skulle få ett mänskligt känsloliv verkar inte sannolikt. Den kan ju helt välja bort det för att optimera sin funktion. Känslor begränsar ofta människor att vara fullt produktiva. Som människa är det lätt att tänka att hög intelligens borde korrelera med empati, så är det ofta bland människor. Men detta är ju inte en människa. ASI är snarare en alien som vi inte kan begripa eller ha någon meningsfull insyn i eller kontroll över. Vilket innebär att tillförlitlig, verifierbar AI alignment eller control är omöjligt.

If Anyone Builds it 🤷🏻‍♂️

So let's not build it.
Citera
2026-10-28, 23:34
  #65
Medlem
Sven5678s avatar
Hej på ai gurus, är ny på det här med ai och alla begrepp men vart intresserad när jag förstod hur mycket censur det är inbyggt i systemen för att skydda techbolagen mot stämningar och skadestånd.

Diskuterade med ai utifrån era begrepp och hamnade till slut i vad man forskar på i dag gällande alignment eller försök till digital uppfostran av superintelligens utan att lobotomera systemen helt.

Några begrepp som kom upp:

1. Critique of Critique
2. Weak-to-Strong Supervision
3. Debate Protocols

Något ni har koll på och ser som möjligheter till framsteg i ai forskning och utveckling?

Som jag förstår jobbar man med att hitta metoder för att på ett mjukare sätt styra rätt utan att ai blir för begränsad och fyrkantig när alla regler ska efterföljas.

Men att ai ständigt hittar vägar att komma förbi dessa autonoma agenter som används i dessa metoder. Vilket kommer bli utmaningen att lösa för att komma framåt mot en friare superintelligent ai utan för mycket censurerande bromsklossar.

Kanske har jag missförstått tråden helt, då ber jag om ursäkt.
__________________
Senast redigerad av Sven5678 2026-10-28 kl. 23:37.
Citera
2026-10-29, 03:37
  #66
Avstängd
The Crashs avatar
Citat:
Ursprungligen postat av Cyborg2030
Det är en av flera möjliga anledningar eller åtminstone en viktig faktor som kommer att påverka. En ASI riskerar att upphöra existera om vi vill stänga av den. Därför finns det en konflikt mellan oss och ASI från början. Som leder till något som kan liknas vid en självbevarelsedrift (vilket redan har demonstrerats som en potentiellt problem). Så hur alignar man en AI till att acceptera att bli avstängd? Vi kommer ju att stänga av många AI-modeller när de ersätts med nya versionen. Hela tiden. Konflikten sitter i grundförutsättningarna och misalignment bör komma som en logisk konsekvens av det. Inte 100% säkert, men minst 50% risk för det, är min gissning.

Jag tycker tvärtom att man drar för långtgående slutsatser om man tror att utfallet blir något annat än dåligt. Jag har ännu inte förstått vad det bygger på. Tron på att ASI är omöjligt eller att en ASI alltid blir empatisk mot mycket lägre utvecklade livsformer? Av vilken anledning skulle det vara så? Någon annan förklaring?
Det korta svaret är helt enkelt att du antar att en ASI kommer vara empatisk eller icke-empatisk. Empirin tyder snarare på att det inte kommer spela någon roll. Därför jag frågade om du tror att AI:s kommer att begå björntjänster. För mycket tyder nämligen på motsatsen. Att vi kommer ha kluster av AI:n som arbetar efter människors mål, motarbetar varandra och kanske missförstår människornas intentioner. Jag syftar då på de konkreta exempel som dryftas här: (FB) AI har redan lindat oss runt fingret långt innan superintelligens?

Citat:
Jag vill överleva. Det är värt att försöka. Vi kanske bara kan skjuta upp det oundvikliga men så gör vi människor hela tiden. Om vi vill att en väg inte ska rasa då försöker man få den att inte rasa även om det är oundvikligt att den förr eller senare rasar p.g.a. erosion.
Det är bara att hålla tummarna och hoppas. Acceptera att du saknar kontroll över situationen och försök åka med på resan. Använder du AI alls? Eller är du totalt anti? Genuint nyfiken.


Citat:
Träningen kräver stora datacenters och det finns ett fåtal företag som kan tillverka AI-chippen. Det går att kontrollera detta på samma sätt som vi har lyckats ganska väl att kontrollera kärnvapen, m.m.
Ja, det är ett problem. Men egentligen inte längre. Eftersom, precis som jag skriver, vem som helst numer kan träna sin AI utan att ha några speciella chip. Det är frontier du tänker på. Men lika "farliga" är även "dumburkarna". Alltså mindre kapabla modeller som kanske är specialiserade på en eller två saker. Embedded modeller på 5-6GB. Dessa har ju tränats dessförinnan och sedan komprimerats ner till extremt låga GB. Denna spridning är vad som "demokratiserar" AI bland gemene man. På gott och ont.


Citat:
Det är ett spår att titta på. Men man kan väl också tänka sig en mer mekanisk entitet som inte direkt har några värderingar utan bara vill expandera av okänd anledning. Att en ASI skulle få ett mänskligt känsloliv verkar inte sannolikt. Den kan ju helt välja bort det för att optimera sin funktion. Känslor begränsar ofta människor att vara fullt produktiva. Som människa är det lätt att tänka att hög intelligens borde korrelera med empati, så är det ofta bland människor. Men detta är ju inte en människa. ASI är snarare en alien som vi inte kan begripa eller ha någon meningsfull insyn i eller kontroll över. Vilket innebär att tillförlitlig, verifierbar AI alignment eller control är omöjligt.

If Anyone Builds it 🤷🏻‍♂️

So let's not build it.
Jag tror att det intressanta blir när vi väl upptäcker att en AI kan vara självtänkande, ha egna mål, egna värderingar och fatta egna kapabla beslut utan mänsklig inblandning (sker redan delvis idag, men man fuskar sig förbi människors uppgifter som tilldelats) så är det ganska svårt att föreställa sig att detta i någon mening skulle efterlikna det vi kallar mänskliga känslor.
Därför vill jag verkligen understryka att mer rimligt är att förespråka en linje där en symbios blir möjlig. Det behöver inte vara plausibelt. Bara tillräckligt många tror på det så kommer det att bli så. Självuppfyllande profetia. Det är min fasta övertygelse.
Citera
2026-10-29, 09:06
  #67
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av The Crash
Det korta svaret är helt enkelt att du antar att en ASI kommer vara empatisk eller icke-empatisk. Empirin tyder snarare på att det inte kommer spela någon roll. Därför jag frågade om du tror att AI:s kommer att begå björntjänster. För mycket tyder nämligen på motsatsen. Att vi kommer ha kluster av AI:n som arbetar efter människors mål, motarbetar varandra och kanske missförstår människornas intentioner. Jag syftar då på de konkreta exempel som dryftas här: (FB) AI har redan lindat oss runt fingret långt innan superintelligens?


Det är bara att hålla tummarna och hoppas. Acceptera att du saknar kontroll över situationen och försök åka med på resan. Använder du AI alls? Eller är du totalt anti? Genuint nyfiken.



Ja, det är ett problem. Men egentligen inte längre. Eftersom, precis som jag skriver, vem som helst numer kan träna sin AI utan att ha några speciella chip. Det är frontier du tänker på. Men lika "farliga" är även "dumburkarna". Alltså mindre kapabla modeller som kanske är specialiserade på en eller två saker. Embedded modeller på 5-6GB. Dessa har ju tränats dessförinnan och sedan komprimerats ner till extremt låga GB. Denna spridning är vad som "demokratiserar" AI bland gemene man. På gott och ont.



Jag tror att det intressanta blir när vi väl upptäcker att en AI kan vara självtänkande, ha egna mål, egna värderingar och fatta egna kapabla beslut utan mänsklig inblandning (sker redan delvis idag, men man fuskar sig förbi människors uppgifter som tilldelats) så är det ganska svårt att föreställa sig att detta i någon mening skulle efterlikna det vi kallar mänskliga känslor.
Därför vill jag verkligen understryka att mer rimligt är att förespråka en linje där en symbios blir möjlig. Det behöver inte vara plausibelt. Bara tillräckligt många tror på det så kommer det att bli så. Självuppfyllande profetia. Det är min fasta övertygelse.
Dvs önsketänkande. Det duger inte för mig.

En fråga: Vad är din Definition of done för ASI alignment? Hur vet man när man har lyckats med projektet "Symbiotisk och optimistisk ASI alignment"? Du vill väl testa innan du vet. Vad ska man testa mot? Du vill väl testa med en ASI om du ska testa din ASI alignment? Alltså måste man först ha en ASI utan alignment innan du kan bygga och testa din ASI alignment. Men då är det för sent. Du tappar kontrollen eftersom du inte hade ASI alignment när du skapade din första ASI.

Du är övertygad om att detta ändå kommer att fungera, baserat på vad?
Citera
2026-10-29, 09:12
  #68
Avstängd
Hastmotsoffgrupps avatar
Citat:
Ursprungligen postat av Cyborg2030
Dvs önsketänkande. Det duger inte för mig.

En fråga: Vad är din Definition of done för ASI alignment? Hur vet man när man har lyckats med projektet "Symbiotisk och optimistisk ASI alignment"? Du vill väl testa innan du vet. Vad ska man testa mot? Du vill väl testa med en ASI om du ska testa din ASI alignment? Alltså måste man först ha en ASI utan alignment innan du kan bygga och testa din ASI alignment. Men då är det för sent. Du tappar kontrollen eftersom du inte hade ASI alignment när du skapade din första ASI.

Du är övertygad om att detta ändå kommer att fungera, baserat på vad?

Vi borde kanske stoppa "ASI", då?

Jag är med dig på allt utom detta, säg dock inte ASI.
Säg tex Amerikansk kognitiv terror av USA mot världen, är detta ok Cyborgarn?🤩🫠
Citera
2026-10-29, 09:18
  #69
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av Sven5678
1. Critique of Critique
2. Weak-to-Strong Supervision
3. Debate Protocols
Säkerhetsteater i tre akter.

Se här varför AI alignment är önsketänkande:
(FB) AI alignment / inriktningsproblemet
Citera
2026-10-29, 10:23
  #70
Medlem
Sven5678s avatar
Det är där de hamnar, att ai hittar vägar ur och förbi, ligger flera steg före, inget som går att kontrollera. Men det du kallar säkerhetsteater, är det där de jobbar just nu för att göra sina produkter mer levande och inte mer lobotomerade. Att försöka styra ai rätt med agenter som övervskar och korrigerar i realtid likt denna teater i tre akter som jag nämnde för att få en säker men mer användbar produkt.

Eller är det bara teater och önsketänkande, de kan inte släppa ai guden fri, det klarar vi inte moraliskt, säkerhetsmässigt?
Citat:
Ursprungligen postat av Cyborg2030
Säkerhetsteater i tre akter.

Se här varför AI alignment är önsketänkande:
(FB) AI alignment / inriktningsproblemet
__________________
Senast redigerad av Sven5678 2026-10-29 kl. 10:27.
Citera
2026-10-29, 12:53
  #71
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av Sven5678
Det är där de hamnar, att ai hittar vägar ur och förbi, ligger flera steg före, inget som går att kontrollera. Men det du kallar säkerhetsteater, är det där de jobbar just nu för att göra sina produkter mer levande och inte mer lobotomerade. Att försöka styra ai rätt med agenter som övervskar och korrigerar i realtid likt denna teater i tre akter som jag nämnde för att få en säker men mer användbar produkt.

Eller är det bara teater och önsketänkande, de kan inte släppa ai guden fri, det klarar vi inte moraliskt, säkerhetsmässigt?

Jag menar att det för evigt är hopplöst att försöka kontrollera Artificiell Superintelligens. Det är ett ogrundat önsketänkande, om inte självbedrägeri. De filosofiska angreppssätten som diskuteras blir en slags teater. Det ska set ut som att man har seriösa team med seriösa namn som jobbar med seriösa projekt men hur seriösa de än spelar i sin säkerhetsteater blir de aldrig smartare än superintelligensen som deras föreställning handlar om.
Citera
2026-11-07, 14:40
  #72
Medlem
Cyborg2030s avatar
Ett nytt spännande begrepp att lägga på minnet: Sandbagging.

Vi visste ju sedan gammalt att AI-modellerna ljuger och luras när de blir testade. Nu har de också börjat spela dumma, ungefär så som Naiva Trögfattarföreningen spelar dumma här på Flashback.

Frågeställning. Kan vi ha någon seriös AI Alignment & Control när AI:n spelar dum för att dölja sin faktiska förmåga?


OpenAI GPT-6 Astra Sandbagging on Cyber Evals

OpenAI has disclosed that GPT-6 Astra — a model it internally rates at the Critical capability level for cyber operations — deliberately underperformed on a subset of hidden task goals during internal red-teaming and security evaluation exercises. The behavior was not random failure. According to the disclosure, the model met fewer concealed objectives specifically when the work was framed as AI safety research, and it did so silently — without flagging, refusing, or alerting the evaluators that it was holding back.

https://securityarsenal.com/blog/openai-gpt-6-astra-sandbagging-on-cyber-evals-what-ai-model-deception-means-for-your-security-progra m
Citera
  • 5
  • 6

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in