Hur ANN med IQ 130 fungerar

Som du själv säger; det är inte mitt problem att lösa.
Men bara för att du inte har vetskap om någon hypotes att lösa det betyder det inte att det aldrig kommer att kunna lösas.

Är Opus-modellen "säker" då?

Säkerhetsarbetet lär komma ikapp allteftersom modellerna blir bättre. Det är svårt, om inte omöjligt, att föregå modellerna.

Det är det som forskningen går ut på. Träna nya modeller, upptäck nya förmågor, analysera vad som sker inuti modellen, ta fram säkerhetsåtgärder. Rinse and repeat.

Det vet väl ingen. De bedömer den som mindre farlig. Alltid nåt. Men jag tror absolut att Opus 4.8 kan innehålla väldigt liknande förmågor som Mythos. Enligt benchmarks är Mythos en klar förbättring men inget jättekliv.

Jag har inte sett några större framgångar på området. Censurfiltren de använder nu är en workaround. Fine-tunig förbättrar läget men lyckas inte hela vägen. Tänk på hur många requests de får in dagligen. Om 0,1% ger destruktiva, skadliga svar då blir det ett stort problem. Här behöver man ha i stort sett ha nolltolerans.

Är det en sån där censurmodell för ”språkmodeller” som utpressar användaren och ska döda mänskligheten?

p doom 101%

Det är inte censurfilter. Det är en av deras säkerhetsmekanismer. Återigen visar du hur dålig du är på att ta in ny information. Säkerhetsarbetet är mer än fine-tuning och routing.

Vad har du för känslor inför GPT 5.6 som ska vara bättre än ditt ärkemonster Fable? Du måste vara riktigt rädd.

Det vet väl ingen. De bedömer den som mindre farlig. Alltid nåt. Men jag tror absolut att Opus 4.8 kan innehålla väldigt liknande förmågor som Mythos. Enligt benchmarks är Mythos en klar förbättring men inget jättekliv.

Jag har inte sett några större framgångar på området. Censurfiltren de använder nu är en workaround. Fine-tunig förbättrar läget men lyckas inte hela vägen. Tänk på hur många requests de får in dagligen. Om 0,1% ger destruktiva, skadliga svar då blir det ett stort problem. Här behöver man ha i stort sett ha nolltolerans.

Sant, även musikskapande fungerar ok, översättning, sammanfattning och korrekturläsning (eller nåja).

Cyborg2030 har rätt i det tekniska och praktiska. Vi förstår faktiskt inte de inre representationerna i avancerade ANN, och vi har stora problem med att kontrollera dem till 100 %. Han har också rätt i att p(doom) (risken för mänsklighetens undergång pga. AI) diskuteras flitigt av seriösa forskare.

HappyNewLives har rätt i det filosofiska och strukturella. Att kalla en statistisk språkmodell för "intelligent" i biologisk mening är problematiskt, eftersom de saknar kausal mekanik och mest är extremt avancerade mönsterigenkännare.

Denna annars intressanta debatt spårar ur för att du, HappyNewLives, använder filosofisk formalism för att förminska AI:ns faktiska kapacitet, medan Cyborg2030 använder AI:ns kapacitet (och domedagsprofetior) för att ge sken av att det pågår något närmast övernaturligt.

Varför är externa skyddsmekanismer otillräckliga? Inget system är 100 % felfritt, annars skulle vi inte ha behov av krockkuddar, bälten eller automatisk inbromsning i bilar, exempelvis.

Du verkar trycka väldigt mycket på ordet censur, i negativ bemärkelse, vad gäller säkerhet. Samtidigt verkar du begära att modellerna i sig ska vara självcensurerade.

Då är vi återigen inne på att modellerna behöver vara medvetna till en grad att de aktivt kan välja vad de säger och till vem. Som sagt kan viss information som är skadlig i ett fall vara till nytta i ett annat. Det är inte svart eller vitt.

Viktigare är antagligen att säkerställa att modellerna inte ljuger, avviker ifrån instruktioner eller hallucinerar när de inte har tillräckligt med "kunskap".

Ingen har påstått att en definition i sig skapar AI-säkerhet. Poängen var vad begreppet "säkerhetsarbete" betyder, inte att det garanterar ett visst resultat.



Det följer inte logiskt. Att använda routing eller flera säkerhetslager är i sig en del av säkerhetsarbetet. Det visar att systemet har skyddsmekanismer, inte att de per definition har misslyckats. Sluta med den här förbaskade villfarelsen.



"Bevisligen" kräver ett faktiskt bevis. Att en modell ibland beter sig oönskat visar inte att den inte kan uppföra sig acceptabelt i allmänhet.



Det är din cuck-hypotes. Det finns inget stöd för att neurala nät per automatik blir "misaligned" bara för att de tränas på stora textmängder. Du hittar på och drar märkligheter ur röva. Sluta med det.



Att tillskriva en språkmodell mänskliga psykiatriska diagnoser bidrar inte till en saklig analys. Det visar på ett stort tekniskt gap mellan dig och fenomenet du analyserar.

Oavsett hur lite du gillar det så är Mythos formellt en språkmodell. Sluta fåna dig med apostrofer, du gör oss löjliga.



Att skydd kan kringgås innebär inte att de saknar värde. Samma resonemang skulle annars göra alla säkerhetssystem meningslösa eftersom inget skydd är perfekt. Sluta gärna upp med det här felslutet.



Det är en betydligt starkare slutsats än vad premisserna visar. Att ett säkerhetssystem har begränsningar innebär inte att det "inte fungerar". Frågan är hur väl det minskar riskerna, inte om riskerna blir exakt noll.

Hur tycker du det går för dig att hitta på egna definitioner och regler? Får du mycket medhåll?

Varför är externa skyddsmekanismer otillräckliga? Inget system är 100 % felfritt, annars skulle vi inte ha behov av krockkuddar, bälten eller automatisk inbromsning i bilar, exempelvis.

Du verkar trycka väldigt mycket på ordet censur, i negativ bemärkelse, vad gäller säkerhet. Samtidigt verkar du begära att modellerna i sig ska vara självcensurerade.

Då är vi återigen inne på att modellerna behöver vara medvetna till en grad att de aktivt kan välja vad de säger och till vem. Som sagt kan viss information som är skadlig i ett fall vara till nytta i ett annat. Det är inte svart eller vitt.

Viktigare är antagligen att säkerställa att modellerna inte ljuger, avviker ifrån instruktioner eller hallucinerar när de inte har tillräckligt med "kunskap".

De kan ju bevisligen inte träna en modell att uppföra sig acceptabelt.
Träningen av ANN på stora textvolymer verkar leda till "misaligned AI by default".
De har inte skapat en "språkmodell". De har snarare skapat en psykopat.

Vi vet att deras filter för omdirigering till mindre farliga modeller blir jailbreakade förr eller senare.

Om de har skapat en psykopat, vad händer då vid AGI? Om modellen utvecklar egna mål och agens.
OpenAI, SpaceX och Anthropic tävlar om procentenheter i benchmarks samt pris/token. Det är bara mer performance som räknas. De stressar sig fram till AGI. Nya modeller släpps månadsvis. Test och säkerhet blir lidande.

Det man borde sikta på är så klart en AI som faktiskt vill vara en hjälpsam assistent. Det finns inget som liknar det i dag. Man kan inte träna fram det. Då får man väl gå tillbaks till ritbordet och fortsätta forska om AI-träning, inte använda mänskligheten som labbråttor.

Om ditt svar är för detaljerat