AI gör oss dumma i huvudet

Vårt samtal går lite i cirklar. Jag har frågat vad du vill göra utöver att diskutera här, och du svarade "inget" - är det fortfarande så? - och nu frågar du mig samma sak.

Jag skulle vilja verka för mer reglering genom politiker jag har kontakt med, men är inte tillräckligt insatt för att föreslå en bra lagtext. EU AI Act innehåller redan regler för AI-modeller med systemrisker och för högrisktillämpningar. Tyvörr har EU nyligen skjutit upp vissa högriskregler till 2027–2028. Jag tycker att kraven på AI-agenter med verktyg som potentiellt kan användas för att hacka andra datorer behöver skärpas, oavsett tillämpning. AI-agenter som utför handlingar som vore brottsliga om människor utförde dem, utan användarens utryckliga godkännande, borde omfattas av obligatorisk incidentrapportering och ramverken och modellerna kunna förbjudas.

Det finns också fonder som stödjer forskning om AI-risker och som man kan skänka en slant till. Den som investerar kan även överväga företag som arbetar med IT-säkerhet.

Jag är samtidigt lite skenhelig eftersom jag inte vill sluta bidra till spridningen av kunskap om maskininlärning i mitt jobb. Däremot har jag bidragit till att vissa tekniska utbildningar om AI innehåller mer om etik, juridik, riskbedömning och tekniska skyddsmekanismer för AI-agenter. Så att framtidens utvecklare kan begränsa AI-agenternas framfart.

P(doom) har vi diskuterat många gånger.

Ja visst, men jag menar trivial uppgifter som det hittar du garanterat på en vanlig google sökning också.

Men absolut har du en feedback loop och direkt kan testa vad som fungerar eller inte fungerar så kan det ju bli rätt, det är precis så en del agent harness fungerar, |: skriver, validerar tills det går igenom.

Men det jag menar är om någon skriver "Förklara kvantfysik för mig" så kommer de inte ha en blekaste aning om i fall vad de nyss läst stämmer eller inte, visst man kan ställa samma fråga flera gånger i nya chattfönster (om man inte kör ChatGPT då för den jäveln kollar mellan fönstren och har en lögn smygit sig in så sitter den kvar)

Skulle aldrig i livet utsätta någon elev eller student för AI skapad utbildning, men så nogräknade är tydligen inte dagens lärare.

Djupinlärning är verklig approximation. Transformers är bara generativ hopkok.

Absolut. Väderprognoser och andra datorsimuleringar är också verklig approximation men är ändå användbara, och blir allt bättre. Frågan kvarstår: Är filosofiska definitioner av kognition viktigare än mänsklighetens framtid för dig och i såfall varför?

Intelligens är synonymt med kognition. Språkmodeller duger som assistenter. Resten får du räkna ut själv.

Nu är du något nytt på spåret. Du menar att AI duger till att assistera matematikforskare, programmerare, copyeditors, översättare, illustratörer och musikkompositörer, men inte till att fullt ut ta över deras jobb? Jag vet inte om det fortfarande är sant. Vad skulle krävas för att du skulle säga att nu är AI-agenterna mer än assistenter? Var går gränsen?

Den dag datorprogram får egen agens som inte bara är programmerad så.

Duger det med inlärd agens? I tekniska termer, en LLM som är tränad att ha agentiska förmågor?

Generativitet vs kreativitet är frågan. Du kanske tycker det är samma sak.

Vad svenska politiker gör i frågan kommer inte att få någon avgörande betydelse. Det är de amerikanska politikerna som måste vakna och ta kontroll över AI-utvecklingen.

Det kan möjligen fördröja undergången med några år. Men det räcker att zooma in på militär AGI för att inse att vi är rökta.

USA måste försöka hålla jämna steg med Kina och tvärtom. När den ena sidan utvecklar AGI måste den andra sidan också göra det, illa kvickt. Detta handlar inte bara om autonoma drönare utan minst lika mycket om hur snabbt man kan upprusta. Därför kommer man att behöva införa AGI inom industrin när man ser att fienden kan bygga 10x så många drönare och fabriker. För att hinna med måste man automatisera mer och snabbare. Mer AGI på fler ställen. Då får vi ganska snart en ASI via RSI som är integrerad i de flesta delar av samhället och industrin. Nu har man skapat en situation som är omöjlig att kontrollera. Vi blir utelämnade till önsketänkandet om att en ASI borde vara snäll, samtidigt som vi använder den för att bygga flygande autonoma vapen.

En möjlig utväg är att man lyckas med ett fredsavtal där man lovar varandra att inte bygga militär AGI, men det bedömer jag som osannolikt.

Men om vi låtsas som att det går att förbjuda militär AGI kommer man ändå inte motstå frestelsen att skapa fredlig, medicinsk AGI som kan bota alla sjukdomar. Om det blir en möjlighet kommer efterfrågan på detta att vara oändlig och då behöver man automatisera industrin ändå och man hamnar i precis samma läge till slut. Det blir ju bokstavligen en fråga om liv eller död. Vinna eller försvinna.

Grundproblemet är att vi har för många optimister som ser glaset som halvfullt. Man övervärderar fördelarna med teknik och bortser från nackdelarna. En liten fördel får +5 poäng, en stor nackdel får -1 poäng. Evolutionen har premierat alla som har varit positiva till jakt, fiske och jordbruk. Samma människor är nu positiva till AI. Det är ju "bara ett nytt verktyg" och hittills har vi blivit mätta och glada av nya verktyg. Evolutionen har inte förberett oss på att hantera den här typen av verktyg. Människor har klarat sig bra med Donald Trumps slutledningsförmåga.

"Skeptikerna" blir ofta förbannade och hatiska. De blir det eftersom de försvarar en irrationell uppfattning, att det visst går att kontrollera intelligenta maskiner, alternativt att det är omöjligt att bygga intelligenta maskiner eller att de maskinerna egentligen inte finns.

AI duger fint att göra applikationer med. Det blir kanske inte rätt eller perfekt eller fungerande på första försöket, men om programmet inte går att kompilera så visar man bara felkoden för AIn så brukar det lösa sig. Går det att kompilera, men sedan inte köra så gör man samma sak, delar med sig av felmeddelanden så löser det sig.

Jag har gjort fantastiskt användbara program för jobbet där jag i princip inte skrivit någon kod alls själv.
Min uppgift har bara varit att på ett så utförligt sätt som möjligt beskriva vad jag vill ha för utseende och funktioner. Det bollas fram och tillbaka många gånger tills man är nöjd.

Ja det fungerar på liten skala, det gör inte det på större. Men alla som gapar om agent kodandets förträfflighet är precis sådana som bara skriver något litet skript eller adhoc program då och då, inte de som bygger system, som måste underhålla skiten i månader.

Försök med det och återkom sen.