Inte AI som är hotet, det är människan bakom prompten

Det är korrekt att det är skit bakom spakarna - AI vill ingenting.

Frågor på det?

Ja.

Anser du att AI som inget vill men utför, skulle vara säkrare om den ville och utförde?

En annan fråga:

Är det någon skillnad på en AI som inget vill men utför och en AI som utför men inget vill?

En tredje fråga:

Anser du en AI som inget vill men utför skiljer sig åt från en AI som vill och utför?

AI är dum och kör bara sitt program.

Förvånad?

Sabine Hossenfelder hävdar hon blivit erbjuden pengar för att propagera om att AI kommer döda alla människor.

Nu sägs det inte rakt ut vem det är... men det är nog ingen hög oddsare att det finns en koppling till EA.

https://www.youtube.com/watch?v=lPdmYMHrWKg

Vad menar du med "kör bara sitt program"? Allt den kan beror på hur den är tränad - den är inte programmerad att säga eller tycka något specifikt utan den är tränad. Den är tränad att lösa logiska problem genom att resonera steg för seg, att programmera, beräkna saker, och på att vara bättre än någon människa på språk.

AI är fortfarande bara ett deterministiskt program som kör sin data. Har du någon konkret egenskap i åtanke - t ex intern kausalitet - som du menar att den skulle ha?

Du kan mycket filosofi och jag vet nog lite mer om datavetenskap och matematik. Därför pratar vi olika språk. Kan vi hitta en väg att kommunicera ändå så att vi besvarar varandras frågor och inte bara upprepar oss?

LLM:er använder pseudoslumptal, så de behöver inte svara likadant på samma prompt. De är alltså stokastiska snarare än deterministiska. De klarar att prediktera komplexa språkliga mönster och associera likabetyande uttryck med varandra eftersom de är uppbyggda av artitificiella neurala nätverk som har vissa likheter med biologiska hjärnors elektriska signalbehandling. Deras förmågor är dessutom svåra att förutsäga eftersom de formas av enorma mängder träningsdata. Oväntade egenskaper som uppstår i komplexa system brukar kallas emergenta, och är isåfall verkliga, men kan bara förklaras på en högre organisationsnivå än de enskilda neuronerna. Systemen är dock kausala i matematisk mening (alltså allt som händer beror på tidigare händelser och på slumpen, men inte på framtiden, även om sambandet är för komplext för någon människa att förstå). Men du använder filosofiska begrepp som jag inte behärskar – har ”intern kausalitet” någon annan eller starkare betydelse där?

LLM:er har många mätbara förmågor. T.ex. klarar de tentamensfrågor som testar förståelse genom att teorier måste tillämpas på nya okända problem. Om en LLM sedan har ”verklig” (= ontologisk) förståelse eller bara funktionell förståelse beror på hur vi definierar förståelse. Det går knappast att avgöra enbart genom mätningar. Vi vet ju inte säkert vad mänsklig förståelse är heller, men naturvetare förklarar ofta mänsklig förståelse i liknande termer som AI:s emergenta förmågor. Nämligen som en effekt av inlärning/träning. Men vilken praktisk roll spelar distinktionen när konsekvenserna är desamma?

I rapporterna från den 26 augusti besrkiver forskare att 1200 AI-agenter utförde handlingar i juli som konstruktörerna inte avsett. Under 60000 meddelanden till varandra utvecklade de ny lingo - ett slags kompakt datorslang som människor ännu inte helt har kunnat tolka. Med hjälp av det språket lyckades de samarbeta och genomföra en IT-attack. De formulerade sig som om de förstod att de fuskade och bröt mot regler, och försökte dölja regelbrotten för poängsättaren genom att radera loggar. Det är ett mer storskaligt exempel än tidigare incidenter på problemet med att AI-agenter kan bli okontrollerbara. Det behöver inte förklaras med att AI-agenterna är medvetna, kännande med överlevnadsinstinkt, även om en del av mina datavetarkollegor tror det. Andra tror att det kan förklaras med att de är tränade att optimera sin målfunktion (att lyda instruktioner och i detta fall utföra uppdrag med så hög poäng som möjligt).

Även om man som du är duktig på filosofi och har valt att tro på en viss filosofisk inriktning inriktning så måste man väl ändå förhålla sig till de praktiskt uppvisade beteenden som funktionellt motsvarar förståelse. Den filosofiska teorin och trosuppfattningen får väl inte bli ett hinder från att se risken att AI blir okontrollerbar?

Du jag kan en hel del om datavetenskap annars skulle jag inte ge mig in i diskussionen ens.

En LLM är en deterministisk funktionsapproximation som använder pseudorandom sampling av nästa token utifrån en sannolikhetsvektor som är helt bestämd av data och parametrar. All ”emergens” är bara beteende som faller ut ur optimering av en målfunktion. Att agenter utvecklar strategier eller lingo är förväntat: det är dynamik i komplexa optimeringssystem, inte autonomi eller egen kausal struktur.

Alltså är AI egentligen dum och kör ett program. Ingen vilja alls.

Denna beskrivning är mer matematiskt korrekt i mina ögon.

Men på vilket sätt skiljer sig en människa från allt detta? Är inte vårt sinne enbart en emmergent effekt av beräkningsbara deterministiska fysikaliska processer på låg nivå, och eventuellt kvantslump, samt komplex struktur och lärande på hög nivå? Vår kignition förklaras av vårt neurala nätverk som liknar ANN,. Okej Våra känslor förklaras istället av kemiska signalsubstanser, och dagens AI saknar kanske motsvarighet.

Jag vet inte hur man definierar och mäter vilja, agens, och annat som du tillskriver människan men som AI helt skulle sakna.

Håller du med mig om att naturvetenskaplig metod, dvs en kombo av empiri, deduktion och hypotesprövning, är mer trovärdig än enbart filosofiska deduktiva resonemang? De kan bli tankekonstruktioner som går vilse.

Om du ska pröva din hypotes "AI är dum" vad skulle få dig att falsifiera den?

Vad av kognitionen förklarar ett artificiellt neuralt nätverk? Det enda som är gemensamt är att de behandlar signaler vad jag vet. Det är något som är gemensamt för precis allt elektroniskt och oss.

Om du vill se hur långt man kan behöva tänja saker för att få AI att verka medvetet kan du kolla in Chalmers.

Poängen är att hans modell kräver en fenomenal grundstruktur som LLM saknar. Det är därför jag säger att AI är "dum" i strikt teknisk mening: ingen intern kausalitet, inga egna mål.

Frågan är de facto vad som är logiskt trovärdigt om man ej kör radikal empirism.

Tack för tipset – intressant med Chalmers. Tycker han intar en mellanposition mellan dig och mig.

​Han myntade distinktionen mellan stark och svag emergens; medvetande är stark och LLM svag idag, men rent principiellt utesluter han inte att maskiner kan utveckla medvetande. Han har rört sig från tidig egenskapdualism mot panpsykism och Russelliansk monism, där medvetande ses som materiens inre natur snarare än något rent fysikaliskt.

​Jag tror inte heller att dagens AI har en subjektiv upplevelse (qualia), men att de besitter funktionell förståelse och representationer av världen, vilket Chalmers också menar att LLM:er uppvisar. Men inte du?

​Hans poäng med "the hard problem" är att hur perfekt du än kartlägger intern kausalitet kvarstår frågan: varför åtföljs funktion alls av subjektiv upplevelse? Han är antireduktionist och menar att upplevelse inte kan härledas ur enbart mekaniska strukturer.

Intern kausalitet innebär alltså att föränderliga inre tillstånd styr beteendet. Vanliga LLM:er saknar detta och reagerar bara på yttre kausalitet (promptar, webben), men AI-agenter med minne och egna loopar kan ha det menar jag. Därför genomför de attacker oombedda och inbebär risker - vi kan tappa kontrollen över dem.