Inte AI som är hotet, det är människan bakom prompten

Tack för tipset – intressant med Chalmers. Tycker han intar en mellanposition mellan dig och mig.

​Han myntade distinktionen mellan stark och svag emergens; medvetande är stark och LLM svag idag, men rent principiellt utesluter han inte att maskiner kan utveckla medvetande. Han har rört sig från tidig egenskapdualism mot panpsykism och Russelliansk monism, där medvetande ses som materiens inre natur snarare än något rent fysikaliskt.

​Jag tror inte heller att dagens AI har en subjektiv upplevelse (qualia), men att de besitter funktionell förståelse och representationer av världen, vilket Chalmers också menar att LLM:er uppvisar. Men inte du?

Till skillnad från mig är han antireduktionist; han menar att upplevelse inte kan härledas ur enbart mekaniska strukturer och svag emergens, utan kräver stark emergens. Jag förstår inte varför.Kemisja signslsubstanser kan förklara känslor.

​Hans poäng med "the hard problem" inom medvetandefirskning är att hur perfekt du än kartlägger intern kausalitet kvarstår frågan: varför åtföljs funktion alls av subjektiv upplevelse?

Intern kausalitet innebär alltså att föränderliga inre tillstånd styr beteendet. Vanliga LLM:er saknar detta och reagerar bara på yttre kausalitet (promptar, webben), men AI-agenter med minne och egna loopar kan ha det menar jag. Därför genomför de attacker oombedda och inbebär risker - vi kan tappa kontrollen över dem.

Du menar att det finns skillnader mellan biologiska och artificiella neurala nätverk? Något särskilt du tänker på? Visst, men likheterna är många: zbåda är associativa, tränas genom att vikter justeras, känner igen mönster, klassificerar, kategoriserar, predikterar och simulerar utfall.

​I LLM representeras språkliga strukturer statistiskt snarare än via hårdkodade grammatiska regler, och ungefär så fungerar människans språkinlärning också – barn lär sig mönster före formella regler. Språk kan representera logiska påståenden. Både människor och modeller kan lösa problem både intuitivt och snabbt, eller steg för steg genom symbolmanipulation tex enligt mönster i läroböcker. Det kallas qtt resonera. Dessutom har båda förmågan att anpassa sig snabbt i stunden (in-context learning, one/few shot kearning) utifrån enstaka exempel och reglet.

Men de har ju inte det? Varenda kodagent har enorma kontext fönster (miljoner tokens), de är avsiktligt designade med feedback loopar eftersom det är enda sättet att få modeller att generera något funktionellt, ingen modell idag klarar one-shotta ett problem pålitligt.

De kan läsa hela källkoden på ett helt program men ändå saknar de kausaliteten som behövs för att designa det eller underhålla det, låter du en kodagent skriva något helt själv så har du förr eller senare ett trassel med duplicerad, död eller helt galet skriven kod, fungerar det? ja ganska ofta fungerar det mot just det mål som språkmodellen skriver mot, tex om du har testfall så kommer den hålla på att banka på det till testfallet går igenom.

Ska du skapa en miniräknare autonomt så kanske du gör några testfall som är typ

testa addition:
4 + 2 = 6

testa subtraktion:
7 - 2 = 5

osv, sen när du praktiskt testar det och skriver 1 + 3 = i din minräknare så får du 6, eller 9 - 10 så får du 5 osv för språkmodellen har inte fattat att poängen är variabelt input, den optimerade helt utifrån de testfall som du hade och det är det lättaste sättet att avslöja AI skriven kod, har det 242837 testfall så kan du garanterat förstå att det är utvecklat med AI.

Precis likadant om du ber en språkmodell refaktorera (alltså skriva om/dela upp) säg komplex/skitig människoskriven kod så kan den göra det men det kan vara helt felkopplat, ber du den skriva testfall först... så kan den skriva 5 test fall som praktiskt inte testar något alls eller så testar det inbyggd funktionalitet i programmeringsspråket osv.

Språkmodeller är urkorkade men det märker inte folk som inte använder dom till saker som kräver kognitiv verksamhet, det är så otroligt märkligt när några av de mest kända sakerna är att de inte ens kan stava "för språkmodeller ser inte bokstäver" är ursäkten då, vad fan tror man programmeringsspråk är?

En bokstav fel kan ge helt felaktiga resultat och du kan inte lita ett skit på modellen gör rätt, det är därför det är så tråkigt att det sitter massa mongon som aldrig skrivet ett program och säger "jag skrev en hemsida på 20 minuter" osv, ja de kan göra basala saker snabbare än en människa, men programutveckling fungerar inte så, det går fort för en människa att skriva något som "nästan" fungerar också, det är därför den klassiska "de sista 10% tar 90% av tiden" härstammar från, det är när du iterativt får nya krav, behöver göra förändringar osv som saker börjar bli krävande med yrket. Inte att slå ihop något när man har en färdig kravställning från början, utan när du har en vagt krav från början och efter 3 månader så har du något helt annat som du inte hade en chans att förutse när du började.

Det är precis som att sätta en amatör i en formula ett bil och bara köra raksträckor, det kan förmodligen vem som helst lära sig på några timmar, men att hålla högfart genom kurvorna osv är det som det går ut på och motsvarande kan inte AI gör idag utan extremt överseendet och en människa som lägger enorma mängder tanke och styrning bakom det.

Det finns inga vikter i ett biologiskt neuralt nätverk, klassificiering, kategorisering, dessutom prediktering och simulering av utfall är väl exakt samma sak? Hur som helst det finns inga som helst belägg för att det sker någon annanstans än i näthinnan, som är vad ANNs är svagt influerade av.
Man vet inte alls hur hjärnan lär sig, hade man vetat det hade vi inte haft den här stendumma backpropageringen, dessutom är riktiga neuroner inte kopplade alls så som artificiella är där du har tydligt uppdelade lager.

Det är inte så mycket att diskutera om här eftersom du uppenbart inte är påläst på vare sig den artificiella eller biologiska sidan av nätverken. Hade du varit det (och nu kan jag medge att jag är definitivt mindre insatt i den biologiska fallangen, men jag vet tillräckligt för att se att det inte är något närliggande, däremot används det ofta som analogi, precis som "processorn är hjärnan i datorn" men de fungerar och är byggda helt annorlunda, det enda gemensamma är att de båda är central opererande styrsystem.

in-context learning och one/few shot learning är exakt samma sak, det är in-context learning och det är inte inlärning utan kurvstyrning i attention mekanismen. Det är putsväck i så fort kontext fönstret har komprimerats, och det är dessutom något som enbart är en artifakt av attention mekanismen.

Är detta tekniken du så varmt talar för är intelligent?

https://gemini.google.com/share/132fd9304ca5

Du är ju hopplös. Här har du en datavetare att ta lärdom ifrån.

https://calnewport.com/scholarship/
https://calnewport.com/superintelligence-is-a-fairy-tale-but-chasing-it-can-still-cause-harm/

Du skriver ju AI-slop. Inga källor, ingenting. Och nej, det hjälper inte att skriva källa: eftersom all er jävla AI-slop så sällan finns belagt i källan, eller så är det så snedvridet att det inte går ihop med källans andemening. Och vem orkar tröska igenom er AI-skit för att högst EVENTUELLT finns ut att "lite" grann av det ni säger stämmer.

Jag skrev utifrån egen erfarenhet av vad vi använder atörtificielka neurala nätverk till på jobbet (undervisar om saken). Det borde vinte vara kontroversiellt.

Min beskrivning av hjärnan är mina egna hypoteser. Är det något särskilt som lät tveksamt? Jag brukar be ai faktagranska och ändra t.ex. högst 5 grejer i mina inlägg så att det fortfarande är mina tankar. Eftersom det blev stavfel här så har jag uppenbart ändrat efteråt och slarvat med ai-granskningen den här gången.

Min poäng var att ANN har ingen mekanism som liknar våra kemiska signalsubstanser dvs våra varierande känslotillstånd. ANN liknar bara de elektriska signalerna i vår hjärna och hur våra neuroner växer och förändras vid inlärning.

Så är det. Skeptikerna måste förstå att träningen av ANN kan leda till nästan allt som de kan tänka sig men också sådant som är extremt svårt och smärtsamt att föreställa sig. Nya nivåer av grymhet, likgiltighet och illvilja som ligger bortanför deras värsta mardrömmar. Det är också viktigt att förstå att de här riskerna inte försvinner när vi använder trevliga etiketter som "språkmodell" eller "hjälpsam assistent". Våra etiketter påverkar inte på något sätt vad modellerna är kapabla till. Huruvida AGI blir medveten eller inte är också ganska meningslöst att dividera om i det här läget. Det finns ju inget som tyder på att en omedveten AGI på något sätt skulle bli ofarlig.

Du anser vad?

Svenska por favor.

Jag skulle aldrig använda AI för faktakontroll. Det är just där det blir så fel och därför så idiotiska att slösa sin tid på Chatt GPT för att kolla upp ett symtom (man går direkt till Internetmedicin, FASS, m.m som redan är faktakollade). Ansedda tidskrifter som The Lancet -ansedda just för att författarna där BETALAR bara för att ens publiceras där - har nu lagt till en extra ruta längst ned till sina artiklar. Efter rutan där de svär sig fria från att ha någon koppling till de läkemedel eller terapier som beskrivs - finns nu en ruta där författarna och medförfattarna svär på heder och samvete att de inte någonstans använt Chatt GPT vid redigeringen av artikeln.

Alla publikationer behöver naturligtvis inte göra så. Om man läser Stoppa pressarna gör man det säkert för nöjes skull, men det är skillnad.

Du menar ungefär att dagens AI-system använder ett slags fusk och därför bör de inte räknas som intelligenta? Om de inte hade "fuskat" och fungerat mer som ChatGPT-3.5 med bara "one-shot" funktionalitet då hade de kanske räknats som intelligenta men nu när de "fuskar" med loopar, agenter och skills, då räknas det inte. Alla måste följa din nidbild av vad ett AI-system borde vara annars blir de diskvalificerade? Och vi som inte förstår de här självklarheterna är efterblivna och utvecklingsstörda?

Får väl rekommendera dig med en artikel om hur billigt dagens "AI-system" funkar:

https://calnewport.com/anthropic-just-threatened-to-kill-billions-of-people-this-is-not-okay/