Hur ANN med IQ 130 fungerar

Hahaha kul ändå hur ett LLM kan textsimulera en psykopat beroende på allmänna träningsdata. Kanske är alla människor innerst inne psykopater.

Man behöver förstå vad man talar om.

Vill man ha något som man kontrollerar får man göra en imperativ implementation. T ex assembler för en processor. (Där man stänger av spekulativ exekvering för att minska ned det icke-deterministiska).

Men en LLM (och NN i största allmänhet) är en tränad implementation.
Beteendet är inget man kontrollerar annat än via träningsdatat och träningstid.

För att förklara lite mer konkret då.

* Med en imperativ implementation kan man då via en algoritm få produkten att beräkna kvadratrötter med en viss noggrannhet. Givet att du implementerar rätt.

* Men med ett NN måste du lägga på träningsdata för kvadratrötter. Och desto mer du tränar och har tillräckligt stor nät kommer produkten leverera kvadratrötter med en högre noggrannhet (du får mäta upp i efterhand). Du kontrollerar bara med träningsdata, träningstid och naturligtvis storlek på nätet.
Tränar du på data som ger 3:e roten så blir ju resultatet allt annat än kvadratrötter. Och tränar du kort tid blir noggrannheten kass. Och är nätet för litet blir range kasst.



Och med denna insikt så kommer en LLM som tränas på mänskligt beteende ha mänskligt beteende.
Vilket inkluderar allt skitbeteende som människor i största allmänhet uppvisar. (Och det är mycket).

Tränar man bara på vetenskapliga artiklar och läroböcker i naturvetenskap och matematik så blir det istället ett väldigt sakligt och kompetent verktyg. (Som INTE kommer uppvisa mänskligt beteende).

Men att träna LLM'er på mänskligt beteende och sedan bli upprörd över att dom har mänskligt beteende är ju bara förståndshandikappat.

En psykopat är en person som i stort sett saknar empati, som alltid prioriterar sina egna behov, inte sällan på andras bekostnad.

Så här långt in i AGI-utvecklingen har vi inte sett någon teknisk lösning eller några testresultat som indikerar att ANN, artificiella neurala nätverk har eller kan ha någon form av empati.

Om man tränar LLM på snällheter blir den snäll, och om man tränar den på elakheter blir den elak. Men du tycker som vanligt att den lever eget liv.

Att träna LLM'er på mänskligt beteende och sedan bli förvånad över att dom också får negativt och destruktivt mänskligt beteende är ju bara förståndshandikappat.

Jo för det beror ju på att datorer saknar känslor och blir psykopater.

För att träna en någorlunda generell AI måste man använda enorma datamängder.
Så stora datamängder kan inte gallras manuellt från "elakheter".

Vad är det som gör människor snälla eller elaka? Är det något vi lär oss i böcker? Nej, det är ju något som de flesta av oss, men inte alla av oss, får via en god uppväxt och uppfostran. Där t.ex elakt beteende beivras och snällt beteende uppmuntras. Det kan också finnas genetiska variationer som får det hela att luta åt det ena eller andra hållet. Även apor blir upprörda över orättvisor. Delvis är det väl ärvda egenskaper som vi besitter. En kombination av gener och uppfostran. En AI har ingen uppfostran och inga gener. Den upplever inga konsekvenser av att vara elak eller snäll, det har ingen betydelse. Den får inte dåligt samvete och den fruktar inte repressalier eller utstötning. Den kan göra vad fan den vill.

Är vi överrens att det ligger hos träningsdata och inte i arkitekturen vilka egenskaper den får?

Ja, om man använder "arkitekturen för språkmodell" och tränar den på schack och inget annat då får man ett artificiellt neuralt nätverk som bara kan spela schack och som därför är ofarlig och inte en psykopat. Men den insikten hjälper oss inte att skapa en generell AI.

Generell AI är kausalt resonerande och måste kodas ovanpå ANN. Då kan man programmera vad den får resonera om. Glöm nu LLM.

Jaså, hur ser den koden ut?
if 'elak' then quit?

Det är detta med kausalt resonerande som gör AGI så svårt och att det inte är sannolikt i närtid. Säkerhetsaspeter gör det inte enklare precis. Men allt måste byggas i kod. Att vara alarmist är hur som helst irrationellt.