Hur ANN med IQ 130 fungerar

De använder Reinforcement Learning. Men det leder ju inte till en tillräckligt säker AI.

Därav att man behöver komma på något bättre, eller åtminstone ändra vad som belönas så att de optimerar t.ex. tillvägagångssätt över enbart resultatet.

OK, men då håller du egentligen med mig om att det vore klokt att pausa AI-utvecklingen nu för att vi först måste hitta bättre sätt för att skapa en säker och ofarlig AI? En AI som gör det som vi vill att den ska göra och som inte hittar på några dumheter som dataintrång, osv?

Det är ju en del i utvecklingen att hitta nya algoritmer och arkitekturer, så jag ser väl inte att lösningen är att helt pausa utvecklingen. Vi har heller inte hört talas om att kommersiella modeller har begått brott, utan än verkar det vara isolerat till modeller under utveckling. Den säkerhet som finns på plats idag ser därmed ut att vara tillräcklig för att förhindra brottslig användning.

Det verkar heller inte särskilt klokt att pausa utvecklingen eftersom att vi då riskerar att halka efter de som ändå struntar i någon eventuell överenskommelse.

Tandkrämen är redan ute ur tuben, så att säga.

Det går tyvärr inte att konstruera en "perpetual security machine" med säkerhetsspärrar/censurfilter som alltid fungerar och som aldrig innehåller något fel. När AGI/ASI blir aktuellt kan vi inte längre konstruera censurfilter som håller. Vi kan inte överlista en ASI. Detta här är inte ett svårt problem, det är omöjligt.

Som sagt, än så länge verkar det vara tillräckligt eftersom vi inte hört talas om några allvarliga incidenter med kommersiella modeller.

Genom att t.ex. stifta lagar om att AI-säkra IT-system där mångmiljonviten utfärdas vid bristande efterlevnad (återigen, likt NIS2 eller GDPR) kan man åtminstone göra det avsevärt svårare för en AGI/ASI att komma åt kritisk infrastruktur.

Även om t.ex. EU inte kan tvinga företag från länder utanför EU att följa dess riktlinjer så kan de utfärda handelsförbud för dessa företag inom EU, vilket har visat sig vara effektivt i ovan nämnda fall.

Det spelar ingen roll. De kan inte klara sitt uppdrag om de ska stå upp mot en ASI som är många gånger bättre än de bästa människorna på cybersäkerhet. Och där är vi ju redan, i stort sett. Att vara överlägsen på cybersäkerhet innebär ju också att det blir svårt, eller snarare omöjligt att göra något åt brottsligheten när AI:n också överlistar polisen.

Lösningen är väl att använda ASI för att säkra all kritisk infrastruktur.

Det kommer man nog att försöka med, ja. I brist på bättre förslag.
Men hur stabilt blir det i längden när man anlitar djävulens advokat?

Det kommer garanterat gå åt helvete.

Max Tegmark har nu höjt siffrorna på chansen att det går åt helvete till 90%.

Väldigt bra 1h+ klipp mellan Max och Roman.

https://youtu.be/ZO38I5UZBpg

Det känns bra detta 😅.

Jag är också 90 % säker på att det går åt helvete om vi blir invaderade av en superintelligent utomjordlig ras, eller om det uppstår en ny pandemi med något virus som vi inte lyckas uppfinna ett vaccin emot.

Spekulationer...