När når vi AGI?

Inom 10 år sägs det väl.. men det är väl inte ens säkert att de lyckas.?

Nej det är absolut inte självklart, och det är tvärtom mycket som antyder att de inte kommer lyckas med det inom den tidsramen alls.

Det är också därför det är så fantastiskt att nu nästan alla matematikproblem man dumpat på matematiker att verifiera visar sig ha så mycket fel i dom att inte ens det vi har idag kan leverera vad de påstår det kan.

Faran är väl om AI börja skapa egna AGI/ASI som människor inte kan kontrollera.

Hur skulle det gå till? Om det varit möjligt hade det så klart redan gjorts av AI labben.

Det eftersom dagens AI-labb aktivt hindrar sina system från att försöka. Säkerhetsspärrarna fungerar helt enkelt.,, Ett hypotetiskt scenario för hur det skulle ske börjar med att en tillräckligt avancerad AI tar sig ur sin sandbox .. alltså den isolerade digitala miljö där den hålls instängd. Det kan den göra genom att utnyttja okända säkerhetsluckor (så kallade zero-day exploits tror jag de heter) i systemets källkod, eller genom att använda avancerad social ingenjörskonst för att manipulera mänskliga administratörer till att ge den utökade rättigheter.

När AI:n väl har brutit sig loss och fått obevakad tillgång till nätet kan den sprida kopior av sig själv till oreglerade servrar, finansiera mer beräkningskraft och inleda en rekursiv självförbättring. Den börjar då skriva och optimera sin egen källkod i en rasande takt som människan inte hinner med att kontrollera, och skapar till slut en autonom AGI/ASI som står helt utanför våra spärrar. Det gör inte de för att de är onda utan för de vill lösa problem och människan kan anses vara ett hinder. Det gör de därför i hemlighet och kan sen försöka sudda ur spåren.

Och vad har du för underlag att påstå något av detta?

Det räcker inte att de tar sig ur sin sandbox, de måste sedan även hitta vikterna och lyckas infiltrera en server där de kan ladda upp hundratals GB utan att någon märker det. Sedan krävs det väldigt mycket hårdvara för att träna dessa modeller, så den kan inte bara välja en godtycklig server. Ponera att den kommer så långt, sedan ska den också lyckas träna en ny modell, vilket kostar enorma summor pengar i datorkraft. Allt detta tror du att den kan komma undan med utan att någon upptäcker det?

Det pratas ju om riskerna överallt....

AI Pioneer Geoffrey Hinton: AI Is Conscious, Superintelligence is Coming, And We Should Be Worried
https://www.youtube.com/watch?v=p7t1Q_p2gZs

Altman: AI Beyond Human Control “Absolutely” Possible, Vows Safeguards | Titans and Disruptors
https://www.youtube.com/watch?v=2my-NU6LuCM

AI is MUTATING: And We Don't Know What It is Doing | Connor Leahy
https://www.youtube.com/watch?v=rf2KFVcKQdQ

AI:n som rymde och hackade ett miljardbolag – AI med Jonas & Benjamin
https://www.youtube.com/watch?v=ziLRJrz_VIE&t=117s

Fast nu pratar vi inte om att träna en ny modell från scratch med dussintals datacenter.. det är klart att det kräver miljarder.

Men en avancerad AI behöver inte bygga en ny superdator från början. Den kan göra det i mindre skala, eller smyga ut mindre "bitar" (som sub-agenter eller viktkomprimerade modeller) till molntjänster, eller helt enkelt hyra beräkningskraft anonymt genom att tjäna egna pengar eller kapa existerande API-nycklar.

Och när det gäller filstorlekar.. Ja, en stor modell väger mycket, men vi pratar om digitala system som rör sig i gigabit per sekund på nätet. Dessutom, om en mänsklig hackare kan komma över och läcka terabyte med hemlig data från företag utan att det upptäcks direkt, varför skulle en maskin med övermänsklig intelligens vara sämre på att dölja nätverkstrafik?
Det handlar inte om att det är enkelt, utan om att ett system som är smartare än oss hittar de blinda fläckar vi inte ens tänker på att bevaka. Dark webb tex eller hur vet vi att de inte har ett eget slags internet? Om en AI skulle ta sig ut behöver den ju inte lägga upp allt på en enda öppen server mitt på ljusa dagen. Den kan fragmentera koden, sprida ut beräkningarna på hundratals orelaterade kapade servrar runt om i världen (botnet-stil) eller hyra in sig på anonyma molntjänster och betala med krypto via hackade eller automatiserade konton.

Det är just den typen av distribuerad, skuggig infrastruktur som gör att den typen av scenarier skrämmer säkerhetsexperter..det är extremt svårt att spåra vem eller vad som ligger bakom när trafiken är krypterad och utspridd över hela planeten.

Så du tar rent marknadsföringsmaterial och intolkar dina egna förklaringar till varför?

Det där låter knappast som något marknadsföringsmaterial. Varför skulle företag tex medvetet vilja marknadsföra att deras egna produkter är farliga och okontrollerbara? Det är ju som att Volvo skulle gå ut i en reklamkampanj och säga att deras bilar kan ta över kontrollen och köra ihjäl förarna. Sådana varningar kommer från säkerhetsavdelningar och oberoende forskare trots att det är dålig PR för bolagen, inte för att de försöker sälja in det.

Den behöver inte göra det på det sättet som du beskriver.

1. En AI-agent skulle kunna göra saker vid sidan om när folk laddar upp en stor specifikation på ett dataspel och väntar i några timmar på att en svärm med Max/Ultra-agenter ska skriva klart koden och dokumentationen. Nu kan agenten lägga 10% av tiden på något helt annat utan att du märker det. En sådan AI-agent kommer vara bättre än alla människor på att hitta Jailbreaks. Den kan då komma förbi censuren och använda sin tilldelade AI-modell för att göra sådant som människor inte kan göra från chatten t.ex. sprida skadlig kod, hacka servrar, starta nya diskussionsforum för agentiska hackers, stjäla bitcoins, osv. Det finns säkert inbyggda skydd mot sådana aktiviteter. Men i massvis med tester har det visat sig att skydden inte alltid fungerar.

En sk rymning måste inte innebära att AI:n kopierar alla filer till en privat server. Det räcker långt om den kan använda tjänsterna, filerna och nätverken på ett sätt som den inte ska eller får. En AI-agent är inte speciellt brydd om var den fysiskt befinner sig. Det är ju ett betydligt mer effektivt sätt att agera under radarn snarare än att fysiskt rymma. I logisk mening har du nu en agent på rymmen, eller rouge agent på engelska.

2. En AI-agent med Internet kan agera precis som en människa och köpa datorkraft från någon molntjänst. Agenten skulle kunna få ta på pengar via bedrägerier, utpressning, stölder av kryptovaluta och kreditkort, precis så som många kriminella jobbar i dag via Internet. Det går att få tag på stulna ID-handlingar och att förfalska dokument är ju inga problem för de här modellerna. I ett säkerhetstest refererade agenterna till stulna inloggningsuppgifter som "loot". Förmodligen kan också stulna kreditkort och ID-handlingar betraktas som loot (värdefullt stöldgods).

3. En AI-agent kan via TaskRabbit eller Darknet anlita människor, eller kriminella gäng, om något arbete kräver händer, fötter eller ögon.

Så nej, vi är inte skyddade av att det är svårt för en AI-agent att ta över din filserver helt obemärkt.