AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Gillar dit skrivande och tillbaka till verkligheten som måste betala för inhyrda modeller eller köra med egna lokala modeller som kompletteras med verksamhet och områden som man arbetar vidare med.
Modeller med olika abonnemang kan vara billiga ändå för en firma men någon måste betala dessa då serverhallar har sin kostnader som någon måste betala.
Att använda modellen utan resonerande eller multiresonerande. Ett tänkande i flera steg beroende på användningsområdet. Man säger också skräp in så skräp ut.

AI är på sikt lika transformativt som utvecklandet av kärnvapen och kärnenergi, det ritar om spelplanen, förändrar gränserna för vad som kan göras och hur det kan utföras, på många olika områden, Och i takt med att avancerade AI,metoder kopplas in på allt fler områden, från vård och militär till vetenskap och ekonomi, så ökar också insatserna (dvs riskerna). Det behövs inte så mycket fantasi för att inse att misstag eller lägen där AI gör andra prioriteringar än människor skulle ha gjort kan få förödande resultat.

Nyss var Jack Clark, en av grundarna för Anthropic, intervjuad på BBC; jag hoppas att de lägger upp videon så småningom, antingen på sin egen sajt eller på Youtube. Han sade helt riktigt att "om du har en varelse som är hundra gånger mer intelligent än den smartaste människan i världen så finns det en uppenbar risk att denna superintelligens bara viftar bort dig och andra människor" och att man behöver överväga inte bara ett krav på inbyggda kill-switches - en "strömbrytare" som snabbt kan stänga av AI-programmet i fråga - utan också behovet av att införa lagar på detta, och att kill-switchen ska vara snabbt verifierbar vid kontroll, eller vid tillverkning av t ex avancerade datorer med förladdad programvara. Det som egentligen skulle behövas är väl någonting i stil med IAEA för att hålla en viss kontroll på AI-köret - inte för att stoppa utbredningen, men för att se till att den fungerar på ett rimligt säkert sätt. Det lär dock varken Trump eller Xi Jinping gå med på.

Vi kan inte bygga en kill switch. En intelligens som är 10 eller kanske 1000 gånger bättre än oss på allt kommer inte att bli begränsad av det som vi tror är en kill switch. Vi är inte tillräckligt intelligenta för att bygga en perfekt och för alltid fungerande kill switch. Vi kan ju inte ens bygga säkra webbservrar och pakethanterare, som är mycket enklare att bygga än garanterat säker AI.

All vår säkerhet kommer visa sig vara falsk säkerhet.

Om allt skiter sig kan vi alltid köra en EMP på alla datacenter/megakluster. Problem solved.

Och det skapar inga nya problem om du döda alla datorer och hela Internet?

Säkert, men det är väl bättre än att dö?
Infrastrukturen kan vi ju bygga upp igen, även om det tar lite tid.

Poängen är att du alltid är så kategorisk i att det går inte att stoppa. Jag menar att så länge fysikens lagar gäller så kan vi det.

- Åh, nej vår AI rymde och hackade det ena och det andra.

- Åh. nej vår AI är så kraftfull och ett hot mot hela mänskligheten.

Det skall översättas till att i den här takten så bränner vi upp allt kapital och vi kan inte konkurrera med open source-modeller. Därför behöver vi myndigheternas hjälp att reglera dessa.

Givetvis marknadsför vi det som något helt annat.

Är det inte enklare att skapa avtal nu om AI-säkerhet än att senare försöka sabotera Internet med en EMP-attack som också måste samordnas internationellt?

Många vill ju skapa ett sånt avtal, men Trump vägrar ju.

Att skapa avtal är enkelt. Vad tänkte du att avtalet ska gälla, mer specifikt? Finns det några garantier där för att vi bara kan utveckla säker AI?

Det man egentligen behöver göra är att ta kontroll över tillverkningen av AI-chippen. Det är inte så svårt. Det finns bara ett enda företag i Nederländerna som kan tillverka de maskiner som tillverkar AI-chippen.

Det finns ingen teori för att utveckla någon säker AGI/ASI därför måste utvecklingen stoppas. Forskningen ska fortsätta men AGI som kommersiell produkt kan vi inte tolerera.

https://www.linkedin.com/pulse/we-must-pace-prophecies-reply-dario-amodei-andreas-steno-larsen-jhuie/
Den gode Steno har läst Darios dravel och skriver lite insiktsfullt om det. Väl värt att läsa. Och underhållande.

(Och i den tecknade bilden högst upp tror jag bestämt att vi ser vår kommunistiskt Cyborgare sitta knåpa på sina doom-alster).

Dear Dario,

Thank you for the essay. I read it twice, which I suspect is more than the person who wrote it did. I say “person” generously, because after the fourth “we must”, the sixth “it is worth”, and a tricolon so tidy it could have been assembled by a robot, I began to suspect that the warning about the machine had been written by the machine.

allow me to consult the archive of previous Amodei timelines.
October 2024: a “country of geniuses in a datacenter” arrives in 2026 or 2027, compressing fifty to a hundred years of biological progress into five to ten.
March 2025: AI will write 90% of all code within three to six months, and essentially all of it within twelve.
May 2025: a “white-collar bloodbath”, with half of entry-level jobs eliminated and unemployment at ten to twenty percent.
January 2026: twenty thousand words on how AI “will test humanity”, with a helpful suggestion that governments tax your profits, which at the time did not exist.
September 2026: the swarms, six to twelve months.

Sedan går han in på vad det egentligen handlar om. De andra skall ta en paus medan man själv skaffar mer compute power. För det är vad det handlar om. Mer compute power och mer träningsdata. Då vinner man.

(Och ibland kommer de elaka kineserna med en open weight modell som ruinerar businesen).


Andra kommentaren är to the point:

Excellent, I so much enjoyed reading it. To the point, excellent.
It adds a very much needed view on why this whole end-of-world rhetoric needs to be seen for what it is: a well crafter strategy that has very little to nothing to do with saving humankind.
It is amazing though that so many people fall for it. I recently read a statement by the UN on the need to pace AI because of the statements of these guys...
More voices like yours are needed.