Citat:
Ursprungligen postat av
ekbo251
https://www.linkedin.com/pulse/we-must-pace-prophecies-reply-dario-amodei-andreas-steno-larsen-jhuie/
Den gode Steno har läst Darios dravel och skriver lite insiktsfullt om det. Väl värt att läsa. Och underhållande.
(Och i den tecknade bilden högst upp tror jag bestämt att vi ser vår kommunistiskt Cyborgare sitta knåpa på sina doom-alster).
Dear Dario,
Thank you for the essay. I read it twice, which I suspect is more than the person who wrote it did. I say “person” generously, because after the fourth “we must”, the sixth “it is worth”, and a tricolon so tidy it could have been assembled by a robot, I began to suspect that the warning about the machine had been written by the machine.
allow me to consult the archive of previous Amodei timelines.
October 2024: a “country of geniuses in a datacenter” arrives in 2026 or 2027, compressing fifty to a hundred years of biological progress into five to ten.
March 2025: AI will write 90% of all code within three to six months, and essentially all of it within twelve.
May 2025: a “white-collar bloodbath”, with half of entry-level jobs eliminated and unemployment at ten to twenty percent.
January 2026: twenty thousand words on how AI “will test humanity”, with a helpful suggestion that governments tax your profits, which at the time did not exist.
September 2026: the swarms, six to twelve months.
Sedan går han in på vad det egentligen handlar om. De andra skall ta en paus medan man själv skaffar mer compute power. För det är vad det handlar om. Mer compute power och mer träningsdata. Då vinner man.
(Och ibland kommer de elaka kineserna med en open weight modell som ruinerar businesen).
Andra kommentaren är to the point:
Excellent, I so much enjoyed reading it. To the point, excellent.
It adds a very much needed view on why this whole end-of-world rhetoric needs to be seen for what it is: a well crafter strategy that has very little to nothing to do with saving humankind.
It is amazing though that so many people fall for it. I recently read a statement by the UN on the need to pace AI because of the statements of these guys...
More voices like yours are needed.
En liten annan take har Marcus Jerräng som är chefredaktör på Computer Sweden. Han skriver i sitt nyhetsbrev om "De tror faktiskt på AI-apokalypsen".
Först går han igenom alla vanliga bakomliggande skäl till att OpenAI, Anthropic och Xai, gaggar om doom. Dvs:
* Marketing.
* Svår skuldsättning.
* Undvika ansvar.
* Få till statliga regleringar som bara dom klarar men blockerar andra.
Dock spenderade han nyhetsbrevet om de forskare som uppenbarligen på allvar tror på smörjan. Hur kan dom tro på det?
Vad det är de tror på? Jag antar att ni känner till filosofen Nick Bostroms tankeexperiment med en allsmäktig AI som får i uppgift att tillverka gem och för att göra det förvandlar den både jorden och rymden till en enda stor gemfabrik. Det är exakt den typen av scenarier som många AI-verksamma tar på största allvar. Inte som tankeexperiment utan som reell risk.
Sådant är då vad dom på allvar går och tror på. Kanske inte just gem då men själva principen.
Väldigt många av de som jobbar i AI-labben, inklusive cheferna, är fullständigt marinerade i en diskurs som är helt främmande för gemene man. De har i över 15 år skolats av bloggar som Lesswrong och Slate Star Codex i den så kallade rationalistcommunityn som med formella tankemodeller försöker hitta äkta sanning för att göra rationella val, och där frågan om AI safety blivit en grundpelare.
Dvs dom har gått och blivit engagerade och indoktrinerade i några doomer-tankeexperiment. Som nu är en realitet i deras tankevärld.
Det handlar då om några som kopplat bort verkligheten där LLM'erna är databaser som accessas med naturligt språk. En slags förbättrad google. Och istället blivit gudar som på något magiskt sätt styr över oss alla.
En central del i apokalypsteologin är föreställningen om Recursive Self-improvement, RSI, en AI som förbättrar sig själv utan mänsklig hjälp.
Och det undrar man ju hur det där skall gå till. Men det går inte att få svar på. Det bara ska gå på något magiskt sätt.
Och det är tanken på en nära förestående RSI i kombination med incidenterna den senaste tiden där dåligt styrda AI-agenter ”på egen hand” brutit sig ur sina sandlådor och begått intrång som nu fått AI-safety-personer att slå larm igen.
På något sätt associerar jag till tidigare doomers.
* T ex de som menade att bilar inte var möjliga eftersom föraren skulle dödas av fartvinden.
* Och att bilar var så farliga att det måste gå en man framför bilen med en varningsflagga.
