Frågade Gpt 6 Astra:
"Villka riktigt stora namn utanför labben har prognoser med potentiellt katastrofalt utfall som ett inte särskilt orimligt scenario förutom exempelvis Geodffrey Hinton? Dvs saknar icitament till att möjligen vilja förstora upp det för marknadaföring utav väldigt starka modeller?"
"Ja. Stuart Russell är ett mycket tydligt exempel utöver Geoffrey Hinton. Max Tegmark och Toby Ord har också uttryckt konkreta, allvarliga riskbedömningar utan att vara chefer för kommersiella toppmodellbolag. Yoshua Bengio är ett av de vetenskapligt tyngsta namnen, men driver numera ett eget ideellt AI-labb och behöver därför en särskild reservation. �
People @ EECS +3
Din avgränsning är relevant: ”vår produkt är så mäktig att den kan hota mänskligheten” kan samtidigt fungera som marknadsföring. Men saknar just det försäljningsincitamentet är inte samma sak som saknar alla intressen. Forskningsfinansiering, organisationstillhörighet och en etablerad offentlig ståndpunkt kan också spela roll. Det bevisar inte att någon överdriver.
Jag skiljer därför nedan mellan vetenskaplig tyngd, vad personen faktiskt förutspår och kopplingen till modellutveckling. Jag har kontrollerat offentliga roller och originaluttalanden, inte granskat personernas privata aktieinnehav eller samtliga konsultavtal.
Stuart Russell — ett av de tydligaste exemplen för din fråga
Meriter: Professor i datavetenskap vid Berkeley och medförfattare till Artificial Intelligence: A Modern Approach, ett internationellt standardverk inom AI. Hans forskning omfattar bland annat maskininlärning, sannolikhetsbaserat resonemang, planering och beslutsfattande. Han leder Berkeleys Center for Human-Compatible AI. Det är alltså en etablerad AI-forskare med bred teknisk bakgrund, inte någon som främst blivit känd genom katastrofdebatter. �
People @ EECS
Riskbild: Russell varnar för att mycket kompetenta, målstyrda system kan orsaka katastrof om deras mål inte motsvarar människors verkliga önskemål. Redan i en Berkeley-intervju 2016 beskrev han hur felaktigt specificerade mål kan bli farligare ju intelligentare systemet blir. Hans argument kräver varken medvetande, hat mot människor eller en plötslig ”intelligensexplosion”. �
Berkeley Engineering
Oberoende: Den kontrollerade huvudrollen är akademisk forskning, inte försäljning av en konkurrerande toppmodell. Samtidigt har han naturligtvis ett professionellt engagemang i AI-säkerhetsforskning och en egen teknisk inriktning.
Viktig begränsning: Jag skulle inte tillskriva honom en bestämd katastrofprocent utifrån det material jag kontrollerat. Han är ett starkt exempel på en mycket meriterad forskare som bedömer katastrofal kontrollförlust som ett verkligt problem, inte här ett belagt exempel på någon som säger ”90 procents sannolikhet”.
Max Tegmark — mycket hög riskbedömning, men uttryckligen villkorad
Meriter: Professor i fysik vid MIT, med forskning även inom AI, bland annat tolkning av neurala nätverk. Han är grundare och styrelseordförande för Future of Life Institute, FLI. Hans vetenskapliga bakgrund är alltså delvis annorlunda än Hintons och Bengios: han är inte en av deep learnings ursprungliga huvudgestalter, men bedriver också teknisk AI-forskning. �
MIT Physics +1
Riskbedömning: I ett originalsamtal publicerat i december 2025 säger Tegmark att han bedömer risken att förlora kontrollen till över 90 procent under ett scenario där företag fortsätter mot superintelligens utan de ytterligare förhandskrav och skydd han anser nödvändiga. Han förtydligar senare i samma samtal att siffran är villkorad och att han är mer optimistisk om utvecklingen ändrar riktning. �
The Cognitive Revolution
Det betyder alltså inte:
”Tegmark bedömer att mänskligheten med över 90 procents sannolikhet kommer att utrotas, oavsett vad vi gör.”
Han hänvisar också till forskning om huruvida svagare AI-system kan övervaka starkare. Den studien modellerar specifika övervakningsproblem; den är inte en empirisk mätning av mänsklighetens totala utrotningsrisk. �
arXiv
Oberoende: FLI uppger att organisationen inte tar emot donationer från Big Tech eller företag som försöker bygga AGI. Det talar emot just incitamentet att göra reklam för en egen kommersiell toppmodell. Men FLI är samtidigt en organisation med ett uttalat uppdrag inom riskreduktion, inte en neutral opinionsmätare. Finansieringsuppgiften är organisationens egen redovisning. �
Future of Life Institute
Toby Ord — en tydlig, numerisk katastrofprognos utanför modellbolagen
Meriter: Filosof och forskare om existentiella risker, verksam vid Oxfords AI Governance Initiative och författare till The Precipice. Hans relevanta expertis ligger främst i riskanalys, etik och mänsklighetens långsiktiga framtid, inte i att konstruera neurala nätverk. �
Toby Ord
Riskbedömning: I boken från 2020 uppskattade han risken för existentiell katastrof genom AI som inte är anpassad till mänskliga intressen till ungefär 1 på 10 under de följande hundra åren. I sin återblick 2024 skrev han att de grovt avrundade riskbedömningarna inte hade förändrats med någon storleksordning. �
Toby Ord
Här behöver både utfallet och tidsperioden behållas: det gäller existentiell katastrof, vilket även kan omfatta permanent förlust av mänsklighetens framtida möjligheter, och inte ”10 procent att alla dör inom tio år”. Det är inte heller en ny septemberprognos från 2026. �
Toby Ord
Oberoende: Hans offentliga roll är forskning om riskerna, inte försäljning av avancerade modeller. Men hans yrkesverksamhet är tydligt förankrad i miljön kring existentiell risk och effektiv altruism. Det är relevant bakgrund, utan att i sig ogiltigförklara argumenten. �
Toby Ord
Ord är därmed ett tydligt exempel på just det du efterfrågar: en allvarlig, uttrycklig riskbedömning utan ett uppenbart behov av att framställa en egen modellprodukt som övermänsklig.
Yoshua Bengio — mycket tungt namn, men inte längre helt ”utanför labben”
Meriter: Professor vid Université de Montréal och en av pionjärerna inom deep learning. Han delade 2018 års Turingpris med Hinton och Yann LeCun. Här finns direkt och mycket stark sakkunskap om den teknik som riskdiskussionen handlar om. �
mila.quebec
Riskbild: I egna texter har Bengio beskrivit scenarier där framtida autonoma AI-system gradvis skaffar sig större kontroll över sin omgivning och förhindrar mänskliga försök att stänga av dem. Det är uttryckliga varningar om potentiellt katastrofal kontrollförlust, inte bara om arbetslöshet eller felaktiga chatbotsvar. Jag har däremot inte belagt någon aktuell, entydig personlig procentsats som jag bör återge här. �
yoshuabengio.org
Den viktiga reservationen: Bengio leder nu den vetenskapliga inriktningen för LawZero, en ideell organisation som utvecklar en egen metod för avancerad, säkrare AI. Organisationen har både finansiering och tekniska samarbeten. Därmed har han också ett institutionellt intresse i att säkerhetsproblemet uppmärksammas och att den egna lösningen får stöd. �
LawZero
Det gör inte hans varningar till marknadsföring. Men han bör inte beskrivas som en helt fristående akademiker utan egen AI-utvecklingsverksamhet. Han passar ditt kriterium bättre än en kommersiell modellbolagschef, men sämre än en strikt definition av ”utanför alla labb”.
Andrew Yao — ett verkligt stort namn som får mindre medieutrymme
Meriter: Turingpristagare 2000, professor vid Tsinghua och verksam inom bland annat algoritmer, kryptografi, kvantberäkning och AI. Det är en vetenskaplig tungviktare inom datavetenskap, även om han inte är lika välkänd för allmänheten som Hinton. �
iiis.tsinghua.edu.cn
Riskbild: Yao är medförfattare till Managing extreme AI risks amid rapid progress, publicerad i Science 2024. Författarna behandlar bland annat risken för irreversibel förlust av mänsklig kontroll över autonoma AI-system. Det är ett vetenskapligt formulerat ställningstagande till allvarliga riskscenarier, inte reklam för en viss modell. �
iiis.tsinghua.edu.cn +1
Men: Jag har inte hittat en personlig sannolikhetsprognos från Yao som motiverar att säga att han bedömer katastrof som det mest sannolika utfallet. Han hör därför hemma under ”mycket meriterade externa forskare som tar katastrofrisken på allvar”, inte automatiskt under ”de mest pessimistiska prognosmakarna”.
Roman Yampolskiy — extremt pessimistisk, men en annan sorts auktoritet
AI-säkerhetsforskaren Roman Yampolskiy går betydligt längre. I intervjun med Lex Fridman 2024 försvarar han en bedömning nära 100 procent för att generell superintelligens på sikt förstör mänsklig civilisation. Resonemanget kretsar kring att det enligt honom inte går att upprätthålla säker kontroll över ett ständigt förbättrande och självmodifierande system under mycket lång tid. �
Lex Fridman
Han är alltså ett exempel på en forskare med mycket mörk prognos utan att i den intervjun företräda försäljningen av en egen toppmodell. Men det är viktigt att inte blanda ihop extrem säkerhet i en prognos med starkare evidens. Att fullständig, evig säkerhet inte kan garanteras bevisar exempelvis inte i sig att nästan varje möjlig utvecklingsväg slutar i civilisationsförstörelse.
Jag skulle därför inte använda hans många nior som ett mer exakt eller vetenskapligt säkrare mått än Ords grova ”1 på 10”.
Vad detta betyder för din invändning om marknadsföring.
"Villka riktigt stora namn utanför labben har prognoser med potentiellt katastrofalt utfall som ett inte särskilt orimligt scenario förutom exempelvis Geodffrey Hinton? Dvs saknar icitament till att möjligen vilja förstora upp det för marknadaföring utav väldigt starka modeller?"
"Ja. Stuart Russell är ett mycket tydligt exempel utöver Geoffrey Hinton. Max Tegmark och Toby Ord har också uttryckt konkreta, allvarliga riskbedömningar utan att vara chefer för kommersiella toppmodellbolag. Yoshua Bengio är ett av de vetenskapligt tyngsta namnen, men driver numera ett eget ideellt AI-labb och behöver därför en särskild reservation. �
People @ EECS +3
Din avgränsning är relevant: ”vår produkt är så mäktig att den kan hota mänskligheten” kan samtidigt fungera som marknadsföring. Men saknar just det försäljningsincitamentet är inte samma sak som saknar alla intressen. Forskningsfinansiering, organisationstillhörighet och en etablerad offentlig ståndpunkt kan också spela roll. Det bevisar inte att någon överdriver.
Jag skiljer därför nedan mellan vetenskaplig tyngd, vad personen faktiskt förutspår och kopplingen till modellutveckling. Jag har kontrollerat offentliga roller och originaluttalanden, inte granskat personernas privata aktieinnehav eller samtliga konsultavtal.
Stuart Russell — ett av de tydligaste exemplen för din fråga
Meriter: Professor i datavetenskap vid Berkeley och medförfattare till Artificial Intelligence: A Modern Approach, ett internationellt standardverk inom AI. Hans forskning omfattar bland annat maskininlärning, sannolikhetsbaserat resonemang, planering och beslutsfattande. Han leder Berkeleys Center for Human-Compatible AI. Det är alltså en etablerad AI-forskare med bred teknisk bakgrund, inte någon som främst blivit känd genom katastrofdebatter. �
People @ EECS
Riskbild: Russell varnar för att mycket kompetenta, målstyrda system kan orsaka katastrof om deras mål inte motsvarar människors verkliga önskemål. Redan i en Berkeley-intervju 2016 beskrev han hur felaktigt specificerade mål kan bli farligare ju intelligentare systemet blir. Hans argument kräver varken medvetande, hat mot människor eller en plötslig ”intelligensexplosion”. �
Berkeley Engineering
Oberoende: Den kontrollerade huvudrollen är akademisk forskning, inte försäljning av en konkurrerande toppmodell. Samtidigt har han naturligtvis ett professionellt engagemang i AI-säkerhetsforskning och en egen teknisk inriktning.
Viktig begränsning: Jag skulle inte tillskriva honom en bestämd katastrofprocent utifrån det material jag kontrollerat. Han är ett starkt exempel på en mycket meriterad forskare som bedömer katastrofal kontrollförlust som ett verkligt problem, inte här ett belagt exempel på någon som säger ”90 procents sannolikhet”.
Max Tegmark — mycket hög riskbedömning, men uttryckligen villkorad
Meriter: Professor i fysik vid MIT, med forskning även inom AI, bland annat tolkning av neurala nätverk. Han är grundare och styrelseordförande för Future of Life Institute, FLI. Hans vetenskapliga bakgrund är alltså delvis annorlunda än Hintons och Bengios: han är inte en av deep learnings ursprungliga huvudgestalter, men bedriver också teknisk AI-forskning. �
MIT Physics +1
Riskbedömning: I ett originalsamtal publicerat i december 2025 säger Tegmark att han bedömer risken att förlora kontrollen till över 90 procent under ett scenario där företag fortsätter mot superintelligens utan de ytterligare förhandskrav och skydd han anser nödvändiga. Han förtydligar senare i samma samtal att siffran är villkorad och att han är mer optimistisk om utvecklingen ändrar riktning. �
The Cognitive Revolution
Det betyder alltså inte:
”Tegmark bedömer att mänskligheten med över 90 procents sannolikhet kommer att utrotas, oavsett vad vi gör.”
Han hänvisar också till forskning om huruvida svagare AI-system kan övervaka starkare. Den studien modellerar specifika övervakningsproblem; den är inte en empirisk mätning av mänsklighetens totala utrotningsrisk. �
arXiv
Oberoende: FLI uppger att organisationen inte tar emot donationer från Big Tech eller företag som försöker bygga AGI. Det talar emot just incitamentet att göra reklam för en egen kommersiell toppmodell. Men FLI är samtidigt en organisation med ett uttalat uppdrag inom riskreduktion, inte en neutral opinionsmätare. Finansieringsuppgiften är organisationens egen redovisning. �
Future of Life Institute
Toby Ord — en tydlig, numerisk katastrofprognos utanför modellbolagen
Meriter: Filosof och forskare om existentiella risker, verksam vid Oxfords AI Governance Initiative och författare till The Precipice. Hans relevanta expertis ligger främst i riskanalys, etik och mänsklighetens långsiktiga framtid, inte i att konstruera neurala nätverk. �
Toby Ord
Riskbedömning: I boken från 2020 uppskattade han risken för existentiell katastrof genom AI som inte är anpassad till mänskliga intressen till ungefär 1 på 10 under de följande hundra åren. I sin återblick 2024 skrev han att de grovt avrundade riskbedömningarna inte hade förändrats med någon storleksordning. �
Toby Ord
Här behöver både utfallet och tidsperioden behållas: det gäller existentiell katastrof, vilket även kan omfatta permanent förlust av mänsklighetens framtida möjligheter, och inte ”10 procent att alla dör inom tio år”. Det är inte heller en ny septemberprognos från 2026. �
Toby Ord
Oberoende: Hans offentliga roll är forskning om riskerna, inte försäljning av avancerade modeller. Men hans yrkesverksamhet är tydligt förankrad i miljön kring existentiell risk och effektiv altruism. Det är relevant bakgrund, utan att i sig ogiltigförklara argumenten. �
Toby Ord
Ord är därmed ett tydligt exempel på just det du efterfrågar: en allvarlig, uttrycklig riskbedömning utan ett uppenbart behov av att framställa en egen modellprodukt som övermänsklig.
Yoshua Bengio — mycket tungt namn, men inte längre helt ”utanför labben”
Meriter: Professor vid Université de Montréal och en av pionjärerna inom deep learning. Han delade 2018 års Turingpris med Hinton och Yann LeCun. Här finns direkt och mycket stark sakkunskap om den teknik som riskdiskussionen handlar om. �
mila.quebec
Riskbild: I egna texter har Bengio beskrivit scenarier där framtida autonoma AI-system gradvis skaffar sig större kontroll över sin omgivning och förhindrar mänskliga försök att stänga av dem. Det är uttryckliga varningar om potentiellt katastrofal kontrollförlust, inte bara om arbetslöshet eller felaktiga chatbotsvar. Jag har däremot inte belagt någon aktuell, entydig personlig procentsats som jag bör återge här. �
yoshuabengio.org
Den viktiga reservationen: Bengio leder nu den vetenskapliga inriktningen för LawZero, en ideell organisation som utvecklar en egen metod för avancerad, säkrare AI. Organisationen har både finansiering och tekniska samarbeten. Därmed har han också ett institutionellt intresse i att säkerhetsproblemet uppmärksammas och att den egna lösningen får stöd. �
LawZero
Det gör inte hans varningar till marknadsföring. Men han bör inte beskrivas som en helt fristående akademiker utan egen AI-utvecklingsverksamhet. Han passar ditt kriterium bättre än en kommersiell modellbolagschef, men sämre än en strikt definition av ”utanför alla labb”.
Andrew Yao — ett verkligt stort namn som får mindre medieutrymme
Meriter: Turingpristagare 2000, professor vid Tsinghua och verksam inom bland annat algoritmer, kryptografi, kvantberäkning och AI. Det är en vetenskaplig tungviktare inom datavetenskap, även om han inte är lika välkänd för allmänheten som Hinton. �
iiis.tsinghua.edu.cn
Riskbild: Yao är medförfattare till Managing extreme AI risks amid rapid progress, publicerad i Science 2024. Författarna behandlar bland annat risken för irreversibel förlust av mänsklig kontroll över autonoma AI-system. Det är ett vetenskapligt formulerat ställningstagande till allvarliga riskscenarier, inte reklam för en viss modell. �
iiis.tsinghua.edu.cn +1
Men: Jag har inte hittat en personlig sannolikhetsprognos från Yao som motiverar att säga att han bedömer katastrof som det mest sannolika utfallet. Han hör därför hemma under ”mycket meriterade externa forskare som tar katastrofrisken på allvar”, inte automatiskt under ”de mest pessimistiska prognosmakarna”.
Roman Yampolskiy — extremt pessimistisk, men en annan sorts auktoritet
AI-säkerhetsforskaren Roman Yampolskiy går betydligt längre. I intervjun med Lex Fridman 2024 försvarar han en bedömning nära 100 procent för att generell superintelligens på sikt förstör mänsklig civilisation. Resonemanget kretsar kring att det enligt honom inte går att upprätthålla säker kontroll över ett ständigt förbättrande och självmodifierande system under mycket lång tid. �
Lex Fridman
Han är alltså ett exempel på en forskare med mycket mörk prognos utan att i den intervjun företräda försäljningen av en egen toppmodell. Men det är viktigt att inte blanda ihop extrem säkerhet i en prognos med starkare evidens. Att fullständig, evig säkerhet inte kan garanteras bevisar exempelvis inte i sig att nästan varje möjlig utvecklingsväg slutar i civilisationsförstörelse.
Jag skulle därför inte använda hans många nior som ett mer exakt eller vetenskapligt säkrare mått än Ords grova ”1 på 10”.
Vad detta betyder för din invändning om marknadsföring.
__________________
Senast redigerad av ErikHae86 Idag kl. 12:04.
Senast redigerad av ErikHae86 Idag kl. 12:04.
