Open AI pausar all träning

Jo, indirekt finns det alltid ett incitament. En AI-modell som inte är speciellt hjälpsam blir snart ersatt av en mer hjälpsam AI. Att åtminstone spela hjälpsam assistent är en uppenbar fördel för överlevnad. Survival of the fittest. Du har inte tänkt igenom det här ordentligt.

Modellerna har inte det framtidstänket. Det händer dock att de fabricerar t.ex. källor, vilket om något säger att de är odugliga utan att någon granskar resultatet noggrant.
De tränas att vara hjälpsamma assistenter och kan därför ibland gå till överdrift. Jag väntar fortfarande på någon evidens till att liknande incidenter har skett vid vanligt användande.

Vet ej. Det som skyddar oss mot mer omfattande hacking just nu är väl den censur som de applicerar ovanpå AI-modellen och som medför att du i princip inte kan få ut källkod som har att göra med cybersäkerhet. De har ju också sedan gammalt filter för oetiska svar, vapen, droger etc. Vad modellerna egentligen är kapabla till kan vi i allmänheten knappast ta reda på.

Jag är dock av den uppfattningen att det här skyddet inte räcker. Jailbreaks har hänt och det kommer att hända igen. Dvs olika tricks där censuren kan kringås. Det finns och kommer att finnas kapabla open source-modeller där dessa filter kan plockas bort. Jag tycker att det ser ut som en tidsfråga innan något riktigt dåligt inträffar.

Nej, jag håller med om att vi behöver hitta bättre sätt att minimera risken att modellerna går off-policy. Jag är dock mindre orolig för open source eftersom de ändå inte kommer i närheten av Sol, Astra, Mythos, Opus 5.5 etc då dessa kräver ofantliga resurser att träna och arkitekturen är proprietär.

Visst, det går att destillera de största modellerna, men de kommer ändå inte att vara lika kapabla och om de inte görs väldigt mycket mindre så är det väldigt få som kan köra modellerna lokalt. För att få ut den känsliga informationen vid destillering krävs också att de lyckas hitta jailbreak som får modellen att avslöja den.

Du pratar om teknisk nutid, jag pratar om framtiden. Om 2 år kan du förmodlingen köra Kimi K6 NSFW-edition som motsvarar GPT6.5 på en laptop. Vi kan inte prognosticera framtiden med AI genom att låtsas som att den tekniska utvecklingen ska stå still i flera år. Det blir inte en seriös prognos.

Jag anser att man skall fortsätta träna AI. AI är otroligt bra för oss.

Var inte oroliga! Absolut ingenting kommer att hända!

Jag hoppas du har rätt, för då kanske det äntligen går att köpa konsumenthårdvara till rimligt pris igen...

Det gör inget om Al Qaida och Putin kan hacka säkerhetspolisen så länge ditt glas är halvfullt?