Kimi K3 vs Mythos - hacking skills

Här kan ni se att open source-modellen K3 är snarlik Mythos på benchmarks:

https://llm-stats.com/models/compare/claude-mythos-preview-vs-kimi-k3

Vad innebär det här för IT-säkerhet?

1. Mythos är bannad/censurerad, du kan inte använda den för att hacka en server, men du kan inte heller använda den för att skydda dig mot det.

2. K3 är inte bannad och inte censurerad. Om den är censurerad någonstans men open source, då kan man ju plocka bort censuren och sätta igång svärmar av AI-agenter som hackar servrar i princip lika framgångsrikt som Mythos, eller hur?

3. Det lutar åt att USA vill förbjuda K3 på samma grunder som de förböjd Mythos.
De kan ju egentligen inte det. USA kan inte stämma ett kinesiskt företag och IP-blockering håller ju inte p.g.a VPN.

Banned in the US — And It’s Bigger Than One AI Model
Washington is reigniting its push against Chinese open-weight AI, Kimi K3.

https://technosports.co.in/kimi-k3-could-be-banned-in-the-us/

Nu hamnar USA och amerikanska företag i en klurig situation. Hela världen har tillgång till Dataintrångs-AI Deluxe med mycket hög kompetens genom K3. Men amerikanska företag och myndigheter hinner inte skydda sig mot de nya hacken som K3 hittar. Och vad händer om 6-12 månader när K4-K5 är ännu bättre på detta.

Kommer det här att vara hållbart i längden eller lutar det mer åt att problemet eskalerar till en konflikt?


Yudkowsky told you so: 🤷🏻‍♂️

Machine Learning Expert Calls for Bombing Data Centers to Stop Rise of AI
He says that after AGI, "literally everyone on Earth will die."
https://futurism.com/ai-expert-bomb-datacenters

Naiva Trögfattarföreningens pushback:
"Ja, ja, ja, men om det blir WW3 p.g.a. detta då är ju det människans fel och inte maskinernas fel, alltså ingen risk med AI. Vi kör på som vanligt, gasen i botten" 🤷🏻‍♂️

Europa borde ge Iran lite kärnvapen och missiler ifall deras egna inte håller måttet, så kan de nukea USA, som ju är de enda som vill låta amerikansk ai löpa amok i världen.

Skitgubben Trump (ja han luktar tydligen avföring, googla) har ju bestämt att enskilda delstater i USA inte får införa begränsande lagstiftning om ai....

Kina har precis som Europa sträng lagstiftning kring ai, sägs det.

Bara det att Kimi k3 är gigantisk.

Följande gäller
Då hör det till saken att MB med 256 MB är max i marknaden för DDR5 minnen.

Dvs inte ens Q2 versionen ryms på det största maxbestyckade MB med DDR5.
Bara att glömma att köra lokalt.

Det är bara Nvidias serverkort (och mottsv) som kan köra åbäket.

Det går nog köra denna med betydligt lägre, det är en MoE med ca 50B aktiva experter per token men det kräver fortfarande bra hårdvara... Men skulle tro det är fullt möjligt med 3-4 5090 och cpu moe offloading, förmodligen inga hastighetsrekord men körbart.

Det finns terroristgrupper i världen som har tillgång till missiler, drönare och luftvärnskanoner. Du tror att det är omöjligt för dem att komma över en AI-server med 1 TB minne?

Vilka terroristgrupper har tillgång till missiler? luftvärnskanoner osv?
Drönare kan vem som helst slänga ihop, de har använt vanliga konsumentdrönare i ukraina kriget....

En server med 1 TB VRAM är något du behöver ha väldigt bra kontakter med, det är ganska bra reglerat vilka som får köpa och inte köpa kraftig beräkningshårdvara, det har det alltid varit.

Utöver det behöver de sätta upp bra kylning och ett mindre kraftverk för tex GB300 drar runt 120kW vid full belastning... det är inget du får ut ur ett vanligt eluttag.

Terroristorganisationer är ju kända för att vilja skylta med var de befinner sig, det är liksom lite av definitionen av terrorister att de inte vill synas förrän de orsakar skada.

Hamas, Hizbollah, Huti, Al Qaeda, Nordkorea, Iran, Ryssland m.fl.

Hälften av dessa är inte ens terrororganisationer. Nordkorea, Iran och Ryssland är länder som rimligtvis har försvar ja.

Hamas, Hizbollah och Hut>H<i är inte terrororganisationer utan väpnaderörelser, understödda av regeringar.

Den enda terrororganisationen du listar är Al Qaida och de har då tveksamt några missiler eller luftvärnskanoner.

Det är inte något problem när bad actors får tillgång till världens bästa hackingverktyg?
Det är viktigare att korrekt klassificera "terrororganisationer"?

Kimi k3 är en otroligt modell för att vara "öppen".

För en privatperson kan det nog vara en omöjlighet att bygga en burk som faktiskt levererar 256-512gb VRAM samt skapligt med beräkningskraft.

Men för ett mellanstort företag som omsätter några miljoner och har några anställda som kör Codex eller liknande modeller mot en kostnad kontinuerligt, då är en "enklare" server med 8-10st 32GB grafikkort en vettig investering och sedan köra en Q2 modell.

Otroligt frestande

Borde väl vara enklare att hyra in sig i ett datacenter som har t ex H100-kort.

Men hur mycket kostader det?

Jag tänker mig att det antagligen är dyrare än att bara betala för tokens?
(För likvärdiga svarstider).

Jag har provkört lokalt på min egen dator. Mindre modeller då på kanske 64 GB. Men svarstiderna är ju så man kan gå och ta en kaffe medan man väntar.

De som aldrig haft utrustning i den storleken förstår inte hur mycket som krävs.

Det låter enkelt ”köp en server plugga in i väggen” men då har man inte förstått detta är utrustning som ensamt drar ström som en mindre villa, behöver 3-fas, sannolikt helt omdragen elektronik, storskalig vattenkylning och klimatkontrollerad miljö.

Det är ett mångmiljonprojekt, hade det varit så jäkla lätt och billigt hade det aldrig ens gått konkurrera med cloud providers, de höjer inte sina priser för att jävlas utan för de blöder pengar och då pratar jag inte om de företag som själva tränar modeller, det finns massvis som bara har som affärsidé att hosta och tillhandahålla ”open source” modeller.

Men som sagt låt dom stå som fån inför företagsledningen när de lägger fram förslagen och inte gjort minsta research innan.