Kimi K3 vs Mythos - hacking skills

Så är det – åtminstone delvis.

Men för oss som är lite äldre, byggde våra egna datorer som barn och senare har byggt och driftat servrar i yrkeslivet, blir det här snarare en rolig utmaning. Äntligen något där man inte redan kan exakt allt från början. Förutsatt att ekonomin finns, förstås.

I min lokala utvecklingsserver kör jag exempelvis fyra RTX 5070 Ti, alltså totalt 64 GB VRAM, över vanliga PCIe x8-anslutningar tillsammans med en Threadripper 3970X. Det fungerar utmärkt och är nästan överdimensionerat för vårt nuvarande behov. Vid fyra parallella jobb levererar den upp till omkring 500 tokens per sekund totalt.

Startupbolaget jag arbetar för köpte dessutom i princip allting begagnat eller refurbished. Jag plockade ihop delarna från bland annat Amazon och eBay, och slutkostnaden blev förvånansvärt rimlig. Nu, ungefär ett år senare, har investeringen sannolikt redan nått break-even med tanke på hur hårt servern har arbetat och vilka API-kostnader den har ersatt.

För tillfället kör jag Qwen3.6-35B-A3B och dessförinnan körde jag Qwen 3.5 A3B. Nu när Kimi verkar vara på gång med öppna vikter funderar jag på att sälja nuvarande server och försöka få tag på ett antal Intel Arc Pro B70 med 32 GB minne vardera. Kombinerat med ett vettigt moderkort som erbjuder minst PCIe 4.0 och x8 till åtta kort hade det varit ett enormt roligt bygge – förutsatt att mellanskillnaden inte blir alltför stor.

Så nej, jag underskattar absolut inte hur snabbt det blir komplicerat och dyrt när man skalar upp till riktigt stora installationer. Men det finns också ett ganska stort spann mellan ”köp en server och sätt den i vägguttaget” och ett mångmiljonprojekt med egen hall, vattenkylning och ombyggd elförsörjning. För utveckling och inferens med öppna modeller går det att komma väldigt långt med relativt vanlig, om än entusiastbetonad, hårdvara.

Jag arbetar och experimenterar med sådant här dagligen och har gjort det i flera år. Trots att jag tycker att jag har en ganska god förståelse för hur tekniken fungerar blir jag fortfarande kontinuerligt imponerad av hur bra de öppna modellerna faktiskt har blivit.

Tänk om man dessutom hade fått en vettig lön för det man tycker är så roligt …

Var det inte någon som sade att man bara behövde hänga med i utvecklingen och lära sig AI för att vara helt säker inför framtiden? Jag väntar fortfarande på stålarna. 🙂

Ja, någon HW-hacker på firman lär kunna ordna det. Men vem ska göra det om du nu slutar. Den som är manager måste adressera sådana frågor. Och då kan det sluta i att "vi hyr in oss". Det ansvaret är lättare att ta över för en ny anställd.

Men 500 token/s låter ju bra. Qwen 3.5 A3B är väl ganska snäll har jag för mig. Jag har provat några.


Äldre versioner av Kimi finns på Hugginface. Upp till 2.7 vill jag minnas. Men dom kräver också en del minne.

Frågade Kimi vad Kimi 2.6 behöver för mängd minne

Vilken är du sugen att installera?
Och vad köper du för HW till det? H200 eller B200?


Det går ju. Men det är också en fråga om att ha tillräckligt kapabel HW och inte ha för långa svarstider.

Men kan tänka som så att de som tillhandahåller LLMer går back på det. Förvisso har dom även träningskostnad. Men bara här anar man att det kanske inte är så mycket billigare själv.


Det är väl bara att du skriver i CV vilka skills du har, och söker jobb.
Helst skall det vara dokumenterat.
Antingen som användare = prompting skills.
Eller som utvecklare = vilka agenter mm har du byggt och hur mm.

Qwen 35B-A3B är som namnet antyder en MoE modell som har 3B aktiva parametrar per token, dvs beräkningsmässigt motsvarar det en 3B modell.

Jag själv gav upp på 35B-A3B för den är så korkad även om den är snabb, Qwen 3.6 27B är markant bättre om än mycket tyngre.

Men nu pratar vi om en modell som är någonstans runt 50-60B aktiva parametrar (Alltså en superkomprimerad Kimi) det kommer inte röra sig om några 500-600 tokens/s på en sådan setup... Mer någonstans runt 1-2 kanske i bästa fall och detta ska ett team utvecklare dela på, ja lycka till.

De första CDR-skrivarna på 90-talet kostade bortåt 40.000 kr. Med de priserna kunde man på 90-talet inte tro att det skulle bli en jättegrej att ha massor med musik och filmer i en dator. Det blev ju alldeles för dyrt för vanligt folk.

Du påminner lite om Bill Gates när han pratade om den nästan orimligt höga minnesgränsen på 640 kb i MS-DOS.

Men det är precis det du inte FATTAR.

ANNs är nästan 80 år gammal teknik! Det är matrismultiplikation och addition, det finns inget uppenbart att vidareutveckla i grundformeln.

Man har försökt med detta i decenniums, tror du det är en slump ReLU osv uppfanns? Allt handlar om att man försökt göra formeln så billig man kunnat.

Vad har hänt senaste åren? Man har skalat upp dessa enkla nätverk så de är hundratals och nu senare tusentals gigabyte, för att beräkna behöver varje token multipliceras med varenda byte av dessq vikter (undantaget MoE som kan klara sig på en tiondel på bekostnad av ”logisk prestanda”)

Detta är varför chipindustrin är helt chokad nu, man försöker producera chip med mycket minne, bredabussar och hög frekvens så det går flytta dessa vikter in och ur ALU/NPU/TPU så snabbt som möjligt.
Och för att lägga till på det har du attention som kostar O^2 att beräkna, man har dragit till med varenda trick man kan i boken att virtuellt skala upp kontextfönster osv men det är en brant ravin runt 1-2miljoner tokens, prestandan störtdyker modellen hittar inte i fönstret osv.

Den här tekniken har ingen uppenbar framtid och det vet i stort sett alla som jobbar eller jobbat med den!

Det måste till något helt annat, något mycket mycket smartare sätt att träna och då troligtvis med annan arkitektur för att komma någonstans.

Det är inte ny teknik vare sig matematiskt eller tekniskt därför är det så korkat att jämföra med skrivare osv eller de flesta teknologier alls för oftast har man redan från början vägar framåt men de stoppas av att de är för kostsamma, AI har inte haft det problemet alls, det finns inget någonsin i mänsklighetens historia som det kastats så här mycket pengar på och intensivt.

Men det spelar ingen roll vad jag skriver för du förstår inte, du tror ju fortfarande på terminator och annat scifi trams.

Genom mer och bättre träning har man ju nått från 60 till 130 poäng i offline IQ-test. Det är svårt att ignorera den förbättringen. Oavsett vad det "egentligen mäter" så är det en häpnadsväckande förbättring.

Andra besserwissrar har skapat Arc-AGI för att påvisa att modellerna inte är AGI. Den ivriga "debunkingen" sprack till slut för v1 och v2, därför flyttade man målstolparna till v3 som är en form av logiskt dataspel. Men "språkmodellerna" är ju tränade på text, inte på interaktiva spel, det var aldrig syftet.

De här testerna verkar vara framtagna i bad faith. Man gör sitt allra yttersta för att få modellerna att misslyckas, snarare än att öppet och ärligt ta reda på vad de faktiskt är bra på.

Det är en tidsfråga och träningsfråga innan man förstår hur man ska träna "språkmodeller" på att också klara nästan alla slags interaktiva logiska spel som någon människa kan hitta på. Det är ingen enkel utmaning, men jag ser inte varför det skulle krävas några banbrytande tekniska genombrott för att bredda träningsdata och att träna större och bättre modeller. Det kommer att ske. Det sker just nu i rasande takt.

Snart går det inte att skapa något logiskt test som frontier-modellerna inte får alla rätt på. Jag tror vi är 1-2 år från att det händer. Det ska bli mycket underhållande att se dina löjliga ursäkter och halmgubbar när detta händer.

Som sagt det är egentligen meningslöst att skriva till dig för du förstår inte... vare sig ämnet eller några som helst högre mål eller abstraktioner.

Jag ska försöka en sista gång nu sen blir det bara tramsande och sådant igen om jag ens engagerar mig. du förstår ju fortfarande inte skillnaden på MEMORERING och GENERALISERING.

Det är exakt samma tankefel om och om igen, som du haft i 3 år nu.

Att modeller får högre poäng på IQ-tester beror inte på att de har blivit smarta, det beror på datakontaminering. Testerna och tiotusentals varianter av dem ligger redan i träningsdatan. Det är ren mönstermatchning. Ändra en enda variabel i ett logiskt test som modellen aldrig sett förut så faller korthuset direkt, för den har ingen aning om vad den faktiskt gör, den slår bara upp sannolikheter för nästa token.

Och att du avfärdar ARC-AGI som "bad faith" visar ju bara hur lite du förstår om varför det skapades. Hela poängen med ARC är att mäta OOD, alltså Out-of-Distribution. Det mäter om en modell kan lösa ett helt nytt problem som den INTE har i träningsdatan. Din lösning på det är alltså "det är bara att träna på alla typer av spel". Hör du inte själv hur snedvridet det resonemanget är? Om du måste träna modellen på problemet i förväg för att den ska kunna lösa det, då är det inte intelligens eller resonemang, då är det databasuppslag! Du kan inte träna dig ur en kombinatorisk explosion, mängden logiska tillstånd i världen är oändlig och du kan inte stoppa in oändligheten i ett träningsset.

Man har ju redan slagit i väggen på flera fronter. Internet är i princip slut på högkvalitativ text, och börjar du mata med syntetisk data utan formella verifierare får du model collapse direkt, modellerna blir inavlade. Förbättringarna vi ser nu följer logaritmiska kurvor, det krävs exponentiellt mycket mer data och beräkningskraft för marginella kliv framåt. Och som jag sa tidigare, du kan fortfarande inte trolla bort fysiken och begränsningarna runt minnesbandbredd, busbredd och värmutveckling.

Jag gör inga som helst uttalanden om att ANNs inte kommer vara del av en eventuell framtida AI teknik, det kommer de mest sannolikt för det är den enda generella funktionsapproximerare vi hittat på, men hela saken med transformers är att de INTE är rena ANNs, hade ANNet varit orsaken till detta hade det gått få samma resultat med ett vanligt FNN eller CNN det är faktum där de moderna språkmodellerna startade, det som varit lovande är just ATTENTION men ATTENTION är snordyr som jag sa den skalar inte, du som påstår dig vara datavetare/expert förstår du inte vad en O(n^2) algoritm är?

Utöver det är backpropagation precis lika värdelöst det är därför det tar månader och kostar hundratals miljoner att träna de här språkmodellerna.

Men att tro att man når AGI genom att bara skala upp dagens transformatorer och ösa in mer träningsdata är som att tro att man kommer till månen bara man bygger en tillräckligt stor varmluftsballong. Det är helt fel verktyg i grunden. Det kommer inte hända om 1-2 år och det beror inte på några halmgubbar utan på ren beräkningsvetenskap och fysik, men vi får väl se om 2 år vem som faktiskt hade rätt. Vi vet ju redan vem som hade rätt förra gången du förutspådde något...

Det stämmer inte. Om detta hade varit sant då hade den inte klarat 130 poäng på ett offline IQ-test som inte finns i träningsdatat. VAD är det du inte fattar? Frontier-modellerna är inte bara uppslagsverk. Du har fel. Du är ju helt besatt av dina helt felaktiga uppfattningar. Det här börjar blir riktigt absurt.
Ja, och det kunde den ju väldigt bra. "För bra", eftersom nu hade man ju påvisat AGI, enligt de besserwissers som skapade Arc-AGI v1. Men det tolererades inte! Därför skapade man en helt ny typ av test i form av ett interaktivt logiskt spel, en utmaning som modellerna inte har tränats på. Men som sagt det är en tidsfråga och träningsfråga innan de testerna också klaras av galant. Det kommer att bli jävligt pinsamt att vara dig om ett par år.

För det första.

Vem har gjort det där offline IQ-testet du refererar till? Vem har normerat det (dvs mätt så ett visst antal rätt, på rätt frågor faktiskt motsvarar en IQ nivå på 130)? Hur vet du att det inte använder några redan existerande problem? Hur vet du att det inte finns ett enda problem i något annat test som ens liknar detta?

Jag kan ge dig svaret direkt; det gör du inte. Och detta är hela anledningen till att jag och andra blir så irriterade när vi diskuterar med dig, du tar inte till dig av kritiken utan att man måste slänga med invektiv och tramsa för det är så meningslöst att försöka föra en sansad diskussion, du saknar uppenbarligen den fundamentala förståelsen att diskutera över så varenda diskussion handlar i stället om att försöka slåss mot din fantasi och din tro.

Men där har du svaret varför det skapas nya ARC AGI hela tiden, det handlar inte om att flytta målstolpar, det handlar om att samtliga leverantörer har nu benchat mot ARC AGI- både det offentliga och det som är invite only. Vad tror du det första de gör då? De tränar naturligtvis på den data de sett, sen är det testet kört.

Det är det som är så konstigt att du inte förstår, varför tror du det hela tiden dyker upp exempel på youtube shorts osv med folk som driver med modellerna med ganska självklara frågor men som kräver en kasaul förståelse för att svara rimligt på och de misslyckas katastrofalt.

Nu ska det påpekas att naturligtvis är de modeller som man har röst chat mot inte liksom Claude Sonnet 4.8 utan mindre modeller men de representerar fortfarande samma sak, modellen förstår inte att den måste ta bilen till tvätten för att den saknar just kasaul förståelse. Det är en fråga som går utanför distributionen vad den blivit tränad på, den har alltså inte sett något i sitt träningsdata som sagt något i still med "Nu måste jag ta bilen till biltvätten 50 meter bort för den ska bli ren", den har däremot sätt massor om att bil, avgaser, miljöpåverkan osv och därför faller den in på de statistiska spåren.

Jag håller med om att det är fascinerande och coolt hur väl detta kan fungera när det fungerar bra, men jag har själv hållit på med detta i snart 8 år och är inte frälst av vare sig ANNs eller LLMs, jag förstår mycket väl hur de fungerar och hur och vilka uppgifter de faktiskt presterar bra i och det är just det som gör att jag är så negativ mot LLMs för de marknadsförs som de vore AGI och kan slängas på vilken uppgift som helst, men egentligen är det i huvudsak bara spårföljning av förtränade exempel och det blir väldigt väldigt uppenbart om du faktiskt jobbar med något som är banbrytande.

Men med det säger jag inte att språkmodellerna är odugliga, utan det jag säger är att det är en för kostsam teknik mot vad den ger, jag är helt med på att de kan generera kod med rätt uppstyrning, problemet är att uppstyrningen måste vara hökartad och jag vet precis hur jag skulle kunna demonstrera detta... om jag skulle vilja outa mig men det tänker jag inte göra.

Jag vet inte vad som kommer vara pinsamt för mig om några år, jag har sagt det klart och tydligt transformers håller inte, backpropagation håller inte och för att komma dit vi vill behövs nya tag med andra algoritmer, även om det hypotetiskt skulle vara möjligt att träna en modell med alla världens datorer och få den illusionellt så smart så den löser 99% av mänsklighetens vardagliga uppgifter så skulle det vara så kostsamt både ekonomiskt och energimässigt att det är som jag säger inte en lösning.

Det går liksom bygga beboliga skyskrapor med lego också om man vill det men du ser ingen göra det tror jag?

Mensa Norge.

Detta har vi ju haft uppe många gånger men nu väljer du att spela dum.

Samt extremt otrevlig, som vanligt. Jag slutade läsa ditt inlägg när personangreppen började hagla, som de alltid gör.

Och Mensa Norge är vem? Mensa är en social förening de vare sig gör eller normerar tester själva, så därför frågar jag vem i Mensa Norge har gjort detta?

Den uppgiften har inte jag. Ring och fråga?