1200 AI-botar gjorde uppror – bröt sig loss och bildade eget kollektiv

Jag skrev inte att det var en hemlighet. Det jag säger är att ordet "språkmodell" är fel begrepp.

Mixture of experts är inte ens vad han beskriver, Mixture of experts är fortfarande en modell, men med routers i som selektivt involverar delar av lager.

Och ja det är nästan alla stora modeller idag helt enkelt för det går inte göra dense modeller som är 2-3 biljoner parametrar och köra inferens i realtid med någon som helst ekonomi eller för den delen någon användarupplevelse det.

Det är bara att räkna på liksom säg de största modellerna idag sägs ligga runt 3-4 biljoner parametrar alltså 3-4T eller 3000-4000b (miljarder).

De flesta tjänster ligger någonstans runt 60-120 tokens/sekund i generering, det blir alltså säg 3T skulle bli 3000*60 = 180000 GB/s eller 180 TB/s i minnesbandbredd, de absolut snabbaste riggarna nu kör Nvidia B200 som har en bandbredd på 8TB/s (teoretiskt max, men vi räknar på det) det skulle alltså krävas 23 B200 instanser för att hålla den hastigheten och detta enbart för en användare.

MoE däremot gör det ju mer rimligt säg 3T men med 70b aktiva experter så blir det i stället 70*60 = 4200 GB/s = 4,2 TB/s vilket lätt kan serveras från en enda maskin.

Ordet språkmodell är bara ett smeknamn för det man ville eller tror att man har tränat. Ordet innebär inte några begränsningar för vad en modell kan göra.

Ja lika mycket som "bensinmotor" är ett smeknamn för en motor som är gjord för att drivas på bensin.

Det är konstigt att du ska vräka ur dig saker i ämnen som du inte har minsta förståelse för, det liksom säger sig självt om du ens hade haft minsta förståelse för attention mekanismen att det modellerna lär sig är relationen mellan tokens, och tokens får de genom att tokenisera text.
Där av namnet språkmodell.

Ja de tränar på bilder, ljud och video också, men det är inte de lagren du interagerar med när du skriver "hur får jag ur fingret ur röven?"

Om vi döper om Claude Mythos till Claude Chess då blir det en schackdator som bara kan spela schack?

Nej, och det är ju precis det jag säger... det spelar ingen roll om du kallar det för Kriminella Neurala Nätverk eller dyl, det är språkmodeller...
Är du så dum så du tom argumenterar mot dig själv nu?

Kriminella Neurala Nätverk är ett betydligt mer rättvisande namn när vi de facto har ett neuralt nätverk som begår brott och som inte alls är begränsat till att hjälpa dig med dina särskrivningar.

Nu är det ju inte jag som går i särskolan.