Kinesisk open source "AI" lika bra, säkrare och mycket billigare.

Som jag förstår det så är kinesisk open source llms lika bra, till ett mycket lägre pris. Och dessutom säkrare då de har öppen källkod samt att man kan välja att köra dem lokalt på sin egen dator.

Man slipper lämna ut all känslig data till ett mycket tveksamt amerikanskt bolag. Man kan enkelt köra alla känsliga uppgifter hemma frikopplat från internet om man så vill.

Stämmer detta påstående? Jag är ingen ai användare själv så jag kan inte verifiera detta. Jag tycker dock den kinesiska modellen där man har öppen källkod + att man kan köra lokalt utan att binda upp sig på massa prenumerationstjänster är mycket mer sympatisk.

Nog med det. Vad innebär det här för amerikanska llms som ligger på dyra serverhallar.

Sen undrar man också hur tränar kineserna llm och hur finansieras detta?

Jo det är väl det som tillslut kommer att skjuta hål på AI balongen när AI blir en vara som vem som helst kan tillhandahålla med enkla medel.

Det amerikanska bolagen kör ju en knarklangar-modell. Billigt i början för att få folk beroende. Sedan höjer man priserna. Jag hatar verkligen allt som har med prenumeration att göra. Allt som har med prenumeration blir dyrt och värdelöst.

Jag betalar mycket hellre 30k för ett grafikkort än 1500kr i månaden.

Kinesiska modellerna är destillerade av amerikanska modeller. Det är inte som att kineserna kan skapa något själva, som inte är en kopia.

Ja men om de är lika bra, billigare och säkrare. Då är det ju att föredra.

De är dessutom kinesiska, vilket är en stor fördel jämfört med de amerikanska originalen. Tror man kan lita betydligt mer på kinerserna om man ser lite mer långsiktigt. De kommer inte hela tiden ändra villkor vartefter man gör sig beroende av deras verktyg som amerikanerna...

Finns det nån kinesisk lokal ai som man lätt kan installera?

Kinesiska intressen och svenska/europeiska intressen inte livar visste man ju. Men som jag ser det. Amerikanska intressen är de absolut mest skadliga för oss.



Det är jag nyfiken på också.

Du bör ha enormt mycket RAM för att kunna köra lokala modeller (som är bra med dagens mått mätt). Tänk 100GB+. Det blir lite dyrt ändå.

Det är ju så mycket annat förutom AI som är amerikanskt och som tillsammans utgör ett stort hot, all IT är i princip amerikansk, betalssystemen. Reddit, som chatt gpt hela tiden refererar till, är så strömlinjeformat i amerikanskt narrativ. Det är hemskt.

Skicka den här frågan till ChatGPT eller Google:

Mitt grafikminne är på X GB VRAM och mitt datorminne är på Y GB RAM: Vilka språkmodeller (LLMs) kan jag köra lokalt på min dator?

En av de absolut bästa öppna modellerna just nu är Qwen 3.8 Flash Next 125B som jag även själv kör lokalt. Den är betydligt intelligentare än många av de tidigare mindre dense-modellerna som kan köras på konsumenthårdvara och antas vara en preview på den framtida Qwen 4.0-familjen.

Många gillar också Qwen 3.6 35B men det finns en hel uppsjö öppna modeller från både USA, Europa och Kina.

Qwen kan fortfarande vara dålig på svenska och de som håller på med språk brukar gilla Gemma4 som är Googles lokala språkmodell.

Det finns också ocensurerade varianter av alla modeller och dessa kallas "heretic", "uncensored" och "abliteraded". Fråga AI vad som skiljer dem åt.

De flesta kör numera sina språkmodeller med hjälp av Unsloth Desktop eller LM Studio och det är extremt enkelt att installera nya modeller att testa.

De som föredrar kommandoraden kör ofta Ollama. Alla dessa använder llama.cpp under huven vilket är det optimala programmet om du är en riktig datornörd som kräver total kontroll och gillar att tweaka inställningar.

Alla öppna modeller läggs upp på Huggingface och de kan oftast laddas ner automatiskt.

För nybörjare så rekommenderar jag Unsloth Desktop eftersom den är enkel att komma igång med och klarar att köra de nya MoE-språkmodellerna på ett effektivt sätt vilket gör att du även kan köra de stora intelligentare modellerna på billigare grafikkort med mindre VRAM.

I Unsloth så går du in under "Model Hub" och söker efter den språkmodell som du blev rekommenderad. Välj din rekommenderade "kvantisering" och tryck "Download".

Sedan är det bara att börja chatta med modellen.

För bild- och video-generering så använder de flesta ComfyUI. Det finns färdiga arbetsflöden att ladda ner där du bara behöver lägga in en referensbild, skriva vad som ska ändras och trycka på "Run".

Qwen har även Qwen-VL för att generera bilder och det är fortfarande den bästa öppna modellen för att behålla liknelsen på personers utseende. Det finns också Krea 2. För att generera video så tillhör WAN och MiniMax H3 de bättre modellerna.

Med ComfyUI kan det vara fler extra steg där du själv behöver ladda ner rätt filer från Huggingface men det har blivit mycket enklare att komma igång med lokalt AI än vad det var förr.

Open Weights har de som testat seriöst sagt ligger ca 4 månader efter.

Men det du kan köra på egen dator är begränsat till små modeller och de tar långt tid att köra.

Jag har 24 GB VRAM och 64 GB DRAM och kan köra små modeller. Och de orkar processa ca 1 ord i sekunden. Vilket gör att en enkel fråga tar kanske 10 min att processa och 5 min att skriva ut. Total tid 15 min. Större frågor med dokument och så tar längre tid. Så du måste vara beredd att vänta på svaret.

Fungerar inte för näringsliv där man behöver rappare svarstid.

Och vill du köra lite större mer kompetenta modeller (Kimi k3) är det helt uteslutet med egen dator. Eller du får köpa ett server-rack och bestycka med Nvidia GPU'er för några miljoner. Och så skall du ordna med kraft och kylning. Blir inte billigt. Betydligt billigare att köpa den tjänsten än att leka datacenter själv.


Hyr du in dig på ett datacenter och kör på "egen" HW så kan du nog ordna det så det blir säkert.


Innebär inget för datacentren. Det får ju beläggning oavsett vilka modeller som används.
Men för de som tränar modeller och ska få betalt är det ju besvärande med Open Weights-modellerna. Några kommer ju prova använda de. Och det innebär minskade intäkter.


Allt i Kina som handlar om tillväxt och utveckling betalas av privatkapitalistiska profitjägare.
Tidigare har man tränat på Nivdia-gpuer. Men det kommer svänga över på lokalt producerad HW.

Staten i Kina driver förlustverksamhet. (Som på andra ställen i världen)