Qwen 3.8 27B bättre än betal AI och körs gratis på vanligt grafikkort eller Mac

Har ni sett qwen 3.8 27B?

Hypen är extrem. Gratis att ladda ner. Går att köra på grafikkort med 24gb vram eller en nyare Mac med unified memory. Typ en MacBook Pro, Mac Studio eller liknande.

Kodar bättre än många betalversioner av AI. Flera användare som visar hur den kodar hela spel man kan lägga upp på hemsidor. Någon sa. Gör space invader 👾 och den koda upp det helt själv. Fast en ny version.

Har kikat lite på det där och utvecklingen av lokala modeller går ju ruggigt fort nu. Att man kan snurra en 27B-modell på vanlig konsumenthårdvara och få den att spotta ur sig fungerande spel och program från enkla instruktioner är faktiskt ganska sjukt.

Själv är jag mest nyfiken på hur den presterar på andra språk än engelska. Kodning är ju ett enormt fokus för open source-gänget, men jag skulle gärna se hårdtest av Qwen 3.8 27B på vanlig svensk vardagston, längre samtal och kreativt skrivande.

Jag körde en mindre Qwen-modell lokalt tidigare - tekniskt flöt det på hur bra som helst, men svenskan lämnade en del övrigt att önska. Den svängde lite friskt mellan svenska, norska och danska uttryck och tappade både ton och tråd efter en stund.

Den dagen en lokal modell matchar ChatGPT/Gemini på svenska, grejar långa, naturliga samtal och kreativt skrivande - men utan samma stela jävla spärrar - då blir det på riktigt intressant.

Är det nån här som faktiskt har hårdtestat 3.8 27B på riktig svenska än?

Modellerna behöver läsas in helt och hållet i internminnet (RAM eller VRAM) så man måste ha mycket av det!

Jo precis men min begränsning är 16 GB VRAM och 32 GB RAM så 27B går väl att köra kvantiserad, men inte optimalt i alla varianter.

Det är där jag tycker många öppna modeller fortfarande ligger efter ChatGPT/Gemini. De kan förstå svenska och skriva grammatiskt hyggligt, men det är en annan sak att verkligen behärska språket.

Det märks framför allt på naturligt talspråk, idiom, humor, ironi, undertext och hur man anpassar tonläget efter samtalet. I längre dialoger kan det också börja dyka upp konstiga jävla formuleringar som är direktöversatt till engelska eller ibland en märklig blandning av svenska/norska/danska. Helt sjukt.

ChatGPT och Gemini är betydligt bättre på att förstå att samma svenska mening kan betyda helt olika saker beroende på sammanhang och ton. De är också bättre på att hålla en naturlig svensk dialog och en konsekvent karaktär över längre tid.

Det är egentligen den lokala modellen jag väntar på: inte nödvändigtvis den som kodar bäst, utan en som behärskar svenska på ungefär ChatGPT/Gemini-nivå för samtal och kreativt skrivande. Där hade det varit intressant att se hur Qwen 3.8 27B står sig.

Vill du skriva fri svensk prosa utan begränsning. Gå till hugging face och hitta.

Q5 or Q6 GGUF versionen av:

1. AI-Sweden Llama-3-8B Instruct
2. Qwen3.5-4B-EU
3. Gemma-3 4B IT
4. Salamandra-7B Instruct

Testa. För att få bra svenska kanske du behöver en större modell men det kan funka.


Men egentligen tror jag att du får bygga ett python script (låt codex eller Claude code lösa det) där du låter Gemma skriva prosa, Gemma är ocensurerad och skriver bra på engelska men har inte så bra svenska . Sen matar du in den texten i AI Sweden och låter den vara redaktör.



”Språkredigera texten till naturlig, litterär nutida svenska. Bevara händelser, innebörd, ton, perspektiv, explicithet och ungefärlig längd. Ta inte bort eller mildra något innehåll. Undvik anglicismer, översättningssvenska, överdrivna metaforer och typiska AI-formuleringar. Variera meningslängden och förbättra dialogens idiomatik. Returnera endast den redigerade texten.”

Borde kunna lösas så du har en draft av en bok över en natt.

Jag har testat Qwen 3.8 27b med Q4-k-m på en lite äldre burk Med 3080 10g GPU.

Ett mindre kodprojekt fungerade bra. Dock ligger jag på 4-5 tok/s. Kör reasoning på low för kodapan.

För hårdvara runt 20k kan man köra den effektiv. Kapacitetsmässigt är den förmodligen betydligt bättre än gemene man på de flesta arbetsuppgifter

Jag kör den lite tidigare varianten Qwen 3.6 (35B, Q4) på 16 GB GPU och den är jävligt bra. Ablitererad/avcensurerad. Har editerat Modelfile för önskat beteende och har satt ett context window på över 30 000. Går som tåget och vidgar mitt universum! Kineserna vinner AI-racet.

Vad jämför du med då? Jag kör Hy3 på dubbla DGX-er men tyvärr är busshastigheten för låg på 250gb/s - så runt 17-20 tokens / s.

Jag tycker inte modellen är i närheten av Opus senaste, och eftersom den behöver styras och extrakollas för kodning är det bara ett extrajobb.

Jag betalar gärna Anthropic för att kunna köra riktig agentic coding utan att behöva vara där och styra var enda minut och se att den fuckar upp.

Nu pratar jag medelstora kodprojekt / plattformar på 45-70 000 rader kod, 15-20 containers etc. Det hanterar Claude som en bebis.

Skulle gärna haft ett par H200 kort och kört DS4 eller något annat större, det är extremt stor skillnad på modellerna när de börjar komma över 150gb och då runt 4-600gb börjar det hända riktiga saker.

Haha, ja man kan ju drömma om obegränsad compute... Qwen var bra på kodning, testade dock enbart bash scripting och C-kod. Inom politiska och sociala frågor så är den extremt mycket bättre än mainstream amerikansk online betal-AI, men utformningen av Modelfile är av stor betydelse. Källor måste dessutom alltid kontrolleras. Den ablitererade modellen är väldigt trevlig att ha att göra med. Den backar inte för några prompts överhuvudtaget, har aldrig fått ett nej, men källkontroll är A och O som vanligt.