Claude, Gemini och ChatGPT bara 10 % bättre än gratis lokal AI?

Så flera tester visar att öppna vikterna man själv laddar ner och kör är ca 90% så bra som bästa modellen man betalar för.

Jag kör lokala modeller på ett NVIDIA-kort, har tränat egna LoRAs i ComfyUI, byggt egna arbetsflöden och en egen chatbot med verktyg för webbsökning och dokumentanalys. Allt körs lokalt.

Varför betalar så många hundratals kronor i månaden för Claude, Gemini och ChatGPT?

För ungefär priset av ett par års abonnemang kan man köpa ett AMD-kort med mycket VRAM eller, om man redan är i Apple-ekosystemet, köra stora modeller på en Mac med Unified Memory. Sedan äger man hårdvaran och slipper återkommande avgifter.

För många uppgifter, kod, dokument, analys, översättning, bildgenerering och egna AI-agenter, upplever jag att skillnaden mot de betalda tjänsterna är förvånansvärt liten. I vissa fall föredrar jag faktiskt min lokala lösning eftersom jag har full kontroll över modeller, data och arbetsflöden. Och den har inga begränsningar. Den gör exakt vad jag vill utan filter.

Missförstå mig inte, de kommersiella tjänsterna har fortfarande fördelar. De största modellerna är ofta bättre, de är enklare att komma igång med och de uppdateras kontinuerligt.


Hur stor är den faktiska kvalitetsvinsten för de flesta användare? Jag tror ca 0%. Är den verkligen värd ett löpande abonnemang när öppen AI utvecklas så snabbt? Varför kör folk inte modeller lokalt?

Vad missar jag? När kommer AI bubblan brista?

Vilka här har lokala modeller. Vad använder ni?
Bilder Flux, Film klipp Wan, kod Qween. Vad mer är roligt?

Länk till testerna du hänvisar till?

Vad har du för grafikkort då?

https://mitsloan.mit.edu/ideas-made-to-matter/ai-open-models-have-benefits-so-why-arent-they-more-widely-used

Ett rtx 5090 och ett AMD Radeon AI PRO R9700. Samt en Mac med 64gb ram.

Själv då? Vilka modeller kör du lokalt på vilket kort? Har du tränat någon roligt modell?

Jag testade Qwen lokalt men gav upp ganska snabbt (GTX3080 iofs). Den hade problem med svenska vilket förvånade mig, den kunde koda men betydligt långsammare. Det är framför allt hastigheten man vill åt om man fortfarande bryr sig om hur koden ser ut och jobbar interaktivt.

Mitt rtx 5090 är snabbare än Claude. Svenskan är olika bra beroende på modell. Men är bra i qwen 3.6 tycker jag.

Även med rtx 5070 ti (16gb vram) genereras bilder i comfi och pony/flux mycket snabbare och bättre än någon online bildgenererings AI jag testat.

Sen så är det ju roligt att de är helt obegränsade och man kan generera vad man vill. Typ göra en rolig meme med knugen, rump eller plutin om man vill.

Framförallt detta: "
Varför betalar så många hundratals kronor i månaden för Claude, Gemini och ChatGPT?"

Folk vet inte vad de kan skapa från gratis-kontent. De flesta laddar bara ner och testar, orkar inte tweaka inställningar mm som du gör. Det du gör kan du tjäna pengar på, bara en hint 😉

Jag såg en graf hos Apollo som visade på att öppna vikter ligger ca 4 månader efter de bästa med prenumeration.

Behöver man inte den förbättringen kan man ju köra med öppna vikter.

Sedan förutsätter ju det en kompetent dator.


Säg då 40kSEK för ett grafikkort på 32 GB. Och en 100kSEK för dram. Summa 140 kSEK.

Säg att det skrivs av på 3 år. Det blir då 3888 kr i månaden för att köra lokalt. Och då försummar vi CPU och det andra krafset.


Jag ser nu att Kimi K3 får bra recension. Säg klå Opus 4.8.
Än finns inte den på hugginface. Men Kimi 2.7 finns och det verkar dra ca 600 GB? För Kimi 2.5 rekommenderas iaf över 380 GB.


Mja, jag noterar ju lite skillnad iaf. Ber jag om en sammanfattning och kreditanalys för ett lån så svarar Gemini på nätet på 2 sec eller så.

Medan det tar 10 min innan jag har svaret klart när jag kör lokalt. Jag gissar att flaskhalsen är GPUn. Den kan ju uppgraderas, till ett pris.


Jag gissar att signifikant frustration skulle uppstå för de som vill ha kodningshjälp med de långa ledtiderna när man kör lokalt.