2025-03-13, 18:24
  #1
Medlem
Ska ha ny dator ca 10-15K och vill gärna köra AI model lokalt. Vad bör jag fokusera på?
Har jag förstått rätt så använder AI grafikkort men om det inte är planen att använde datorn för spel, är det kanske mer prisvärt att satsa på större processor? Eller finns specifik processor för AI?
Jag är inte helt inne i det tekniska därför jag frågar
Citera
2025-03-13, 18:45
  #2
Medlem
Citat:
Ursprungligen postat av Strandgatan221
Ska ha ny dator ca 10-15K och vill gärna köra AI model lokalt. Vad bör jag fokusera på?
Har jag förstått rätt så använder AI grafikkort men om det inte är planen att använde datorn för spel, är det kanske mer prisvärt att satsa på större processor? Eller finns specifik processor för AI?
Jag är inte helt inne i det tekniska därför jag frågar

GPU, dvs grafikkort, så snabbt som möjligt och med så mycket minne som möjligt.

Större processor? Kan inte skada, om AI-modellen är för stor för grafikkortet så steppar CPUn in och hjälper till. Men grafikkortet är snabbare.
Specifik processor? Nej, inte direkt. AMD eller Intel.
Speciellt grafikkort? Ja och nej. Nvidia är längre fram på så sätt att mer/fler programvara stöder Nvidia. Nvidia är generellt lite snabbare också.

Anyway. Här har du en aktiv tråd på Sweclockers: https://www.sweclockers.com/forum/trad/1735091-hjalp-med-ai-dator-till-jobbet

Allt har att göra med VAD du vill göra, hur snabbt, och vad du är beredd att betala...
__________________
Senast redigerad av drKickass 2025-03-13 kl. 18:46. Anledning: stavfel
Citera
2025-03-13, 18:54
  #3
Medlem
Det krävs en riktigt monster pc, med lika mycket ram som modellen är stor, för att köra en chat ai som är något att ha. Så 128 GB minst i ram. Små chat ai modeller kan man köra med mindre ram, men dessa är värdelösa för vanligt folk.

Så du kan alltså glömma att köra en egen chat ai än så länge. Kanske blir möjligt om några år.

Men du kan ju köra någon ai som skapar ai bilder, typ föreställande Trump som suger på Elons tår (någon skapade en sådan ai film och la upp på youtube). Det kräver inte särskilt mycket, en halvgammal spel pc duger.
Citera
2025-03-13, 19:31
  #4
Medlem
TitoBeltranTenorens avatar
Citat:
Ursprungligen postat av Strandgatan221
Ska ha ny dator ca 10-15K och vill gärna köra AI model lokalt. Vad bör jag fokusera på?
Har jag förstått rätt så använder AI grafikkort men om det inte är planen att använde datorn för spel, är det kanske mer prisvärt att satsa på större processor? Eller finns specifik processor för AI?
Jag är inte helt inne i det tekniska därför jag frågar

Satsa på ett Geforce RTX-grafikkort. RTX är bäst för AI.

NVIDIA: NVIDIA Powers the World’s AI. And Yours.
When it comes to AI PCs, the best have NVIDIA GeForce RTX™ GPUs inside. That’s because the same technology powering world-leading AI innovation is built into every RTX GPU, giving you the power to do the extraordinary. From class to work to entertainment, with RTX-powered AI, you’re getting the most advanced AI experiences available on Windows PCs.
Du kan hitta en dator för runt 10-12K med ett RTX 4060 grafikkort och 16GB RAM.
Citera
2025-03-13, 19:58
  #5
Medlem
Tidsmaskinistens avatar
Citat:
Ursprungligen postat av TitoBeltranTenoren
Du kan hitta en dator för runt 10-12K med ett RTX 4060 grafikkort och 16GB RAM.

VRAM (alltså grafikkortets minne) är mycket viktigt. Rekommenderar starkt att köpa ett RTX grafikkort med mycket VRAM. Såvida du inte vill köra tramsmodeller lokalt så ligger väl de flesta ordentliga LLM på runt 10 GB minst. Jag ser till exempel att Gemma 3 12b tar upp ca 8 GB i LM Studio på min dator. Jag kör själv i LM Studio på Mac mini (M4, billigaste modellen för 8500 kr) och den har enhetligt minne (alltså tilldelat både CPU och GPU) så på 16 GB får jag plats med en LLM på ca 13 GB utan problem. Så se till att ditt RTX grafikkort har ordentligt med VRAM.
Citera
2025-03-13, 20:14
  #6
Medlem
TitoBeltranTenorens avatar
Citat:
Ursprungligen postat av Tidsmaskinisten
VRAM (alltså grafikkortets minne) är mycket viktigt. Rekommenderar starkt att köpa ett RTX grafikkort med mycket VRAM. Såvida du inte vill köra tramsmodeller lokalt så ligger väl de flesta ordentliga LLM på runt 10 GB minst. Jag ser till exempel att Gemma 3 12b tar upp ca 8 GB i LM Studio på min dator. Jag kör själv i LM Studio på Mac mini (M4, billigaste modellen för 8500 kr) och den har enhetligt minne (alltså tilldelat både CPU och GPU) så på 16 GB får jag plats med en LLM på ca 13 GB utan problem. Så se till att ditt RTX grafikkort har ordentligt med VRAM.

Blir nog svårt att hitta något över 8GB VRAM för 10-15K. Hittade iofs denna, så för 15K går det om man har tur att hitta 12GB VRAM.

Power: Cepter E-Sport R70 (R5) stationär dator
Kraftfull anpassad gaming-PC med ett Radeon RX 7700 XT grafikkort
AMD Radeon RX 7700 XT 12 GB
AMD Ryzen™ 5 5500
16 GB RAM, 1 TB M.2 NVMe SSD
Professionellt monterad och testad
Förinstallerat Windows 11 Home
Cepter E-Sport 280B-chassi
Arctic Alpine 23 processorkylare
ASUS PRIME A520M-K moderkort
Pris: 14998
__________________
Senast redigerad av TitoBeltranTenoren 2025-03-13 kl. 20:18.
Citera
2025-03-14, 12:52
  #7
Medlem
Tack för svar.
Det verkar bäst att fokusera på grafikkort och mycket ram.

Det är inget specifikt syfte, det bara roligt att pröva själv. Jag har hämtat ned LM System som gör det simpelt att pröva olike modeller. Det är modeller med begränsat antal parametrar som går att köra tror jag
Citera

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in