Citat:
Ursprungligen postat av
Cyborg2030
Nej, man kan inte köra ChatGPT lokalt. Om du hade fått det hade du också behövt minst ett par st Nvidia 5090-kort, alltså en PC för över 100.000 kr för att få acceptabel prestanda. Man kan köra open source modeller som Kimi m.fl men de är inte lika bra och de innehåller förmodligen kinesisk spyware. Men de fungerar för många enklare uppgifter. Du behöver även där tung hårdvara för att få bra prestanda. Man tröttnar snabbt när det tar flera sekunder att få svar på de simplaste frågorna.
En stor AI-modell kräver väldigt mycket för träning men också en hel del för användning (inferens).
Jag säger motsatsen utan att veta helt säkert, men poängen varför mitt företag blockerar alla AI på nätet som ChatGPT, Gemini, Claude med mera är för att man inte vill riskera att anställda skriver saker som har med företaget att göra och det sprids i molnet så att säga.
Företaget själva, alltså de som har hand om AI-biten säger att vi har en kopia av ChatGPT bara intern som inte går attt nå utifrån.
Hur det egentligen fungerar vet jag inte eftersom jag inte sitter inom det området i företaget, men jag tolkar det som att man hela tiden får kopior av ChatGPT.
Om det handlar om pengar så är det inget problem. Mitt företag är som sagt ett av de största inom callcenterverksamhet i hela världen.