Citat:
Ursprungligen postat av
JohnBlund
Kanske inte hör till denna tråd, men jag måste ändå fråga de som kanske vet?
Att använda AI kostar ju företagen, men om man som i mitt företags fall har en "kopia" av chatGPT för internt bruk som fungerar exakt som chatGPT men är modifierat för att också kunna svara på interna saker som vanliga ChatGPT inte kan svara på. Kostar det pengar? Hur mycket?
Har svår att se att OpenAi bara gett bort sin AI gratis till alla företag som vill ta en kopia av den ett par gånger per månad. Då tjänar dom ju inga pengar.
Men företaget uppdaterar som sagt ofta sin interna "chatgpt" så den har relativt aktuell information. Vad kostar en sån sak?
Nej, man kan inte köra ChatGPT lokalt. Om du hade fått det hade du också behövt minst ett par st Nvidia 5090-kort, alltså en PC för över 100.000 kr för att få acceptabel prestanda. Man kan köra open source modeller som Kimi m.fl men de är inte lika bra och de innehåller förmodligen kinesisk spyware. Men de fungerar för många enklare uppgifter. Du behöver även där tung hårdvara för att få bra prestanda. Man tröttnar snabbt när det tar flera sekunder att få svar på de simplaste frågorna.
En stor AI-modell kräver väldigt mycket för träning men också en hel del för användning (inferens).