Har investerat i ett Nvidia RTX 5000-serien med rejält med VRAM. Hoppades på en fin upplevelse med lokal AI, men icke.Till min stora bedrövelse är inte grafikortets CUDA kompatibelt med PyTorch senaste wheel. Sitter på senaste drivrutinerna och CUDA 13.3, och nej, det fungerar inte att nedgradera, jag har gjort massvis med tester och research. Linux och Windows same shit. Lokala LLM fungerar utmärkt, men Stable Diffusion (bild), Wan (video), TTS (text-to-speech), Voice Cloning fungerar inte alls.
Har ni samma erfarenheter? Är det rimligt behöva vänta kanske ett år eller mer för att få full användning av sin nya GPU? Det är vare sig Nvidias fel eller PyTorch som jag ser det, men utvecklingen av deras mjukvara synkar inte. Inte så konstigt att Nvidia är snabbare än PyTorch, de har ju i princip oändliga resurser.
Det låter smått osannolikt att ingen med 5 serien lyckats än.
Jag har 4 serien och pytorch wheels är inte alltid kul beroende på vad man ska ha dem till. Jag har fått bygga ett eget wheel vid ett tillfälle för att kunna köra en modell som genererade texturerade 3d-modeller från bild, och det krävdes visual studio osv och var ganska meckigt.
I ditt fall kan jag tänka mig att de förbyggda kanske har problem och att bygga ett eget kan vara vägen att gå.
Så det kan ju vara värt att kolla upp åtminstone.
