Använda RAM som VRAM till dedikerad GPU?

Jag stötte nyligen på den här videon där de lägger in eget material i Stable Diffusion och således kan AI-generera bilder av sig själv i olika scenarion.
Extremt häftig teknik som jag gärna skulle vilja ta en titt på själv.

Så jag skaffade Stable Diffusion lokalt, och gick sedan och tog en titt på Dreambooth, men såg då att man behövde 24GB VRAM.

Jag har tidigare experimenterat med grafiska renderingar där jag utökade RAM med hjälp av att lägga pagingfilen på en väldigt liten Optane med extremt låg bandbredd, och renderingstiderna blev ändå förvånansvärt bra.
Självklart inte lika bra, men renderingstiden ökade bara med något dussin procent, och inte tre- eller fyrsiffrigt som jag hade förväntat mig.

Så då undrar jag, kan jag köra ett liknande fulknep med detta och övertyga GPU:n (RTX 2070 med 8GB VRAM) om att den har mer minne tillgängligt på RAM (64GB DDR4)?
Det gör inget om det kommer ta aslång tid att rendera, jag kan låta bli att spela några dagar om det behövs, och elen är inte tokdyr här.

Vad du vill göra, är att vänta lite. Just det här du pratar om är på väg att komma till oss vanliga användare. Jag tror att det är AMD som jobbar hårdast på det.

Hur är din google-fu?

Här finns det för cpu (med webui)

https://github.com/darkhemic/stable-diffusion-cpuonly

Räkna med runt minuten per iteration.

Här finns det för nvidia-gpu:er på under 10 GB vram (cli)

https://github.com/neonsecret/stable-diffusion


Som alternativ till att köra dreambooth lokalt, för att stoppa in säg dig själv så kan du köra det i collab och ladda ned resultatet av träningen och köra det i stable diffusion lokalt.

https://youtu.be/FaLTztGGueQ

Extremt hjälpsamma länkar, stort tack!

Hur har det gått?

Har varit en hel del plugg (programmering, vilket varit otroligt givande förutom lite kring det pedagogiska) som kommit före, så har inte kunnat pyssla med det så mycket som jag ville.
Har stannat vid allmänt pill med vanliga Stable Diffusion och Hypernetworks. Men det har varit användbart nog för kursen i webbutveckling eftersom det passar bra till att generera logotyper och bilder till en plojsida.

Men det jag kom fram till är att jag egentligen inte behöver någon dunder-GPU eftersom det är rätt billigt att hyra beräkningskraft från typ Google och liknande. Så det blir nog inget GPU-köp såvida jag inte börjar komma igång på riktigt med Tensorflow för lite databehandling jag funderat på att göra kommersiellt, även om inlärningskurvan för TF är otroligt brant.
Dessutom kom det bara häromdagen en uppdatering till Stable Diffusion som jag uppfattade gjorde att man kunde köra Dreambooth på CPU direkt i SD.
Och det är ju schysst i så fall, eftersom jag ändå har 64GB RAM.

Youtubekanalen Aitrepeneur är guld värt för att hålla sig lite uppdaterad på den fronten.

Svårt att navigera latent stace på bara cpu, deforum går dock att köra i collab.

Att göra plojbilder skall dock inte vara något problem med cpuonly versionen.

Kolla upp optimisedSD varianten om du vill köra det på 2070.

Man kommer nog optimera vidare tills det inte krävs mängder med minne på sikt.

Jo, och tack och lov för det.
AI har så otroligt många användningsområden. Det skulle t.ex. underlätta enormt för en vän till mig som är i vårdbehov, men ofta får invandrare som inte är superbra på svenska.
Hade personen då kunnat säga "en liten röd kopp med gula elefanter på" till telefonen och den helt felfritt fick fram en bild på en tillräckligt lik kopp (kanske genom att skicka beräkningslasten till en server av något slag) på vårdaren kunde ta fram den, så skulle det underlätta väldigt många kinkiga moment.

Jag längtar lite tills operativsystem är väldigt AI-baserade, så att man med relativt enkla grepp kan anpassa det väldigt mycket.
Linux finns visserligen, men där handlar det inte direkt om enkla grepp i alla lägen.

Linux är en knock off på Unix anno 1970, behövs inte mer för att köra stable diffusion bl.a men visst AI kan leda till vidare utveckling av mjukvara och hårdvara. Von Neumann arkitekturen från 1945 leder till att den mesta av beräkningstiden som t.ex används vid olika typer av AI modellers träning går åt till flaskhalsar.

https://www.allaboutcircuits.com/new...rk-processing/

https://www.electronicdesign.com/tec...extgen-ai-apps

Skulle vi bryta med Von Neumann skulle vi behöva nya operativsystem ändå.

Automatic 1111 med Dreambooth addon går att använda på CPU.

https://github.com/AUTOMATIC1111/stable-diffusion-webui

https://youtu.be/HahKXY7AQ8c

Sen när träningen är klar kan du köra inference av din checkpoint på din GPU.

God Jul!