Citat:
Ursprungligen postat av
kalle55
Här är open source GROK på Github.
https://github.com/xai-org/grok-1
Vi har idag GitHub codespaces , gitpod odyl.
Går det inte att köra på någon molnlösning ?
MagI
-----
Det är inte koden som är problemet, det är att modellen i sig är en enorm n dimensionell matris av siffror som måste behöver omberäknas och justeras tusental sgånger i sekunden när du tränar nätverket det är enbart praktiskt möjligt att träna sådana modeller på datorer där du kan hålla hela modellen i minnet.
Det är lite det som försökte sägas tidigare att Llama2 släppte sin 70 b modell det är i stort sett ingen som gjort något med den eftersom redan den modellen är otympligt stor för vanliga människor med vanliga plånböcker, men rent teoretiskt kan du så klart ladda in och ur delar av modellen som de behövs (det görs för inferens- alltså att köra en färdig modell, vilket inte alls är lika jobbigt eftersom du "enbart" behöver göra det kvadratiskt antal gånger som du har tokens som du vill köra inferensen på, trots det är även en 70b modell extremt jäkla trög att köra på en dator om du inte kan avlasta stora delar av modellen i grafikminnet. Har du en färdig tränad modell kan du kvantisera den för att göra den mer åtkomlig med konsument hårdvara... du kan grovt räkna modellens storlek * 4 för att räkna ut hur många GB RAM du behöver för att avlasta hela modellen (populära kvantiseringsstorlekar kan du i stort estimera den behöva lika mycket grafikminne som modellen är stor för optimal prestanda, alltså en kvantiserad 7b modell bör ha minst 7GB VRAM för gå i acceptabel hastighet, en 70b modell ca 70GB osv)
Därför är det är det inte praktiskt möjligt att träna modeller över "internet" så som tex andra kända internet supernätverk som Folding@Home, bitcoin osv, det är problem tacksamma diskreta "små uppgifter" som mer eller mindre designade att utnyttja den uppsättningen.
Det som går göra är så klart att hyra kraftigt hårdvara i molnet, som Amazon, Microsoft, IBM mfl har tillgängligt men det skulle vara tiotusentalskronor om dagen...
Och för att förtydliga Grok är 300 miljarder parametrar, det är mer än 4 gånger större än Llama2. (Och nästan dubbelt så stort som GPT-3 var)
Och ytterligare förtydligande, bara för att KÖRA inferens på Grok behöver du ungefär 8 sådana här.
https://www.amazon.com/NVIDIA-Ampere.../dp/B09N95N3PW