Vilket projekt kan maximera bruket av min beräkningskraft?

Sitter på en burk med:
3700X
RTX 2070
64GB DDR4

Istället för att bara göra något så enkelt som att tugga ethereum hela dagarna så skulle det vara kul om det gick göra något mer produktivt med allt detta.
Särskilt mängden RAM gissar jag kan vara användbart till något, men jag vet inte vad.

En tanke som har slagit mig är att lära mig lite tensorflow och se om jag assistera lite i marknadsföringen för några släktingars företag. Har förstått att GPU:n går använda till de beräkningarna.
Har en liten idé om vad som kan göras, men det är som mest ett tankefoster i det här stadiet.

Men har ni några idéer på vad man kan göra för att verkligen göra bruk av allt detta?
Tänkte försöka samanställa all tillgänglig företagsdata i ett visst län framöver om det går göra något kul av det.

Lägger detta i pythonforumet då det är det spåret jag är inne på just nu, då det verkar rätt så smidigt att få väldigt mycket gjort med det.

Tja MLM är väl bra? Gör en egen MLM via Tensors..

Tensors kan du göra manuellt genom bara en numpy.ndarray om du inte verkligen vill göra en egen Tensor helt från början.

En bra video på hur man gör Tensors:
https://www.youtube.com/watch?v=o64FV-ez6Gw

Ta för dig, men tänk på:
- Du är inte längre i en nybörjardomän!
- Ett krav är att du förstår Pythons klasser och OOC i Python.
- Du måste klara av att räkna med matriser och förstå vad Tensors är.
- Du måste förstå statisk python, dvs python med type-hints för videon.
- Tempot i videon är av en snabb takt och Joel går snabbt igenom sin kod när han kodar.

Klarar du detta har du en bra guide på hur du gör en egen MLM och en egen "deep learning"-modul som givetvis kräver GPU.

Vad är MLM?
Är det multilevel marketing/modeling eller är det masked language modeling du menar?
Eller något helt annat?

Jo tanken är att det ska vara ganska svårt så jag har något att stångas med, för det innebär att det hela tiden dyker upp nya begrepp och verktyg som jag får googla och lär mig praktiskt och kontinuerligt i processen. Gjorde nyss ett mindre webscrapingprojejkt som jag för närvarande tänkte utöka med rotation av proxys, men det har varit extremt lärorikt trots att det varit ett så litet projekt, men jag tänkte testa vingarna och se om jag klarar av att peta upp svårigheten några snäpp.
Kände att det kan vara den bättre extremen mot att fastna i tutorial hell.

Gällande OOC, är det objektorientering du tänker på då?
Har pysslat lite inledande med det i C# under programmering 1 och 2, och jag antar att arbetssättet åtminstone liknar detta i python.

Tjae, matriser har jag snubblat förbi någon gång för några år sedan gällande ett annat intresse tror jag, så det borde nog gå att komma igång med.
Och tensorer är flerdimensionella matriser va?

Ska vara MLN; Multi Layered Network. Dvs neurala nätverk


Att göra ett eget MLN kräver mer kunskaper i vad MLN är och hur tensor fungerar. För en Tensor är en matris eller en array. Kolla länken jag skickade dig så kan du hänga med där.


C# bygger på OOC så ja, du bör ju ha koll på läget där. Python är också objektsorienterat, men nybörjare brukar tänka funktionsorienterat. Sedan kan Pythons klasser omformas helt öppet, vilket är ovant för de flesta.

Nu vet jag inte riktigt vad du tänkt dig för marknadsföring, men kan mycket väl vara så att ML inte är det bästa verktyget. Min åsikt är att ML i sådana fall ska användas för att det är det bästa verktyget, inte för att man har för mycket beräkningskapacitet.

Är det mer vanliga matrisberäkningar som visar sig vara mer lämpat så skulle jag rekommendera pandas, som är ett Python-bibliotek som är högst optimerat. Några miljoner rader data är inget problem.

Vet inte riktigt vad du menar med "assistera lite i marknadsföringen", kan du ge ett ungefärligt exempel?

Det krävs förhållandevis komplexa nätverk för att verkligen behöva beräkningskraften från ett 2070. Hur mycket och vad för data har du? Vad vill du göra med den?

Vidare är kan man nog säga att det oftast inte är modellen som är det kluriga/jobbiga/tidskrävande, att sätta upp ett neuralt nätverk m.h.a. TensorFlow/Keras är relativt enkelt och med lite testande kan man lätt få ett hum om hur det ska se ut för att få till det hyfsat. Det som är bökigt men gör störst skillnad för slutresultatet är framförallt databehandlingen.

"Assistans i marknadsföringen" låter i mina öron som ett jobb för en Random forest-modell som kan köras på en 15 år gammal CPU och bli klart innan du har hunnit ta första steget mot kaffebryggaren.

Kul video!

Men, tror du helt ärligt att detta är relevant för trådstarten? TS frågar vad man kan göra med 7.5 teraflops och du föreslår att han ska börja skriva ett eget djupinlärningsbibliotek. Nåväl, det kan man säkert göra men för att det ska ens vara lite vettigt så gäller det ju att förstå vad man gör också, annars är det ju helt onödigt och inte speciellt väl investerad tid.

Sen får man nog säga att "räkna med matriser" är ett förskönande av svårighetsgraden va? Det är knappast det som är det kluriga om man tänker skriva ett eget nätverk som kan utnyttja beräkningskraften i ett 2070.

Han ville ha något som kunde utmana hans rigg. En MLN gör det definitivt.

Mjae, en ganska okvalificerad gissning var att det skulle gå göra prediktioner på vilka kunder som mest sannolikt kan vara intresserade av tjänsten som säljs.
Självklart helt värdelöst innan något sålts, men allteftersom listan av ja/nej växer så blir det ju ändå någonting.

Håller på pyssla med webscraping och tänkte försöka samla ihop ett jättedokument med mer eller mindre all företagsdata inom ett län jag får labbarna på (och därefter nästa län, och varför inte nästa efter det).
Enda rent praktiska exemplet på att använda maskinlärning för något dylikt jag sett var någon som använde det när han ringde till telecomkunder och gjorde prediktioner på vilka som kunde vara sannolika offer för ytterligare tjänster.
Dock hade han en helt annan mängd data som var bättre strukturerad, och jag förstår om hans data var mycket bättre lämpad för ändamålet.

Så som sagt, det är mest av ett tankefoster.

Sedan har jag haft lite tankar sedan längre tillbaka att det kanske skulle vara kul att göra en groundzero schackmotor (tror jag det kallas), och där spelar ju verkligen beräkningskraften in då det ska nötas match efter match in absurdum.
Tänkte att får man en hygglig ELO-rating på den så är det kanske något att klämma in i sin portfolio.

Men det är mer av ett projekt som finns i molnet av fantasier tills jag inte har något mer produktivt att koda längre.
Just nu har jag fullt upp med webscrapingen och att försöka inte vara en sådan inbiten nörd så min fru har en vettig make att umgås med.

Det behöver det inte alls göra.

Okej! Utan att veta vad det är för data (men jag misstänker att det inte är typ bilder eller filmer av kunder, utan snarare typ inkomst, adress, ålder, civilstatus etc.) så är det ingen idé att ens starta ditt 2070 för det kommer antagligen ta längre tid att låta GPU:n beräkna något än att lägga allt på CPU:n.

Det låter som ett kul projekt och vill du ha nån att bolla med så kan du skicka ett PM!

Men jag tror inte att ett stort komplext nätverk med massa lager är rätt väg att gå

Ja det är bara företag det gäller då det är företagstjänster, men tänkte rippa mer eller mindre allt som kan vara relevant.
Befattningshavare, bokslut, adress, näringsgrensindelning, registreringsdatum, ja allt som finns på vanliga sidor.

Will do, det är ändå nästa steg i processen så snart jag har all data sparad.
Sedan tar det väl någon månad av telefonsamtal innan det finns någon beräkning att göra av allt. Men till hösten tänkte jag antagligen börja på det här.

Clippy säger: Hey it looks like you're writing a trading robot!

Kan informera om att sådana redan har skrivits. Man "fuskar" i regel och tränar dem på historiska data till att börja med.

De simulerar trades med givna historiska aktiekurser och den får gambla med låtsaspengar.

Det svåra är att få tag på aktiekurser och andra bolagsuppgifter decennier tillbaks om man inte är ett finansiellt institut.

Sen kan du ju bygga en ny daytrading simulator åt den där du scrapat in aktuella aktiekurser. När den blir riktigt bra kan du använda den till att daytrada in riktiga pengar.

SAS Viya är annars populärt att använda sig av för marknadsanalys och Business Intelligence. Är du akademiker kan du få en studentlicens/trial. Lyft några idéer från dem vetja.

Nope, ingen tradingrobot, även om den tanken slagit mig också.
Dock förstår jag den tanken redan föregåtts av multimiljardföretag med dataanalysdoktorander och hela våningar med hårdvara, och det känns olönt att tävla med en sådan motståndare då jag även är högst ointresserad av att sätta mig in i daytrading.

Nej, det jag tänkte på var statistisk analys av vilken sorts kund som kan tänkas vara mest intresserad av tjänsten som säljs.
Kräver en hel del kunder som sagt jag eller nej först, men det kanske kunde ge en fingervisning iallafall.