Kan ChatGPT analysera stora mängder textdokument?

Private GPT har en spärr som gör att man kan ladda upp på max 20st filer, max 10m totalt.

Låt säga att man har massor av artiklar som man vill att GPT ska analysera. Hur gör man det?

Kan man via API få GPT att läsa filer som ligger på en annan server?

Ja.

Föreslår att du börjar kika på detta:

https://python.langchain.com/docs/get_started/introduction

Och för en mer low code lösning kikar du här:

https://n8n.io

De har en community edition du kan hosta själv, den har langchain moduler integrerat.

Intressant indeed.
Men jag är inte utvecklare. Hur skulle du säga att jag ska börja för att få detta att funka?
Dvs jag är en avancerad användare och kan mecka . . men inte skriva kod.
Jag har Chat GPT 4 och jag har en server och en Googledrive med massor av text PDFer.
Jag vill att GPT ska analysera dessa och jag vill kunna promta frågor och att den ska lära sig mer och mer om ämnet.
Vad göra?
Ska jag köpa n8n?
Och sen?

Om du kan hosta n8n på din server så kan du göra det kostnadsfritt. I n8n kopplar du ihop olika api:er och moduler. Det är mest grafiskt UI som är nodbaserat, du sätter ihop olika workflows.

Kolla dessa tutorials t.ex.

https://youtu.be/IqnwRcF_K-0?si=0EJdk_dFBjLyORYE

08:50 in i videon nedan är vad du är intresserad av.

https://youtu.be/i31rv5TcJAE?si=oAMo0b9TOPp-Rf1S

Mer specifikt exakt vad du vill uppnå:

https://youtu.be/NIzGctlvzBM?si=V8xc98C4DRdcVa23

Om minne:

https://thinhdanggroup.github.io/langchain-memories/

Stort tack. Om jag fattar rätt så jag installera denna
https://python.langchain.com/docs/get_started/introduction
på mitt webbhotell?

Nej, det är n8n du installerar. Langchain finns intergrerad där.

Du får kika på dokumentationen:

https://docs.n8n.io/choose-n8n/#platforms

Tack för din info Den har varit nyttig. Jag har börjat kolla på det här.
Jag är ingen utvecklare - kan bara bygga hemsidor i Wordpress och ratta plugins etc.

Som jag fattar behöver man en vektordatabas för att få detta att funka. Dvs söket i databaserna är vektorsök. Har kollat på Pinecone men det verkar kosta en del. Från 200 till 30.000/mån.
Har svårt att fatta hur mycket som kommer behövas.
Här är en guide till vektor DBs
Finns open source också.
https://www.datacamp.com/blog/the-top-5-vector-databases

Vet du vad som behövs i hårdvaruväg om man vill sätta upp en egen vektorserver?

Inte gjort det själv, och har inte koll på hårdvaruspecs tyvärr, men tipsar om att kolla in postgres plugin med vectorstöd, pgVector:

https://github.com/pgvector/pgvector

Stort tack!
Men vad är detta om det skulle förklara för en idiot som 526?
Är det mjukvara för en vektor-server?

Beroende på den totala storleken av filerna kan en ganska simpel lösning vara att sammanslå allt till en fil, vilket det finns ganska många verktyg för. Därefter skapa en customGPT om du redan betalar för ChatGPT 4. De har också en begränsning på 20 filer eller så, men slår du samman alla PDF-filer till en enda är det bara storleken som kan vara en gräns. Har själv skapat CustomGPT med över 1000 sidor och det har inte alls varit något problem.

Ja, det CHAT_GPT är uppbyggt på syftar att analyser just lingvistik. Den kan analysera dina texter.
Faktum är att denna sak är så enkel att du själv kan göra det helt gratis genom t.ex NLTK.
Att du bara kan ladda upp 20 filer, max 10MB är troligen bandbredd och begränsningar till att du inte skall kartlägga stora hela databaser.

Hur du använder GPT till detta är helt beroende på vilken frontend du använder så det kan vi inte sia om här.