Sortera en .csv fil med 10 miljoner records eller mer

Kan man anta att kommatecken bara förekommer som separator-tecken? I så fall så tycker jag följande ser ut att funka bra (testade på en 10 miljoner rader lång fil jag genererade lite snabbt):

Exempel:

[edit]: Går afk, men tippar att ditt problem är att du har kommatecken i textfältet i kolumn 1. Försök ha en separator som är unik, om du envisas med CSV-filer.

Exakt detta har jag redan prövat i bash. Fungerade inte. Testade också med UHF(?) utan framgång. Om du inte bara ser på head och tail, ser data korrekt sorterad ut över hela sample space?

Det ska jag absolut kolla upp! Tack och bock!

Nej, man kan inte göra i c allt som man kan göra i system byggda i c. Inte utan att bygga dessa system.

Det är rätt basic så vi kan släppa du nu. Använd du c istället för mysql.

Har du någon källa som styrker att C inte klarar av att sortera ynka 10 miljoner rader csv? Programmeringsspråket används ju bare bones i fysiksimuleringar med mera.

Tror nästan du måste läsa in i chunks för att behandla ett sånt stort dataset. Blir svårt att sortera och hålla allt i minnet dock. Finns iofs Dask för python men enklast är nog att importera filen i en databas som andra redan konstaterat.

jag körde pandas på något i liknande storlek, och det tog inte så länge.
Runt minuten om jag inte missminner mig.

Gjorde det då med python.

Tror du det?

Sedan kan jag inte förstå varför både C och Bash hellre spottar ut en felaktig sortering än att göra en core dump (C) eller dylik motsvarighet till det aktuella problemet.

Edit: vad tror du angående att använda pthreads i POSIX?

Ska testa Python, men om man inte använder numpy arrays eller liknande (som ändå bygger på C) så blir det nog svårt att få en rimligt snabb sortering av data. Det kan som sagt hända att jag behöver sortera miljardtals rader.

Vet faktiskt inte om det hjälper med fler trådar, är det inte minnet som flaskhalsar? I vilket fall hade jag nog använt python / SQL, en sån lösning är kanske inte den bäst presterande eller mest elegant men den ger dig nog resultat snabbare än nåt hemmaknåp.

Är datamängderna riktigt stora så är det nog många verktyg som inte fungerar så bra.

Eftersom du inte skriver exakt vad du provat och vad som gick snett så är det ju svårt att hjälpa till. Men tex GNU sort ska klara att sortera stora datamängder. Men eventuellt kan du behöva sätta parametern --temporary-directory .

Skulle jag göra detta utan att ta hjälp från något lämpligt färdigt verktyg så skulle jag prova att göra det i två steg.

Först bygga en tabell med enbart sorteringsnyckeln (tredje kolumnen) och teckenposition på första tecknet på hela raden. Denna tabell kan då, om den inte innehåller texterna och onödiga fält, utan bara består av två heltal, med lite tur hållas helt i RAM, så att du kan sortera den i ett svep utan en massa I/O och olika trädindelningar.

Därefter kan du gå igenom den sorterade listan från början till slut, och för varje post hoppa till rätt position i originalfilen och läs in raden där, och skriv ner raden på slutet i en ny fil.

Hmmm. Jag håller med. Det här börja låta mer och mer som ett minnesproblem. MySQL blir en snabb lösning ur ett exekveringsperspektiv, definitivt, men idealet hade varit om jag själv hade kunnat implementera koden i C, eller i andra hand i Bash. Bash kanske inte är så realistiskt? Det fanns ju en användare (mod) i tråden som lyckades sortera 10M data records i bash. Han var inne på förekomsten av separatortecken i det första deskriptionsfältet i csv. Ska kolla upp detta senare. Ni gubbar är guld värda, tack för alla tips, och tar gärna emot fler!