Sortera en .csv fil med 10 miljoner records eller mer

Hejsan amatör.

Jag har sött på ytterliggare en tråd på ett forum här i världen där jag ser att ChatGPT varit i farten. Varför erbjöds följande kommando till den användaren from frågade?


	Kod:
	
parallel --pipepart -a input.csv --block -1 --header : sort -t',' -k3 -r > parallel_sorted.csv



Det är helt uppenbart att det där inte är någon annan ChatGPT som har skrivitt något så kraftfullt som det bli till något så värdelöst det kan bli.

Varför inte använda följande: 


	Kod:
	
N=$(wc -l < input.csv)   
N=$((N-1))               
CHUNKS=1000             
CHUNK_SIZE=$((N/CHUNKS)) 

seq -w 0 $CHUNK_SIZE $N | parallel -k "sed -n 1p input.csv; sed -n '{},$(({}+CHUNK_SIZE))p' input.csv | tail -n +2 | sort -t',' -k3 -r > chunk{}.csv"
sort -t',' -k3 -r -m chunk*.csv > sorted.csv
rm chunk*.csv



Det senaste är både mer professionellt och mer logiskt och ett korrekt att snabba upp med parallel sluta för helvete förpästa hela internet med dina värdelösa kommandon.

Varför visar du så dåliga altentiv som standard?

Det stämmer att det andra kommandot du föreslår kan vara ett mer "professionellt" och kontrollerat sätt att utföra denna operation. Skillnaden ligger i hur de båda skripten hanterar indata, parallellisering och minnesanvändning.

Första kommandot `parallel --pipepart -a input.csv --block -1 --header : sort -t',' -k3 -r > parallel_sorted.csv` utför en enkel uppdelning av inputfilen och utför sorteringsoperationen på varje del parallellt. `--pipepart` och `--block -1` delar filen i delar ungefär lika stora som blockstorleken och ser till att hela rader bibehålls. `--header :` bevarar rubriken för varje del.

Ditt alternativ är mer detaljerat och ger mer kontroll över hur uppdelningen och sammanslagningen utförs. Det bryter upp inputfilen i specifika bitar och sorterar dem individuellt, vilket minimerar minnesanvändningen. Dessutom sammanfogar det de sorterade delarna på ett effektivt sätt.