Vinnaren i pepparkakshustävlingen!
2009-12-20, 16:43
  #1
Avstängd
fläskbaks avatar
Jag behöver lagra och analysera en information i storleksordningen 10 miljoner rader. Till detta vill jag använda en databaslösning som inte är en konventionell SQL databas av typen mySQL, eller msSQL jag skulle istället vilja ha en databas där man lätt kan se informationen man ha på ett överskåligt sätt, i textfiler eller liknande och inte som binär data.

Tydligen så det kan man använda XML-databaser som man kan använda för detta ändamål:
http://www.rpbourret.com/xml/XMLAndDatabases.htm

Känner ni till några andra databaslösningar som lagrar sin data som lättöverskådliga icke-binära filer?
Citera
2009-12-20, 17:26
  #2
Medlem
f.d. pzhukkes avatar
Citat:
Ursprungligen postat av fläskbak
Jag behöver lagra och analysera en information i storleksordningen 10 miljoner rader. Till detta vill jag använda en databaslösning som inte är en konventionell SQL databas av typen mySQL, eller msSQL jag skulle istället vilja ha en databas där man lätt kan se informationen man ha på ett överskåligt sätt, i textfiler eller liknande och inte som binär data.

Tydligen så det kan man använda XML-databaser som man kan använda för detta ändamål:
http://www.rpbourret.com/xml/XMLAndDatabases.htm

Känner ni till några andra databaslösningar som lagrar sin data som lättöverskådliga icke-binära filer?
Förlåt att jag säger detta men.
Hur kan du anse att sitta och bläddra i en fil är enklare än att kolla informationen i t.ex. phpmyadmin för MySQL?

Vill du ha informationen presenterad i en fil så går det ju att slänga ihop ett skript som hämtar ur datan och skriver ner den till en fil.
Citera
2009-12-20, 17:34
  #3
Avstängd
fläskbaks avatar
...

Man vet vad man har. Informationen ska ligga i flat-files så att jag vet vad jag har och enkelt kan titta på innehållet och flytta det. php-admin är ett vertyg som används specifikt för webbapplikationer det passar inte till det jag ska ha det till.
Citera
2009-12-20, 21:44
  #4
Moderator
Protons avatar
Att ha så pass mycket data i vanliga XML-filer eller liknande flatfil-struktur är ju definitivt ingenting attt rekommendera ur ren prestandasynpunkt. Det där hade ju jag använt en vanlig databas till faktiskt eftersom den lär vara betydligt bättre optimerad för att "läsa och flytta" data.

Finns för övrigt vanliga windowsprogram för att manipulera mysql med för den delen.
Citera
2009-12-20, 21:51
  #5
Avstängd
fläskbaks avatar
Citat:
Ursprungligen postat av Proton
Att ha så pass mycket data i vanliga XML-filer eller liknande flatfil-struktur är ju definitivt ingenting attt rekommendera ur ren prestandasynpunkt. Det där hade ju jag använt en vanlig databas till faktiskt eftersom den lär vara betydligt bättre optimerad för att "läsa och flytta" data.

Finns för övrigt vanliga windowsprogram för att manipulera mysql med för den delen.

"prestandasynpunkt." Du utgår du från någon sorts webbprogrammeringsperspektiv där du tror man måste minimera tiden för att utföra en viss procedur. Jag behöver inte göra något sådant. För mig kvittar det om en query tar en millisekund eller 10 sekunder. Jag ska bara ha resultaten själv ingen annan ska ansluta till databasen.
__________________
Senast redigerad av fläskbak 2009-12-20 kl. 21:53.
Citera
2009-12-20, 21:57
  #6
Moderator
Protons avatar
Citat:
Ursprungligen postat av fläskbak
"prestandasynpunkt." Du utgår du från någon sorts webbprogrammeringsperspektiv där du tror man måste minimera tiden för att utföra en viss procedur. Jag behöver inte göra något sådant. För mig kvittar det om en query tar en millisekund eller 10 sekunder. Jag ska bara ha resultaten själv ingen annan ska ansluta till databasen.
Jag anser fortfarande att en vanlig databas är att rekommendera i ditt fall, om inte annat för att jag skulle tycka att det vore ganska drygt att sitta och leta efter data i en XML-fil eller nåt annat sånt junk. Dessutom låter det som om den där filen skulle kunna ta en hel del plats med.
Citera
2010-01-22, 23:37
  #7
Medlem
DigGaNs avatar
Vad gör att du inte kan använda mysql eller mssql?

Citat:
Ursprungligen postat av Proton
Jag anser fortfarande att en vanlig databas är att rekommendera i ditt fall, om inte annat för att jag skulle tycka att det vore ganska drygt att sitta och leta efter data i en XML-fil eller nåt annat sånt junk. Dessutom låter det som om den där filen skulle kunna ta en hel del plats med.

Om varje rad är 10 bytes (tio tecken) * 10 000 000 = 100 000 000 vilket i sin tur blir
95.3674 Mbytes. Inte så farligt utrymmesmässigt men lär ju ta fett tid och öppna filen
Citera
2010-01-24, 10:27
  #8
Medlem
Citat:
Ursprungligen postat av DigGaN
Vad gör att du inte kan använda mysql eller mssql?



Om varje rad är 10 bytes (tio tecken) * 10 000 000 = 100 000 000 vilket i sin tur blir
95.3674 Mbytes. Inte så farligt utrymmesmässigt men lär ju ta fett tid och öppna filen

Kör man t.ex. notepad++ eller UltraEdit på en någolunda modern dator så är det inga problem att öppna upp filer av den storkeleken.

Mvh,
KF
Citera
2010-01-25, 14:25
  #9
Medlem
DigGaNs avatar
Citat:
Ursprungligen postat av kfluffie
Kör man t.ex. notepad++ eller UltraEdit på en någolunda modern dator så är det inga problem att öppna upp filer av den storkeleken.

Mvh,
KF

Sant men eftersom han planerar att använda "icke-konventionalla"-lösningar så kommer han nog använda MsWord för att öppna dom
Citera
2010-01-26, 09:02
  #10
Medlem
ministatens avatar
Citat:
Ursprungligen postat av fläskbak
"prestandasynpunkt." Du utgår du från någon sorts webbprogrammeringsperspektiv där du tror man måste minimera tiden för att utföra en viss procedur. Jag behöver inte göra något sådant. För mig kvittar det om en query tar en millisekund eller 10 sekunder. Jag ska bara ha resultaten själv ingen annan ska ansluta till databasen.
Bra sagt. Det finns definitivt en sån dbm där ute. Nån slags Key-value db kanske som sparar datan internt i JSON skulle kanske passa. JSON är likt xml men mycket kompaktare

Nåväl, varför inte bara ha datan i kommaseparerade filer? Enkelt att söka i och tar liten plats.

Vilket format får du datan ?
Citera
2010-01-26, 09:14
  #11
Medlem
ministatens avatar
Citat:
Ursprungligen postat av DigGaN
Sant men eftersom han planerar att använda "icke-konventionalla"-lösningar så kommer han nog använda MsWord för att öppna dom
Ett vettigt alternativ i eran windoz-värld kanske. Annars tar det ju nolltid att göra en grep på en 100Gb csv-fil i Unix/linux.
Citera
2010-01-26, 18:14
  #12
Medlem
ministatens avatar
Citat:
Ursprungligen postat av ministaten
Nåväl, varför inte bara ha datan i kommaseparerade filer? Enkelt att söka i och tar liten plats.
Ytterligare en fördel med csv-filer är att de är mycket enkla att läsa in i tex msaccess. Sql kan ofta vara overkill, men enkelheten att ställa komplicerade frågor är inte att förakta. Couchdb är annars en icke-sql lösning
Citera

Stöd Flashback

Flashback finansieras genom donationer från våra medlemmar och besökare. Det är med hjälp av dig vi kan fortsätta erbjuda en fri samhällsdebatt. Tack för ditt stöd!

Stöd Flashback