• 2
  • 3
2019-08-07, 20:30
  #25
Moderator
Arne.Ankas avatar
Citat:
Ursprungligen postat av devilaos
En nolla ändrad inte till en etta hur som helst,
Det är just vad som kan hända och jag talar av personlig erfarenhet.

Datorn fungerade jättebra stabilt inga problem att köra tunga spel inga blåskärmar etcetera absolut ingenting talade för att datorn hade gått sönder men en dag upptäckte jag att alla nya säkerhetskopieringar av c: samt gamla säkerhetskopieringar som flyttats till annan enhet inte klarade en integritetskontroll.
När jag grävde i det visade det sig att 1 av 4 minnesmoduler hade gått sönder, enda orsaken till att jag snabbt hittade felet är att jag träffat andra som råkat ut för samma problem.
Citera
2019-08-11, 09:19
  #26
Avstängd
Citat:
Ursprungligen postat av Arne.Anka
Arrangerar om lite bland mina hårddiskar och data ska flytta 650Gb 530.000 filer och 38.000 mappar från extern hårddisk till intern hårddisk.

Finns det nåt bra program för detta som både kan flytta filer samt verifiera datan?
/Arne.Anka


Nu är det ett tag sedan du skrev det där men xcopy är din vän, kan vara bra att veta för framtida bruk:

Kod:
C:\Windows\system32>xcopy /?
Copies files and directory trees.

XCOPY source [destination] [/A | /M] [/D[:date]] [/P] [/S [/E]] [/V] [/W]
                           [/C] [/i] [/Q] [/F] [/L] [/G] [/H] [/R] [/T] [/u]
                           [/K] [/N] [/O] [/X] [/Y] [/-Y] [/Z] [/b] [/J]
                           [/EXCLUDE:file1[+file2][+file3]...]

  source       Specifies the file(s) to copy.
  destination  Specifies the location and/or name of new files.
  /A           Copies only files with the archive attribute set,
               doesn't change the attribute.
  /M           Copies only files with the archive attribute set,
               turns off the archive attribute.
  /D:m-d-y     Copies files changed on or after the specified date.
               If no date is given, copies only those files whose
               source time is newer than the destination time.
  /EXCLUDE:file1[+file2][+file3]...
               Specifies a list of files containing strings.  Each string
               should be in a separate line in the files.  When any of the
               strings match any part of the absolute path of the file to be
               copied, that file will be excluded from being copied.  For
               example, specifying a string like \obj\ or .obj will exclude
               all files underneath the directory obj or all files with the
               .obj extension respectively.
  /P           Prompts you before creating each destination file.
  /S           Copies directories and subdirectories except empty ones.
  /E           Copies directories and subdirectories, including empty ones.
               Same as /S /E. May be used to modify /T.
  /V           Verifies the size of each new file.
  /W           Prompts you to press a key before copying.
  /C           Continues copying even if errors occur.
  /I           If destination does not exist and copying more than one file,
               assumes that destination must be a directory.
  /Q           Does not display file names while copying.
  /F           Displays full source and destination file names while copying.
  /L           Displays files that would be copied.
  /G           Allows the copying of encrypted files to destination that does
               not support encryption.
  /H           Copies hidden and system files also.
  /R           Overwrites read-only files.
  /T           Creates directory structure, but does not copy files. Does not
               include empty directories or subdirectories. /T /E includes
               empty directories and subdirectories.
  /U           Copies only files that already exist in destination.
  /K           Copies attributes. Normal Xcopy will reset read-only attributes.
  /N           Copies using the generated short names.
  /O           Copies file ownership and ACL information.
  /X           Copies file audit settings (implies /O).
  /Y           Suppresses prompting to confirm you want to overwrite an
               existing destination file.
  /-Y          Causes prompting to confirm you want to overwrite an
               existing destination file.
  /Z           Copies networked files in restartable mode.
  /B           Copies the Symbolic Link itself versus the target of the link.
  /J           Copies using unbuffered I/O. Recommended for very large files.

The switch /Y may be preset in the COPYCMD environment variable.
This may be overridden with /-Y on the command line.

Glöm inte att starta cmd.exe eller powershell med adminrättigheter innan du sätter igång.
Citera
2019-08-23, 00:04
  #27
Bannlyst
Citat:
Ursprungligen postat av Arne.Anka
Windows inbyggda är katastrofalt dålig på att hantera större mängder filer och mappar.


Det som är hela poängen extern hårddisk som säkerhetskopieras offsite 24/7 till intern raid1 array som säkerhetskoperias offsite 24/7
Nej det är det inte.....
Citera
2019-08-23, 01:52
  #28
Medlem
Citat:
Ursprungligen postat av EmptyPengPung
Kallas checksum och används internt inom Windows. Och alla andra OS vid filkopiering/flytt

Och sedan när gör Windows en kontroll av flyttade filer?

Och sedan när har hårddiskar slutat att ha sannolikhet för tysta fel?
Citera
2019-08-23, 02:03
  #29
Medlem
Citat:
Ursprungligen postat av devilaos
En nolla ändrad inte till en etta hur som helst, skulle något så drastiskt ske skulle det definitivt märkas på filen och säkerligen även på filstorleken.

Stämmer inte - du får en fil med identisk storlek och identiskt fildatum. Men först x månader/år senare när något program skall använda filinnehållet så kanske korruptionen märks.

Allt eftersom diskarna blir större och större så börjar sannolikheten för tysta bitfel växa, vilket innebär att större disksystem börjar ramla in i situationer där det börjar bli sannolikt med multipla bitfel per år systemet driftas. Just av den anledningen som vissa filsystem (t ex ZFS) inför större hashar på filsystemsdata för att kompensera för att diskarnas egen ECC statistiskt inte längre fullt ut räcker till.

Samt att filsystemen då även kan göra scrub för att provläsa och kontrollera om checksummorna är korrekta eller om paritetsdata i RAID-systemet skall användas för att korrigera datat på den disk som läste fel. I ett vanligt RAID-system kan man inte veta exakt vilken disk som läst fel om man får ett tyst bitfel så traditionell RAID ensamt har problem att veta om det är paritetsdatat som skall korrigeras eller om det var fildata som skall korrigeras.
Citera
2019-08-23, 02:13
  #30
Medlem
Citat:
Ursprungligen postat av Janne6304
Nej det är det inte.....

Jo, Windows kopieringslösning är - för säker spegling av data - katastrofalt dålig. Förutsatt att du känner till alternativen.

Om allt du sett är en T-Ford så kanske du tycker det är en bra bil.
Har du sett en T-Ford och en Volvo Amazon kanske du tycker T-Forden är dålig och Amazonen är en bra bil. Tills du ser ännu bättre lösningar.

Windows kopieringsfunktion (utforskaren, xcopy, ...) jämfört med t ex standard arbetshästen rsync på Unix-system är som att sitta med en stenyxa.
Citera
2019-08-23, 02:24
  #31
Medlem
kraftfoders avatar
Citat:
Ursprungligen postat av cellplast
Jo, Windows kopieringslösning är - för säker spegling av data - katastrofalt dålig. Förutsatt att du känner till alternativen.

Om allt du sett är en T-Ford så kanske du tycker det är en bra bil.
Har du sett en T-Ford och en Volvo Amazon kanske du tycker T-Forden är dålig och Amazonen är en bra bil. Tills du ser ännu bättre lösningar.

Windows kopieringsfunktion (utforskaren, xcopy, ...) jämfört med t ex standard arbetshästen rsync på Unix-system är som att sitta med en stenyxa.

Tja, men att gå in i den externa hårddisken och markera alla mappar, därefter trycka ctrl+c, och in i interna hårddisken och välja "klistra in" har funkat klockrent för mig i alla fall, alla gånger.

Men Arnes dator verkar kanske inte må så bra? -I så fall förstår jag Arnes oro. Men i så fall ligger felen i dålig dator, (trasig), och inte i windows per se. 650 GB är rätt lite i dagens mått mätt. Själv kopierar jag flera TB genom windows, och har faktiskt inte stött på några problems alls. (Förutom när en disk hade kraschat, men jag hade backup på annan disk, så det löste sig).
Citera
2019-08-23, 03:46
  #32
Medlem
Citat:
Ursprungligen postat av kraftfoder
Tja, men att gå in i den externa hårddisken och markera alla mappar, därefter trycka ctrl+c, och in i interna hårddisken och välja "klistra in" har funkat klockrent för mig i alla fall, alla gånger.

Men Arnes dator verkar kanske inte må så bra? -I så fall förstår jag Arnes oro. Men i så fall ligger felen i dålig dator, (trasig), och inte i windows per se. 650 GB är rätt lite i dagens mått mätt. Själv kopierar jag flera TB genom windows, och har faktiskt inte stött på några problems alls. (Förutom när en disk hade kraschat, men jag hade backup på annan disk, så det löste sig).

Men utforskaren har lite problem i ett antal situationer
- flera användare på datorn så den inte har rätt att kopiera vissa filer
- fil med fillås som inte går kopiera vid just det tillfället
- fil som ändrar innehåll vid kopieringstillfället
- för djup path
- omdöpt fil
- kopiering över problematisk nätverksanslutning
- alla diskar har en statistiskt uppgiven "uncorrectable error rate"
- checksumma i nätverkspaket/USB/... har en statistisk sannolikhet att detektera felöverföring
- ...

Blotta faktum att Windows inte har någon sign-off-funktion att allt data kopierats korrekt är katastrofalt dåligt i det fall du har behov av att kunna veta det. Windows kopierar "happy path" utan feedback-loop som verifierar korrekt utfört arbete. I de flesta fall är det bra nog. Men i vissa fall är happy path inte acceptabelt.

Tag denna disk som exempel:
https://www.dustin.se/product/5011128189/n300-nas

Har unrecoverable error rate på en per 1*10^14 bitar läst.

Med 14 TB yta så har den 1,4*10^12 byte data dvs 1,1*10^13 bitar.
Dvs angiven sannolikhet för bitfel är 0,1 bit per full disk eller om man så vill ungefär 1 bit per 100 TB.

Noteras bör att just denna disk har dålig specifikation - många diskar anger 1*10^15 eller 1*10^16 för motsvarande diskstorlek. Dvs 10 eller 100 gånger lägre sannolikhet för ej korrigerbart bitfel.

Men nätverkskorten eller USB-överföringen bjuder också på motsvarande sannolikhet för tysta bitfel - överföringsfel som inte fångas av checksumma.

Problemen växer hela tiden allt eftersom diskarna blir större och större och filer/filöverföringar i motsvarande mån växer. I större lagringsservrar tickar det åtskilliga bitfel per år - inte problem för en hobbyist men oacceptabelt i vissa situationer. Därav varför bättre system inte nöjer sig med ECC-minne + ECC-informationen i disksektorerna utan använder separat integritetsdata för att validera all information.
__________________
Senast redigerad av cellplast 2019-08-23 kl. 03:49.
Citera
2019-08-23, 20:25
  #33
Bannlyst
Citat:
Ursprungligen postat av cellplast
Jo, Windows kopieringslösning är - för säker spegling av data - katastrofalt dålig. Förutsatt att du känner till alternativen.

Om allt du sett är en T-Ford så kanske du tycker det är en bra bil.
Har du sett en T-Ford och en Volvo Amazon kanske du tycker T-Forden är dålig och Amazonen är en bra bil. Tills du ser ännu bättre lösningar.

Windows kopieringsfunktion (utforskaren, xcopy, ...) jämfört med t ex standard arbetshästen rsync på Unix-system är som att sitta med en stenyxa.
Jag har kört med Windows sedan starten 1984 ca och har i mitt jobb samt hemma kopierat en herrans massa hårddiskar under dessa 35år. Aldrig har något gått fel.....
Citera
  • 2
  • 3

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in