2 GROßE Dateien vergleichen

Hi,

ich brauch hilfe beim vergleichen von großen Dateien. zwischen 10mb und 10GB.

ich benutzt zzt. diese Funktion


jedoch füllt sich durch den .GetBytes(objReader.ReadToEnd) der Speicher und ich bekomme ne Exception. Jemand ne idee? Ich denke das kann man mit nem Buffer lösen?

MfG Ludder231

So vom Bauchgefühl her würd ich sagen, probiers mal mit MemoryMappedFile , habs mir leider nie wirklich sauber angesehn.
Wäre toll wenn du sagen kannst ob das klappt, hab es nie für so große Sachen used.
Wäre auch intressant wofür genau du es benutzen willst.

Quote:

Originally Posted by dready So vom Bauchgefühl her würd ich sagen, probiers mal mit MemoryMappedFile , habs mir leider nie wirklich sauber angesehn. Wäre toll wenn du sagen kannst ob das klappt, hab es nie für so große Sachen used. Wäre auch intressant wofür genau du es benutzen willst.

Kann ich mal testen, danke für den Hinweis. Wir brauchen das um z.b große Outlook.pst zu vergleichen für eine kleine Backup Software.

Es kommt etwas darauf an wiegroß die Dateien normalerweise sind und was genau du vergleichen willst. Geht es um eine richtige Diff zwischen 2 Datein oder nur darum das sie geändert wurden ?

Wenn du nur wissen musst ob die dateien 100% die selben sind dann würde ich mit einem stream die bytes einzeln einlesen und den loop verlassen sobald ein unterschiedliches byte gefunden wurde.

Wenn du weiterhin eine checksumme der dateien vergleichen willst lohnt es sich bei der größe vielleicht auf crc32 zu setzen anstatt einen md5 hash zu berechnen. sollte wenn gut implementiert schneller sein.

Und natürlich nie die komplette datei in den speicher laden. immer nur teile davon ;)

@[Only registered and activated users can see links. Click Here To Register...] jub ans letze hab ich auch gedacht, Geht aber nur wenn keine Bindiff gefordert ist für irgendeine Art von Updating über Patches. Der Gewinn von Crc vs Md5 dürfte fast vernachlässigbar sein weil die HDD praktisch immer der Flaschenhals ist, alternativ wären wohl dafür vorgesehne Algos relativ gut ala Murmur sofern ein Cryptohash nicht notwendig is.(Was Md5 so oder so auch ausm Rennen werfen würde :D )

Quote:

Originally Posted by YatoDev Wenn du nur wissen musst ob die dateien 100% die selben sind dann würde ich mit einem stream die bytes einzeln einlesen und den loop verlassen sobald ein unterschiedliches byte gefunden wurde. Wenn du weiterhin eine checksumme der dateien vergleichen willst lohnt es sich bei der größe vielleicht auf crc32 zu setzen anstatt einen md5 hash zu berechnen. sollte wenn gut implementiert schneller sein. Und natürlich nie die komplette datei in den speicher laden. immer nur teile davon ;)

Ich möchte nur gucken ob die zu 100% gleich sind. Das mit den teilweisen einlesen hab ich mir schon gedacht, aber ich finde keine guten Beispiele dafür.

Sieh dir am besten mal die Implentation von ein paar Hash Algos an, praktisch jeder supported Hashing wo man immer und immer wieder Chunks von Daten hinzufügt.

So aus der Hüfte würd ich sagen. Mach ein Stream auf und lad Chunks über ein ByteArray mit Statischer länge, use das Array um die Daten zu hash, reuse es, lade den nächsten Chunk usw.
Vorsicht bei der Chunk Größe die du einliest, die meisten Hashs haben festgesetze Größen die du einhalten musst(bzw ein vielfaches der Größe), da der Algo ansonsten andere Werte produziert als wenn du es auf einmal Hashst.

Quote:

Originally Posted by Ludder231 Ich möchte nur gucken ob die zu 100% gleich sind. Das mit den teilweisen einlesen hab ich mir schon gedacht, aber ich finde keine guten Beispiele dafür.

Dann mach es exakt so wie ich es beschrieben habe.

2 Datei streams wo du immer eine gleiche anzahl an bytes ausließt und diese miteinander vergleichen.

Und lies nicht immer nur 1 oder 2 bytes aus. du kannst gut mal 1024 bytes jede iteration auslesen.

Die FileStream klasse kann alles was du benötigst.

Du checkst einfach in einem while loop ob das ende des stream erreicht ist oder nicht.

Wenn eine der dateien früher als die andere ans ende kommt dann sind sie unterschiedlich.

sollte die chunks unterschiedlich sein dann verlasse die loops sofort und return false.

Wichtig ist es das der loop nur komplett ausgeführt wird wenn die dateien auch komplett gleich sind.

EDIT: Wenn du die hashes brauchst dann lies beide dateien komplett und öffne einen Md5 stream mit der datei. dürfte die schnellste möglichkeit dafür sein

Quote:

Originally Posted by YatoDev Dann mach es exakt so wie ich es beschrieben habe. 2 Datei streams wo du immer eine gleiche anzahl an bytes ausließt und diese miteinander vergleichen. Und lies nicht immer nur 1 oder 2 bytes aus. du kannst gut mal 1024 bytes jede iteration auslesen. Die FileStream klasse kann alles was du benötigst. Du checkst einfach in einem while loop ob das ende des stream erreicht ist oder nicht. Wenn eine der dateien früher als die andere ans ende kommt dann sind sie unterschiedlich. sollte die chunks unterschiedlich sein dann verlasse die loops sofort und return false. Wichtig ist es das der loop nur komplett ausgeführt wird wenn die dateien auch komplett gleich sind. EDIT: Wenn du die hashes brauchst dann lies beide dateien komplett und öffne einen Md5 stream mit der datei. dürfte die schnellste möglichkeit dafür sein

Wäre es nicht schneller eine SHA Checksumme zu erstellen/lesen und die einfach mit einander vergleichen? Wenn die Summen nicht gleich sein, gibt es Änderungen.

Quote:

Originally Posted by #Saiirex Wäre es nicht schneller eine SHA Checksumme zu erstellen/lesen und die einfach mit einander vergleichen? Wenn die Summen nicht gleich sein, gibt es Änderungen.

Weniger code zeilen ja. Aber schneller auf keinen fall.