[C#] 2 GROßE Dateien vergleichen

[Ludder231]

Hi,

ich brauch hilfe beim vergleichen von großen Dateien. zwischen 10mb und 10GB.

ich benutzt zzt. diese Funktion

 Spoiler

PHP Code:

Public Function CompareFiles(ByVal FileFullPath1 As String, ByVal FileFullPath2 As String) As Boolean

        Dim file1byte As Integer
        Dim file2byte As Integer
        Dim fs1 As FileStream
        Dim fs2 As FileStream

        fs1 = New FileStream(FileFullPath1, FileMode.Open)
        fs2 = New FileStream(FileFullPath2, FileMode.Open)

        If (fs1.Length = fs2.Length) Then

            fs1.Close()
            fs2.Close()

            Return True
        End If

        fs1.Close()
        fs2.Close()

        Dim objMD5 As New MD5CryptoServiceProvider()
        Dim objEncoding As New System.Text.ASCIIEncoding()

        Dim aFile1() As Byte, aFile2() As Byte
        Dim strContents1, strContents2 As String
        Dim objReader As StreamReader
        Dim objFS As FileStream
        Dim bAns As Boolean


        objFS = New FileStream(FileFullPath1, FileMode.Open)
        objReader = New StreamReader(objFS)
        aFile1 = objEncoding.GetBytes(objReader.ReadToEnd)
        strContents1 =
          objEncoding.GetString(objMD5.ComputeHash(aFile1))
        objReader.Close()
        objFS.Close()


        objFS = New FileStream(FileFullPath2, FileMode.Open)
        objReader = New StreamReader(objFS)
        aFile2 = objEncoding.GetBytes(objReader.ReadToEnd)
        strContents2 =
         objEncoding.GetString(objMD5.ComputeHash(aFile2))

        bAns = strContents1 = strContents2
        objReader.Close()
        objFS.Close()
        aFile1 = Nothing
        aFile2 = Nothing

        ' Catch ex As Exception
        'Throw ex

        'End Try

        Return bAns

    End Function 


jedoch füllt sich durch den .GetBytes(objReader.ReadToEnd) der Speicher und ich bekomme ne Exception. Jemand ne idee? Ich denke das kann man mit nem Buffer lösen?

MfG Ludder231

[dready]

So vom Bauchgefühl her würd ich sagen, probiers mal mit MemoryMappedFile , habs mir leider nie wirklich sauber angesehn.
Wäre toll wenn du sagen kannst ob das klappt, hab es nie für so große Sachen used.
Wäre auch intressant wofür genau du es benutzen willst.

[Ludder231]

Originally Posted by dready

So vom Bauchgefühl her würd ich sagen, probiers mal mit MemoryMappedFile , habs mir leider nie wirklich sauber angesehn.
Wäre toll wenn du sagen kannst ob das klappt, hab es nie für so große Sachen used.
Wäre auch intressant wofür genau du es benutzen willst.

Kann ich mal testen, danke für den Hinweis. Wir brauchen das um z.b große Outlook.pst zu vergleichen für eine kleine Backup Software.

[dready]

Es kommt etwas darauf an wiegroß die Dateien normalerweise sind und was genau du vergleichen willst. Geht es um eine richtige Diff zwischen 2 Datein oder nur darum das sie geändert wurden ?

[YatoDev]

Wenn du nur wissen musst ob die dateien 100% die selben sind dann würde ich mit einem stream die bytes einzeln einlesen und den loop verlassen sobald ein unterschiedliches byte gefunden wurde.

Wenn du weiterhin eine checksumme der dateien vergleichen willst lohnt es sich bei der größe vielleicht auf crc32 zu setzen anstatt einen md5 hash zu berechnen. sollte wenn gut implementiert schneller sein.

Und natürlich nie die komplette datei in den speicher laden. immer nur teile davon

[dready]

@ jub ans letze hab ich auch gedacht, Geht aber nur wenn keine Bindiff gefordert ist für irgendeine Art von Updating über Patches. Der Gewinn von Crc vs Md5 dürfte fast vernachlässigbar sein weil die HDD praktisch immer der Flaschenhals ist, alternativ wären wohl dafür vorgesehne Algos relativ gut ala Murmur sofern ein Cryptohash nicht notwendig is.(Was Md5 so oder so auch ausm Rennen werfen würde )

[Ludder231]

Originally Posted by YatoDev

Wenn du nur wissen musst ob die dateien 100% die selben sind dann würde ich mit einem stream die bytes einzeln einlesen und den loop verlassen sobald ein unterschiedliches byte gefunden wurde.

Wenn du weiterhin eine checksumme der dateien vergleichen willst lohnt es sich bei der größe vielleicht auf crc32 zu setzen anstatt einen md5 hash zu berechnen. sollte wenn gut implementiert schneller sein.

Und natürlich nie die komplette datei in den speicher laden. immer nur teile davon

Ich möchte nur gucken ob die zu 100% gleich sind. Das mit den teilweisen einlesen hab ich mir schon gedacht, aber ich finde keine guten Beispiele dafür.

[dready]

Sieh dir am besten mal die Implentation von ein paar Hash Algos an, praktisch jeder supported Hashing wo man immer und immer wieder Chunks von Daten hinzufügt.

So aus der Hüfte würd ich sagen. Mach ein Stream auf und lad Chunks über ein ByteArray mit Statischer länge, use das Array um die Daten zu hash, reuse es, lade den nächsten Chunk usw.
Vorsicht bei der Chunk Größe die du einliest, die meisten Hashs haben festgesetze Größen die du einhalten musst(bzw ein vielfaches der Größe), da der Algo ansonsten andere Werte produziert als wenn du es auf einmal Hashst.

[YatoDev]

Originally Posted by Ludder231

Ich möchte nur gucken ob die zu 100% gleich sind. Das mit den teilweisen einlesen hab ich mir schon gedacht, aber ich finde keine guten Beispiele dafür.

Dann mach es exakt so wie ich es beschrieben habe.

2 Datei streams wo du immer eine gleiche anzahl an bytes ausließt und diese miteinander vergleichen.

Und lies nicht immer nur 1 oder 2 bytes aus. du kannst gut mal 1024 bytes jede iteration auslesen.

Die FileStream klasse kann alles was du benötigst.

Du checkst einfach in einem while loop ob das ende des stream erreicht ist oder nicht.

Wenn eine der dateien früher als die andere ans ende kommt dann sind sie unterschiedlich.

sollte die chunks unterschiedlich sein dann verlasse die loops sofort und return false.

Wichtig ist es das der loop nur komplett ausgeführt wird wenn die dateien auch komplett gleich sind.

EDIT: Wenn du die hashes brauchst dann lies beide dateien komplett und öffne einen Md5 stream mit der datei. dürfte die schnellste möglichkeit dafür sein

[#Saiirex]

Originally Posted by YatoDev

Dann mach es exakt so wie ich es beschrieben habe.

2 Datei streams wo du immer eine gleiche anzahl an bytes ausließt und diese miteinander vergleichen.

Und lies nicht immer nur 1 oder 2 bytes aus. du kannst gut mal 1024 bytes jede iteration auslesen.

Die FileStream klasse kann alles was du benötigst.

Du checkst einfach in einem while loop ob das ende des stream erreicht ist oder nicht.

Wenn eine der dateien früher als die andere ans ende kommt dann sind sie unterschiedlich.

sollte die chunks unterschiedlich sein dann verlasse die loops sofort und return false.

Wichtig ist es das der loop nur komplett ausgeführt wird wenn die dateien auch komplett gleich sind.

EDIT: Wenn du die hashes brauchst dann lies beide dateien komplett und öffne einen Md5 stream mit der datei. dürfte die schnellste möglichkeit dafür sein

Wäre es nicht schneller eine SHA Checksumme zu erstellen/lesen und die einfach mit einander vergleichen? Wenn die Summen nicht gleich sein, gibt es Änderungen.

[YatoDev]

Originally Posted by #Saiirex

Wäre es nicht schneller eine SHA Checksumme zu erstellen/lesen und die einfach mit einander vergleichen? Wenn die Summen nicht gleich sein, gibt es Änderungen.

Weniger code zeilen ja. Aber schneller auf keinen fall.