Die Erkennung von doppelten Dateien

Question

Ich möchte doppelte Dateien in einem Verzeichnisbaum erkennen. Wenn zwei identische Dateien gefunden werden, wird nur eines der Duplikate erhalten und die verbleibenden Duplikate werden gelöscht, um Speicherplatz zu sparen.

Doppelte Dateien sind Dateien mit demselben Inhalt, die sich in Dateinamen und Pfad unterscheiden können.

Ich habe daran gedacht, Hash-Algorithmen für diesen Zweck zu verwenden, aber es besteht die Möglichkeit, dass verschiedene Dateien dieselben Hashes haben. Daher benötige ich einen zusätzlichen Mechanismus, der mir mitteilt, dass die Dateien nicht gleich sind, auch wenn die Hashes gleich sind, da ich nicht zwei verschiedene Dateien löschen möchte.

Welchen zusätzlichen schnellen und zuverlässigen Mechanismus würden Sie verwenden?

Answer 1

/// ------------------------------------------------------------------------------------------------------------------------
    /// 
    /// Schreibt Duplikatdateien in eine List
    /// 
    private void CompareDirectory(string[] files)
    {
        for (int i = 0; i < files.Length; i++)
        {
            FileInfo one = new FileInfo(files[i]); // Hier könnte ein Fortschrittsbalken oder ähnliches stehen

            for (int i2 = 0; i2 < files.Length; i2++) 
            {
                if (i != i2 && !duplicatePathsOne.Contains(files[i2])) // Um doppelte Einträge zu verhindern
                {
                    FileInfo two = new FileInfo(files[i2]);
                    if (FilesAreEqual_OneByte(one, two))
                    {
                        duplicatePathsOne.Add(files[i]);
                        duplicateNamesOne.Add(Path.GetFileName(files[i]));
                        duplicatePathsTwo.Add(files[i2]);
                        duplicateNamesTwo.Add(Path.GetFileName(files[i2]);
                    }
                }
            }
        }
    }

/// ------------------------------------------------------------------------------------------------------------------------
    /// 
    /// Vergleicht Dateien binär
    /// 
    private static bool FilesAreEqual_OneByte(FileInfo first, FileInfo second)
    {
        if (first.Length != second.Length)
            return false;

        using (FileStream fs1 = first.OpenRead())
        using (FileStream fs2 = second.OpenRead())
        {
            for (int i = 0; i < first.Length; i++)
            {
                if (fs1.ReadByte() != fs2.ReadByte())
                    return false;
            }
        }

        return true;
    }

Answer 2

Hier ist ein VBS-Skript, das eine CSV-Datei generiert, um doppelte Dateien in einem Ordner anhand des Dateinamens und der Größe anzuzeigen.

Set fso = CreateObject("Scripting.FileSystemObject")
Dim dic: Set dic = CreateObject("Scripting.Dictionary")
Dim oLog 'As Scripting.TextStream

Set oArgs = WScript.Arguments

If oArgs.Count = 1 Then
    sFolderPath = GetFolderPath()
    Set oLog = fso.CreateTextFile(sFolderPath & "\DublicateFiles.csv", True)
    oLog.Write "sep=" & vbTab & vbCrLf
    CheckFolder oArgs(I)
    oLog.Close
    Msgbox "Erledigt!"
Else
    Msgbox "Ordner abwerfen"
End If

Sub CheckFolder(sFolderPath)
    Dim sKey
    Dim oFolder 'As Scripting.Folder
    Set oFolder = fso.GetFolder(sFolderPath)

    For Each oFile In oFolder.Files
        sKey = oFile.Name & " - " & oFile.Size

        If dic.Exists(sKey) = False Then 
            dic.Add sKey, oFile.Path
        Else
            oLog.Write oFile.Path & vbTab & dic(sKey) & vbCrLf
        End If
    Next

    For Each oChildFolder In oFolder.SubFolders
        CheckFolder oChildFolder.Path
    Next
End Sub

Function GetFolderPath()
    Dim oFile 'As Scripting.File
    Set oFile = fso.GetFile(WScript.ScriptFullName)
    GetFolderPath = oFile.ParentFolder
End Function