Wie kann ich doppelte Zeilen entfernen?

Question

Wie entfernt man am besten doppelte Zeilen aus einer ziemlich großen SQL Server Tabelle (d.h. 300.000+ Zeilen)?

Die Zeilen werden natürlich keine perfekten Duplikate sein, da es die RowID Identitätsfeld.

MyTable

RowID int not null identity(1,1) primary key,
Col1 varchar(20) not null,
Col2 varchar(2048) not null,
Col3 tinyint not null

Answer 1

Unter der Annahme, dass es keine Nullen gibt, können Sie GROUP BY die eindeutigen Spalten, und SELECT el MIN (or MAX) RowId als die zu behaltende Zeile. Dann löschen Sie einfach alles, was keine RowId hat:

DELETE FROM MyTable
LEFT OUTER JOIN (
   SELECT MIN(RowId) as RowId, Col1, Col2, Col3 
   FROM MyTable 
   GROUP BY Col1, Col2, Col3
) as KeepRows ON
   MyTable.RowId = KeepRows.RowId
WHERE
   KeepRows.RowId IS NULL

Falls Sie eine GUID anstelle einer Ganzzahl haben, können Sie die

MIN(RowId)

avec

CONVERT(uniqueidentifier, MIN(CONVERT(char(36), MyGuidColumn)))

Answer 2

Eine andere Möglichkeit ist

; 

--Ensure that any immediately preceding statement is terminated with a semicolon above
WITH cte
     AS (SELECT ROW_NUMBER() OVER (PARTITION BY Col1, Col2, Col3 
                                       ORDER BY ( SELECT 0)) RN
         FROM   #MyTable)
DELETE FROM cte
WHERE  RN > 1;

Ich verwende ORDER BY (SELECT 0) oben, da es willkürlich ist, welche Zeile im Falle eines Gleichstands erhalten bleibt.

Um die letzte in RowID Bestellung könnten Sie zum Beispiel verwenden ORDER BY RowID DESC

Ausführungspläne

Der Ausführungsplan hierfür ist oft einfacher und effizienter als der in der akzeptierten Antwort, da er die Selbstverknüpfung nicht erfordert.

Dies ist jedoch nicht immer der Fall. Ein Ort, an dem die GROUP BY Lösung könnte in Situationen bevorzugt werden, in denen ein Hash-Aggregat würde einem Stromaggregat vorgezogen werden.

Le site ROW_NUMBER Lösung wird immer so ziemlich den gleichen Plan ergeben, während die GROUP BY Die Strategie ist flexibler.

Faktoren, die für den Hash-Aggregat-Ansatz sprechen könnten, wären

• Kein nützlicher Index für die Partitionierungsspalten
• relativ wenige Gruppen mit relativ vielen Duplikaten in jeder Gruppe

In extremen Versionen dieses zweiten Falls (wenn es sehr wenige Gruppen mit vielen Duplikaten in jeder gibt) könnte man auch erwägen, die zu behaltenden Zeilen einfach in eine neue Tabelle einzufügen und dann TRUNCATE -Originalen und dem Zurückkopieren, um die Protokollierung zu minimieren, im Vergleich zum Löschen eines sehr hohen Anteils der Zeilen.

Answer 3

Es gibt einen guten Artikel auf Entfernen von Duplikaten auf der Microsoft Support-Seite. Es ist ziemlich konservativ - sie lassen Sie alles in separaten Schritten machen - aber es sollte gut gegen große Tabellen funktionieren.

Ich habe Self-Joins verwendet, um dies in der Vergangenheit zu tun, obwohl es wahrscheinlich mit einer HAVING-Klausel aufgehübscht werden könnte:

DELETE dupes
FROM MyTable dupes, MyTable fullTable
WHERE dupes.dupField = fullTable.dupField 
AND dupes.secondDupField = fullTable.secondDupField 
AND dupes.uniqueField > fullTable.uniqueField

Answer 4

Die folgende Abfrage ist nützlich, um doppelte Zeilen zu löschen. Die Tabelle in diesem Beispiel hat ID als Identitätsspalte, und die Spalten, die doppelte Daten enthalten, sind Column1 , Column2 y Column3 .

DELETE FROM TableName
WHERE  ID NOT IN (SELECT MAX(ID)
                  FROM   TableName
                  GROUP  BY Column1,
                            Column2,
                            Column3
                  /*Even if ID is not null-able SQL Server treats MAX(ID) as potentially
                    nullable. Because of semantics of NOT IN (NULL) including the clause
                    below can simplify the plan*/
                  HAVING MAX(ID) IS NOT NULL) 

Das folgende Skript zeigt die Verwendung von GROUP BY , HAVING , ORDER BY in einer Abfrage und gibt die Ergebnisse mit der doppelten Spalte und ihrer Anzahl zurück.

SELECT YourColumnName,
       COUNT(*) TotalCount
FROM   YourTableName
GROUP  BY YourColumnName
HAVING COUNT(*) > 1
ORDER  BY COUNT(*) DESC

Answer 5

delete t1
from table t1, table t2
where t1.columnA = t2.columnA
and t1.rowid>t2.rowid

Postgres:

delete
from table t1
using table t2
where t1.columnA = t2.columnA
and t1.rowid > t2.rowid