Wie kann ich doppelte Zeilen entfernen?

Question

Wie entfernt man am besten doppelte Zeilen aus einer ziemlich großen SQL Server Tabelle (d.h. 300.000+ Zeilen)?

Die Zeilen werden natürlich keine perfekten Duplikate sein, da es die RowID Identitätsfeld.

MyTable

RowID int not null identity(1,1) primary key,
Col1 varchar(20) not null,
Col2 varchar(2048) not null,
Col3 tinyint not null

Answer 1

Dies ist der einfachste Weg, einen doppelten Datensatz zu löschen

 DELETE FROM tblemp WHERE id IN 
 (
  SELECT MIN(id) FROM tblemp
   GROUP BY  title HAVING COUNT(id)>1
 )

Answer 2

Eine weitere einfache Lösung finden Sie unter dem eingefügten Link aquí . Diese ist leicht zu verstehen und scheint für die meisten ähnlichen Probleme wirksam zu sein. Es ist zwar für SQL Server, aber das verwendete Konzept ist mehr als akzeptabel.

Hier sind die relevanten Teile der verlinkten Seite:

Beachten Sie diese Daten:

EMPLOYEE_ID ATTENDANCE_DATE
A001    2011-01-01
A001    2011-01-01
A002    2011-01-01
A002    2011-01-01
A002    2011-01-01
A003    2011-01-01

Wie können wir also diese doppelten Daten löschen?

Fügen Sie zunächst eine Identitätsspalte in diese Tabelle ein, indem Sie den folgenden Code verwenden:

ALTER TABLE dbo.ATTENDANCE ADD AUTOID INT IDENTITY(1,1)  

Verwenden Sie den folgenden Code, um das Problem zu lösen:

DELETE FROM dbo.ATTENDANCE WHERE AUTOID NOT IN (SELECT MIN(AUTOID) _
    FROM dbo.ATTENDANCE GROUP BY EMPLOYEE_ID,ATTENDANCE_DATE)

Answer 3

Verwenden Sie diese

WITH tblTemp as
(
SELECT ROW_NUMBER() Over(PARTITION BY Name,Department ORDER BY Name)
   As RowNumber,* FROM <table_name>
)
DELETE FROM tblTemp where RowNumber >1

Answer 4

Hier ist ein weiterer guter Artikel über Entfernen von Duplikaten .

Sie erörtert, warum es schwierig ist: " SQL basiert auf der relationalen Algebra, und Duplikate können in der relationalen Algebra nicht vorkommen, da Duplikate in einer Menge nicht zulässig sind. "

Die Lösung mit der temporären Tabelle und zwei mysql-Beispiele.

Werden Sie dies in Zukunft auf Datenbankebene oder aus Sicht der Anwendung verhindern? Ich würde die Datenbankebene vorschlagen, weil Ihre Datenbank für die Aufrechterhaltung der referentiellen Integrität verantwortlich sein sollte, Entwickler werden einfach Probleme verursachen ;)

Answer 5

Aber sicher. Verwenden Sie eine temporäre Tabelle. Wenn Sie eine einzelne, nicht sehr performante Anweisung wollen, die "funktioniert", können Sie mit gehen:

DELETE FROM MyTable WHERE NOT RowID IN
    (SELECT 
        (SELECT TOP 1 RowID FROM MyTable mt2 
        WHERE mt2.Col1 = mt.Col1 
        AND mt2.Col2 = mt.Col2 
        AND mt2.Col3 = mt.Col3) 
    FROM MyTable mt)

Grundsätzlich findet die Unterauswahl für jede Zeile in der Tabelle die oberste RowID aller Zeilen, die genau wie die betreffende Zeile sind. Am Ende erhalten Sie also eine Liste von RowIDs, die die "ursprünglichen", nicht duplizierten Zeilen darstellen.