Doppelte Zeilen entfernen – Duplikate aus Liste

Deine Eingaben werden nur in diesem Browser verarbeitet und nie an einen Server gesendet. So funktioniert es

Verwendung

Füge deine Liste in „Eingabe“ ein, ein Wert pro Zeile. In „Ausgabe“ steht dann von jedem Wert nur noch die Zeile, in der er zum ersten Mal vorkam. Die Reihenfolge der Eingabe bleibt erhalten. Neben „Ausgabe“ liest du ab, wie viel weggefallen ist, zum Beispiel „3 doppelte Zeilen entfernt.“ Gab es nichts zu entfernen, steht dort „Keine doppelten Zeilen gefunden.“

Die Optionen sind in zwei Gruppen geteilt. Die drei unter „Vergleich“ legen fest, wann zwei Zeilen als gleich gelten. „Nur entfernte Zeilen anzeigen“ in der Gruppe „Ausgabe“ bestimmt, was du zu sehen bekommst.

Wann zwei Zeilen als gleich gelten

Ohne Optionen müssen zwei Zeilen Zeichen für Zeichen übereinstimmen. Schon ein Leerzeichen oder ein Großbuchstabe Unterschied, und beide bleiben stehen. Die Optionen unter „Vergleich“ lockern diesen Maßstab.

Groß-/Kleinschreibung ignorieren: Apple, apple und APPLE gelten als derselbe Wert. Erhalten bleibt die Schreibweise, die zuerst vorkam.
Vor dem Vergleich Leerzeichen am Rand entfernen: Leerzeichen, Tabs und Vollbreiten-Leerzeichen werden am Anfang und Ende der Zeile abgeschnitten, bevor verglichen wird. Das gilt nur für den Vergleich: Die Zeile, die stehen bleibt, behält ihre Leerzeichen auch in der Ausgabe.
Leere Zeilen ignorieren: Leere Zeilen nehmen weder am Vergleich teil noch erscheinen sie in der Ausgabe.

Einen Fall behandelt das Tool unabhängig von allen Optionen als gleich. Ein lateinischer Buchstabe mit Akzent (é), ein japanisches Kana mit Stimmhaftigkeitszeichen (が) oder ein koreanisches Hangul-Zeichen (가) kann als fertig zusammengesetztes Zeichen gespeichert sein oder zerlegt in Grundbuchstabe und Zusatzzeichen (bei Hangul in Konsonant und Vokal), wie es bei unter macOS angelegten Dateinamen häufig vorkommt. Auf dem Bildschirm sieht beides identisch aus, und so wird es auch verglichen.

Was die Optionen am Ergebnis ändern

Die folgenden sechs Zeilen dienen als Eingabe. Die dritte hat vorn und hinten je ein Leerzeichen.

hong@test.com
Kim@test.com
 hong@test.com 
kim@test.com
lee@test.com
hong@test.com

Eingeschaltete Option	Verbleibende Zeilen	Entfernte Zeilen
Keine	5 Zeilen	1 Zeile (die sechste)
Groß-/Kleinschreibung ignorieren	4 Zeilen	2 Zeilen (die vierte und sechste)
Vor dem Vergleich Leerzeichen am Rand entfernen	4 Zeilen	2 Zeilen (die dritte und sechste)
Beide Optionen	3 Zeilen	3 Zeilen (die dritte, vierte und sechste)

Mit beiden Optionen bleiben hong@test.com, Kim@test.com und lee@test.com übrig. Kim@test.com stand vor kim@test.com in der Liste, deshalb bleibt die Schreibweise mit großem K erhalten. Welche Variante bleibt, kannst du nicht wählen: Es ist immer die erste.

Leere Zeilen

Solange „Leere Zeilen ignorieren“ ausgeschaltet ist, ist auch eine leere Zeile ein Wert wie jeder andere. Von mehreren leeren Zeilen bleibt die erste stehen, alle weiteren fallen als Duplikate weg. Ein Fließtext, dessen Absätze durch leere Zeilen getrennt sind, verliert so alle Abstände bis auf den ersten und klebt danach zusammen. Für solche Texte eignet sich das Tool nicht.

Als leer gilt für „Leere Zeilen ignorieren“ nur eine Zeile ganz ohne Zeichen. Sollen auch Zeilen verschwinden, in denen nur Leerzeichen oder Tabs stehen, schalte zusätzlich „Vor dem Vergleich Leerzeichen am Rand entfernen“ ein.

Nur entfernte Zeilen anzeigen

„Nur entfernte Zeilen anzeigen“ dreht die Ausgabe um: Statt der Zeilen, die bleiben, siehst du die, die wegfallen, in der Reihenfolge der Eingabe. So prüfst du vor dem Bereinigen, was du verlieren würdest. Kommt ein Wert dreimal vor, werden das zweite und das dritte Vorkommen entfernt, also erscheint er zweimal. Aus den vier Zeilen a, b, a, a werden die zwei Zeilen a, a.

Wenn nur ein Teil der Zeile übereinstimmt

Verglichen wird immer die komplette Zeile. In einer Tabelle, deren Spalten durch Kommas oder Tabs getrennt sind, findet das Tool keine Zeilen, die nur in einer bestimmten Spalte übereinstimmen. 1,kim und 2,kim tragen denselben Namen, sind aber zwei verschiedene Zeilen und bleiben beide stehen. Willst du nach dem Namen bereinigen, kopiere nur die Namensspalte in die Eingabe. Ebenso wenig eignen sich Listen, in denen ein Eintrag über mehrere Zeilen läuft, etwa Adressen: Jede Zeile wird für sich verglichen.

Häufige Fragen

Zwei Zeilen sehen gleich aus, werden aber nicht zusammengefasst. Woran liegt das?

Fast immer an einem Unterschied, den man nicht sieht. Hängt am Zeilenende ein Leerzeichen oder ein Tab, hilft „Vor dem Vergleich Leerzeichen am Rand entfernen“. Unterscheiden sich nur Groß- und Kleinbuchstaben, hilft „Groß-/Kleinschreibung ignorieren“. Manche Unterschiede gleicht keine Option aus: Zeilen mit unterschiedlich vielen Leerzeichen in der Mitte (hong gil und hong gil) bleiben immer zwei verschiedene Zeilen, ebenso lateinische Buchstaben in Vollbreite und in Halbbreite (ＡＢＣ und ABC).

Am Ende der Ausgabe bleibt eine leere Zeile stehen. Wie werde ich sie los?

Endet die Eingabe mit einem Zeilenumbruch, zählt das, was danach kommt, als eine leere Zeile. Aus den drei Zeilen a, b, a mit einem abschließenden Zeilenumbruch wird deshalb a, b und eine leere Zeile. Mit „Leere Zeilen ignorieren“ verschwindet sie aus der Ausgabe.

Kann ich mir nur die Werte ausgeben lassen, die in zwei Listen vorkommen?

Ja, solange keine der beiden Listen in sich schon Duplikate enthält. Füge die zweite Liste direkt unter die erste ein und schalte „Nur entfernte Zeilen anzeigen“ ein. Übrig bleiben dann genau die Werte der zweiten Liste, die auch in der ersten stehen. Hat eine Liste intern doppelte Einträge, tauchen diese ebenfalls auf. Bereinige in dem Fall zuerst jede Liste für sich und füge sie danach zusammen.

Die Zahl der entfernten Zeilen stimmt nicht mit der Differenz aus Eingabe- und Ausgabezeilen überein. Warum?

Weil leere Zeilen, die „Leere Zeilen ignorieren“ aussortiert, nicht mitgezählt werden. Gibst du die fünf Zeilen a, leere Zeile, b, leere Zeile, a mit dieser Option ein, besteht die Ausgabe aus den zwei Zeilen a und b, der Hinweis lautet aber „1 doppelte Zeile entfernt.“ Die beiden leeren Zeilen wurden nicht als Duplikate gelöscht, sondern von Anfang an aus dem Vergleich herausgenommen.