중복 줄 제거

줄 단위 목록에서 같은 줄을 찾아 처음 나온 줄만 남깁니다. 대소문자와 양 끝 공백, 빈 줄을 비교에서 뺄 수 있고 지워진 줄만 따로 볼 수 있습니다.

입력0자 · 0줄

비교 방식

대소문자 구분 안 함

비교 전 양 끝 공백 제거

빈 줄 무시

출력

제거된 줄만 보기

결과중복된 줄이 없습니다.0자 · 0줄

정렬이 필요하면 '줄 정렬' 도구를 써보세요.

입력한 내용은 이 브라우저 안에서만 처리되며 서버로 전송되지 않습니다. 어떻게 동작하나요?

[data-tool-illustration] > img { display: none; }

사용 방법

’입력’에 줄마다 값을 하나씩 붙여 넣으면 ’결과’에는 값마다 처음 나온 줄 하나만 남습니다. 남은 줄의 순서는 입력한 순서 그대로이고, ‘결과’ 옆에는 “중복된 줄 3개를 지웠습니다.“처럼 지운 줄 수가 나옵니다. 중복이 없으면 “중복된 줄이 없습니다.“가 나옵니다.

옵션은 두 묶음입니다. ’비교 방식’의 세 가지는 어떤 줄을 같은 줄로 볼지를 정하고, ’출력’의 ’제거된 줄만 보기’는 결과에 무엇을 보여 줄지를 정합니다.

같은 줄로 보는 기준

옵션을 모두 꺼 두면 줄의 글자가 처음부터 끝까지 똑같아야 같은 줄입니다. 스페이스 하나, 대문자 하나만 달라도 다른 줄로 남습니다. ’비교 방식’의 옵션은 이 기준을 느슨하게 바꿉니다.

대소문자 구분 안 함: Apple, apple, APPLE을 같은 값으로 보고 그중 가장 먼저 나온 표기를 남깁니다.
비교 전 양 끝 공백 제거: 줄 맨 앞과 맨 뒤의 스페이스·탭·전각 공백을 떼고 비교합니다. 비교할 때만 떼는 것이라, 남는 줄에 붙어 있던 공백은 결과에도 그대로 있습니다.
빈 줄 무시: 빈 줄을 비교와 결과에서 모두 뺍니다.

옵션과 상관없이 늘 같은 줄로 보는 경우가 하나 있습니다. 악센트가 붙은 로마자(é), 탁점이 붙은 가나(が), 한글(가) 같은 글자는 완성된 한 글자로 저장될 때도 있고, 바탕 글자와 부호(한글은 자음과 모음)가 나뉜 채로 저장될 때도 있습니다(macOS에서 만든 파일 이름이 흔히 이렇습니다). 화면에는 똑같이 보이는 이 두 가지를 같은 줄로 처리합니다.

옵션에 따라 달라지는 결과

아래 여섯 줄을 넣었을 때의 결과입니다. 셋째 줄은 앞뒤에 스페이스가 하나씩 붙어 있습니다.

hong@test.com
Kim@test.com
 hong@test.com 
kim@test.com
lee@test.com
hong@test.com

켠 옵션	남는 줄	지운 줄
없음	5줄	1줄 (여섯째 줄)
대소문자 구분 안 함	4줄	2줄 (넷째, 여섯째)
비교 전 양 끝 공백 제거	4줄	2줄 (셋째, 여섯째)
두 옵션 모두	3줄	3줄 (셋째, 넷째, 여섯째)

두 옵션을 모두 켜면 hong@test.com, Kim@test.com, lee@test.com 세 줄이 남습니다. kim@test.com보다 Kim@test.com이 먼저 나왔으므로 대문자로 시작하는 표기가 남습니다. 어느 표기를 남길지는 고를 수 없고, 언제나 먼저 나온 쪽입니다.

빈 줄 처리

’빈 줄 무시’를 꺼 두면 빈 줄도 하나의 값입니다. 빈 줄이 여러 개 있으면 첫 번째만 남고 나머지는 중복으로 지워집니다. 문단 사이를 빈 줄로 띄운 글을 넣으면 첫 번째 빈 줄만 남고 문단이 붙어 버리므로, 이런 글에는 맞지 않습니다.

’빈 줄 무시’는 글자가 하나도 없는 줄만 빈 줄로 봅니다. 스페이스나 탭만 들어 있는 줄까지 빼려면 ’비교 전 양 끝 공백 제거’를 함께 켜야 합니다.

제거된 줄만 보기

’제거된 줄만 보기’를 켜면 결과가 뒤집혀, 남는 줄이 아니라 지워지는 줄만 입력한 순서대로 나옵니다. 지우기 전에 무엇이 빠지는지 확인하는 용도입니다. 같은 값이 세 번 나오면 둘째와 셋째가 모두 지워지므로 결과에 두 번 나옵니다. a, b, a, a 네 줄을 넣으면 결과는 a, a 두 줄입니다.

줄의 일부만 같은 경우

비교 대상은 언제나 줄 전체입니다. 쉼표나 탭으로 칸을 나눈 표에서 특정 칸이 같은 줄을 찾아 주지는 않습니다. 1,kim과 2,kim은 이름이 같아도 서로 다른 줄이라 둘 다 남습니다. 이름 칸만 따로 복사해 넣어야 이름 기준으로 중복을 지울 수 있습니다. 주소처럼 값 하나가 여러 줄에 걸쳐 있는 목록도 줄마다 따로 비교하므로 맞지 않습니다.

자주 묻는 질문

눈으로는 같은 줄인데 지워지지 않습니다. 왜 그런가요?

보이지 않는 차이가 있는 경우가 대부분입니다. 줄 끝에 스페이스나 탭이 붙어 있으면 '비교 전 양 끝 공백 제거'를, 대소문자가 다르면 '대소문자 구분 안 함'을 켜세요. 옵션으로도 합쳐지지 않는 차이도 있습니다. 줄 가운데 띄어쓰기 개수가 다른 줄(hong gil과 hong gil), 전각 영문자와 반각 영문자(ＡＢＣ와 ABC)는 언제나 서로 다른 줄입니다.

결과 맨 끝에 빈 줄이 하나 남습니다. 어떻게 없애나요?

입력이 줄바꿈으로 끝나면 그 뒤를 빈 줄 하나로 셉니다. 그래서 a, b, a 세 줄 뒤에 줄바꿈이 하나 더 있으면 결과는 a, b, 빈 줄이 됩니다. '빈 줄 무시'를 켜면 이 빈 줄이 결과에서 빠집니다.

두 목록에 모두 들어 있는 값만 뽑을 수 있나요?

각 목록 안에 중복이 없다면 가능합니다. 첫째 목록 바로 아래에 둘째 목록을 붙여 넣고 '제거된 줄만 보기'를 켜면, 둘째 목록의 값 가운데 첫째 목록에도 있는 값만 결과에 남습니다. 한 목록 안에 이미 중복이 있으면 그 줄도 함께 나오므로, 먼저 목록마다 중복을 지운 뒤에 합치세요.

지운 줄 수가 입력 줄 수에서 결과 줄 수를 뺀 값과 다릅니다. 왜 그런가요?

'빈 줄 무시'로 빠진 빈 줄은 지운 줄 수에 넣지 않기 때문입니다. a, 빈 줄, b, 빈 줄, a 다섯 줄을 '빈 줄 무시'를 켜고 넣으면 결과는 a, b 두 줄이지만 안내는 '중복된 줄 1개를 지웠습니다.'로 나옵니다. 빈 줄 두 개는 중복으로 지운 것이 아니라 처음부터 비교에서 뺀 것입니다.