한국어

CSV에서 중복 행을 제거하는 방법

파일을 CSV 클리너에 로드하고 공백을 먼저 잘라낸 다음 중복 행을 제거합니다. 각 행의 첫 번째 항목이 유지되고 이후 복사본이 제거되므로 유지하는 데이터의 순서는 변경되지 않습니다.

이 두 단계의 순서가 전체 트릭입니다. 후행 공백만 다른 두 행은 컴퓨터에 중복되지 않으므로 자르기 전에 중복을 제거하면 두 행이 모두 그대로 유지되고 작업이 잘 완료된 것으로 보고됩니다.

"동일한" 행이 중복 제거 후에도 유지되는 이유

트리밍은 이들 중 첫 번째와 마지막을 직접 처리합니다. 다른 것들은 귀하의 결정이 필요하기 때문에 자동으로 정규화되지 않습니다. 예를 들어 접는 케이스는 이메일 주소에는 정확하고 제품 코드에는 틀리므로 도구는 어떤 열이 어느 열인지 알 수 없습니다.

  • 후행 또는 선행 공백. 스프레드시트에 표시되지 않아 비교에 결정적입니다.
  • 대소문자 차이. ann@example.com 및 Ann@example.com은 동일한 사서함이더라도 다른 문자열입니다.
  • 다른 인용. "Smith, John" 및 Smith\, John은 구문 분석 전에 동일한 값을 전달할 수 있으며 바이트별로 다를 수 있습니다.
  • 잘림 방지 공백. 웹 페이지나 PDF에서 복사하여 붙여넣으면 U+00A0이 일반 공간으로 대체되는 경우가 많으며 그 내용은 이상해 보이지 않습니다.
  • 뒤에 오는 빈 열입니다. 한 내보내기는 4개의 필드를 쓰고, 다른 내보내기는 4개의 필드와 후행 구분 기호를 씁니다.

작동하는 순서

각 단계는 마지막 20개 작업까지 개별적으로 실행 취소할 수 있으므로 하나를 시도하고 되돌리는 데 비용이 들지 않습니다.

  1. 파일을 로드하고 구분 기호와 열 개수가 올바른지 확인하세요. 하나의 열로 구문 분석된 파일의 중복을 제거해도 아무 소용이 없습니다.
  2. 모든 셀의 공백을 자릅니다.
  3. 내보내기에 빈 행이 있으면 제거하여 단일 공백으로 유지되지 않도록 합니다.
  4. 중복된 행을 제거합니다.
  5. 전후의 행 개수를 확인하세요. 차이점은 얼마나 많은 중복이 있었는지입니다.

중복 키가 아닌 전체 행 중복

이렇게 하면 모든 열에서 동일한 행이 제거됩니다. 이는 키를 공유하는 행을 제거하는 것과는 다릅니다.

동일한 고객이 다른 가입 날짜로 두 번 나타나는 경우 이는 중복 행이 아닙니다. 이름을 공유하는 두 개의 서로 다른 레코드입니다. 하나를 제거하는 것은 데이터를 삭제하는 것이며 도구는 추측에 따라 이를 수행하지 않습니다.

키별로 중복을 제거하려면 키를 정의하는 열로 내보내기를 줄이고 이를 중복 제거한 후 결과를 조회 목록으로 사용합니다. 또는 그러한 종류의 결정이 속하는 스프레드시트나 데이터베이스에서 조인을 수행합니다.

단일 값 열 중복 제거

실제 문제가 표가 아닌 목록(이메일 주소, SKU, URL)인 경우 Text Toolkit이 더 빠른 경로입니다. 줄을 중복 제거하고 자르고 정렬하며 파일 대신 붙여넣기를 사용합니다.

여기에도 동일한 순서 규칙이 적용됩니다. 먼저 다듬은 다음 중복을 제거합니다.

실제 예: 세 개의 내보내기에서 병합된 메일링 리스트

세 개의 내보내기가 이름, 이메일 및 소스 열이 포함된 하나의 4,812행 파일로 연결되었습니다. 일부 연락처는 둘 이상의 소스에 표시되며 파일은 복사하여 붙여넣기로 구성되었으므로 일부 행에 뒤에 공백이 있습니다.

즉시 중복 제거 보고서 118이 제거되었습니다. 3개의 중복 목록에 대해 의심스러울 정도로 적습니다.

  1. 중복 제거를 실행 취소합니다.
  2. 모든 셀의 공백을 자릅니다.
  3. 중복 행을 다시 제거하십시오.
  4. 행 수를 원본과 비교합니다.

결과: 두 번째 패스에서는 트리밍을 통해 실제 복제본이 동일해졌기 때문에 첫 번째 패스보다 훨씬 더 많은 행을 제거합니다. 이메일 주소를 공유하지만 소스 열이 다른 행은 여전히 ​​올바르게 존재합니다. 이는 동일한 행이 아니며 어떤 소스가 우선인지 결정하는 것은 도구에서 판단하는 것입니다.

도구 열기

브라우저에서 CSV 중복 제거

모든 열에서 동일한 행을 제거하고 첫 번째 행을 유지합니다. 두 개의 유사한 기록 중 어느 것을 보관하려고 했는지 추측할 수 없습니다.

여기에 포함되지 않는 내용

  • 전체 행 중복만 제거됩니다. 키 열을 통한 중복 제거는 이 도구가 수행하는 작업이 아닙니다.
  • 사례가 중요합니다. ANN@example.com 및 ann@example.com은 두 개의 행으로 유지됩니다.
  • 첫 번째 항목이 유지됩니다. 마지막을 유지하는 옵션은 없습니다.
  • 전체 파일은 50 MB으로 제한되어 메모리에 보관됩니다.
  • 실행 취소는 마지막 20개 작업으로 제한됩니다.
  • 미리보기에는 처음 100개 행만 표시되므로 스크롤하기보다는 행 개수로 결과를 확인하세요.