Cách xóa các hàng trùng lặp trong CSV

Tại sao các hàng "giống hệt nhau" vẫn tồn tại sau khi loại bỏ trùng lặp

Việc cắt xén giải quyết trực tiếp địa chỉ đầu tiên và cuối cùng trong số này. Những cột khác cần quyết định từ bạn, đó là lý do tại sao chúng không được bình thường hóa một cách âm thầm - chẳng hạn như trường hợp gấp, đúng với địa chỉ email và sai đối với mã sản phẩm, đồng thời một công cụ không thể biết cột nào là cột nào.

• Khoảng trống phía sau hoặc phía trước. Vô hình trong bảng tính, mang tính quyết định đối với việc so sánh.
• Trường hợp khác biệt. ann@example.com và Ann@example.com là các chuỗi khác nhau, mặc dù chúng là cùng một hộp thư.
• Trích dẫn khác nhau. "Smith, John" và Smith\, John có thể mang cùng một giá trị và khác nhau byte cho byte trước khi phân tích cú pháp.
• Không gian không phá vỡ. Sao chép-dán ra khỏi một trang web hoặc PDF thường xuyên thay thế U+00A0 cho một không gian bình thường và không có gì bất thường về nó.
• Một cột trống ở cuối. Một lần xuất ghi bốn trường, một lần xuất khác ghi bốn trường và một dấu phân cách ở cuối.

Thứ tự hoạt động

Mỗi bước trong số đó đều có thể hoàn tác riêng biệt, tối đa 20 thao tác cuối cùng, do đó, không mất phí khi thử một bước và đảo ngược nó.

1. Tải tệp và xác nhận dấu phân cách và số cột là đúng. Việc sao chép một tệp được phân tích thành một cột không có ích gì.
2. Cắt bớt khoảng trắng trên mỗi ô.
3. Xóa các hàng trống nếu bản xuất có chúng để chúng không bị thu gọn thành một khoảng trống được giữ lại.
4. Loại bỏ các hàng trùng lặp.
5. Kiểm tra số hàng trước và sau. Sự khác biệt là có bao nhiêu bản sao.

Sao chép toàn bộ hàng, không trùng lặp khóa

Thao tác này sẽ loại bỏ các hàng giống hệt nhau trên mỗi cột. Điều đó không giống như việc xóa các hàng có chung khóa.

Nếu cùng một khách hàng xuất hiện hai lần với ngày đăng ký khác nhau thì đó không phải là các hàng trùng lặp — chúng là hai bản ghi khác nhau có chung một tên. Việc xóa một cái sẽ đồng nghĩa với việc xóa dữ liệu và công cụ sẽ không thực hiện việc đó theo dự đoán.

Để loại bỏ trùng lặp một khóa, hãy giảm việc xuất sang các cột xác định khóa, loại bỏ trùng lặp khóa đó và sử dụng kết quả làm danh sách tra cứu. Hoặc tham gia vào bảng tính hoặc cơ sở dữ liệu, nơi đưa ra loại quyết định đó.

Loại bỏ trùng lặp một cột giá trị

Nếu vấn đề thực sự của bạn là một danh sách — địa chỉ email, SKU, URL — chứ không phải bảng, thì Bộ công cụ văn bản là con đường nhanh hơn. Nó loại bỏ các dòng trùng lặp, cắt bớt và sắp xếp chúng, đồng thời nó cần một bản dán chứ không phải một tệp.

Quy tắc đặt hàng tương tự được áp dụng ở đó: cắt bớt trước, sau đó loại bỏ trùng lặp.

Ví dụ hoạt động: danh sách gửi thư được hợp nhất từ ​​ba lần xuất

Ba lần xuất đã được nối thành một tệp 4,812 hàng có cột Tên, Email và Nguồn. Một số địa chỉ liên hệ xuất hiện ở nhiều nguồn và tệp được tập hợp bằng cách sao chép-dán, do đó một số hàng có dấu cách ở cuối.

Xóa ngay lập tức các báo cáo trùng lặp 118 đã bị xóa — đáng ngờ là rất ít đối với ba danh sách chồng chéo.

1. Hoàn tác việc chống trùng lặp.
2. Cắt bớt khoảng trắng trên mỗi ô.
3. Xóa các hàng trùng lặp một lần nữa.
4. So sánh số hàng với bản gốc.

Result: Lần thứ hai loại bỏ nhiều hàng hơn đáng kể so với lần đầu tiên, vì việc cắt xén làm cho các bản sao thực sự giống hệt nhau. Các hàng chia sẻ địa chỉ email nhưng khác nhau trong cột Nguồn vẫn hiển thị chính xác — chúng không phải là các hàng giống hệt nhau và việc quyết định Nguồn nào thắng là quyết định mà công cụ để lại cho bạn.

Mở công cụ

Loại bỏ trùng lặp CSV trong trình duyệt của bạn

Loại bỏ các hàng giống hệt nhau trên mỗi cột, giữ lại hàng đầu tiên. Nó sẽ không đoán được bạn muốn giữ bản ghi nào trong số hai bản ghi tương tự.

Điều này không bao gồm những gì

• Chỉ các bản sao toàn bộ hàng mới bị xóa. Việc loại bỏ trùng lặp bằng một cột khóa không phải là điều mà công cụ này thực hiện.
• Vụ án có ý nghĩa. ANN@example.com và ann@example.com được giữ thành hai hàng.
• Sự xuất hiện đầu tiên được giữ lại. Không có lựa chọn nào để giữ cái cuối cùng.
• Toàn bộ tệp được lưu giữ trong bộ nhớ, có giới hạn là 50 MB.
• Việc hoàn tác bị giới hạn ở các thao tác 20 cuối cùng.
• Chỉ 100 hàng đầu tiên xuất hiện trong bản xem trước, vì vậy hãy xác nhận kết quả bằng số lượng hàng thay vì bằng cách cuộn.