Xóa hàng trùng lặp khỏi tệp CSV

Các tệp và quyền riêng tư của bạn

Các hàng được so sánh sẽ không bao giờ rời khỏi thiết bị của bạn. tệp được trình duyệt đọc, phân tích cú pháp bởi Nhân viên web trong tab này, được loại bỏ trùng lặp trong bộ nhớ và được trình duyệt ghi lại cơ chế tải xuống. Mã công cụ không đưa ra yêu cầu mang tệp, văn bản đã dán hoặc đầu ra được tạo ra. Các yêu cầu tập lệnh phân tích được tiết lộ là riêng biệt và được mô tả trong chính sách quyền riêng tư của trang web.

Công cụ này làm gì

Xóa các hàng lặp lại một hàng đã thấy trước đó trong tệp. Sự so sánh bao gồm mỗi cột, sử dụng các giá trị ô được phân tích cú pháp, phân biệt chữ hoa chữ thường và xử lý khoảng trắng như đáng kể. Lần xuất hiện đầu tiên còn tồn tại và thứ tự của các hàng còn lại là không thay đổi.

Tính năng chống trùng lặp sẽ sắp xếp các hàng dữ liệu theo thứ tự và chỉ giữ lại hình thức đầu tiên của mỗi hàng. A hàng là một bản sao khi mỗi ô của nó khớp chính xác với một hàng trước đó, được so sánh sau khi phân tích cú pháp, do đó, trường được viết bên trong dấu ngoặc kép sẽ bằng trường được viết không có dấu ngoặc kép họ. Cả chữ hoa và khoảng trắng đều được tính: Ada, ada và Ada có dấu cách ở cuối là ba các hàng riêng biệt. Các bản sao không cần phải liền kề và các hàng tồn tại vẫn giữ nguyên vị trí của chúng đã.

Cách sử dụng nó

1. Chọn Chọn tệp CSV hoặc JSON và tải bản xuất.
2. Hãy lưu ý số hàng trước tiên vì công cụ sẽ báo cáo số lượng hàng còn lại thay vì số lượng hàng còn lại như thế nào. nhiều nó đã loại bỏ.
3. Chọn Cắt bớt khoảng trắng nếu các ô có thể được đệm, vì các hàng chỉ khác nhau một khoảng trắng là không trùng lặp.
4. Chọn Xóa các hàng trùng lặp, đọc số lượng còn lại trong tin nhắn, sau đó chọn Tải xuống CSV hoặc Hoàn tác.

Các trường hợp sử dụng ví dụ

• Danh sách gửi thư được tập hợp từ một số lần xuất, trong đó có cùng một địa chỉ được đóng góp hai lần.
• Một báo cáo được tải xuống hai lần và được ghép nối, do đó toàn bộ khối hàng sẽ xuất hiện lại xuống tiếp.
• Các bản ghi được chèn lại bởi một tác vụ đồng bộ hóa đã chạy hai lần trước khi có người nhận ra.

Hỗ trợ đầu vào và đầu ra

Chấp nhận

• CSV, TSV hoặc văn bản thuần túy được phân tách bằng dấu phẩy, dấu chấm phẩy, tab hoặc dấu gạch đứng, tối đa 50 MB
• JSON chứa một mảng đối tượng

sản xuất

• CSV, UTF-8, CRLF kết thúc dòng, các hàng còn lại theo thứ tự ban đầu
• JSON, mảng đối tượng thụt vào hai dấu cách

Công cụ này sẽ không làm gì

• Sự so sánh bao trùm mọi cột, vì vậy hai hàng mô tả cùng một người đều tồn tại nếu có bất kỳ cột nào khác, chẳng hạn như id hàng hoặc dấu thời gian xuất. Bỏ chọn cột đó với lựa chọn cột Áp dụng đầu tiên.
• Không có điều khiển theo cột hoặc không phân biệt chữ hoa chữ thường trên trang này, vì vậy Ada và ada là hai hàng.
• Khoảng trắng là một phần của giá trị, vì vậy trước tiên hãy cắt hoặc thu gọn các khoảng trắng hoặc các bản sao được đệm sống sót.
• Hàng tiêu đề không bao giờ được so sánh và không bao giờ bị xóa. Dòng tiêu đề thứ hai bên trong một tệp được nối là một hàng dữ liệu thông thường: nó là duy nhất, vì vậy nó vẫn giữ nguyên.
• Một hàng ngắn mà bộ phân tích cú pháp được đệm bằng các khoảng trống có thể có kết quả giống hệt một hàng dài hơn có các ô ở cuối trống và một trong hai ô bị loại bỏ.

Những lỗi thường gặp

• Khử trùng lặp trước khi cắt tỉa. Một khoảng trắng ở cuối tạo thành hai hàng trông giống hệt nhau khác biệt, cả hai đều được giữ lại và không có gì cho biết vẫn còn trùng lặp.
• Mong đợi bản sao gần đây nhất sẽ giành chiến thắng. Lần xuất hiện đầu tiên vẫn tồn tại, vì vậy nếu các hàng sau mang các giá trị đã sửa, bạn giữ phiên bản cũ.
• Sử dụng nút này để xóa các hàng trống. Các hàng trống giống hệt nhau, vì vậy đúng một người sống sót; Xóa các hàng trống là những gì xóa chúng.
• Kiểm tra tại chỗ bản xem trước sau đó: chỉ 100 hàng đầu tiên được hiển thị, do đó trùng lặp bên dưới dòng đó sẽ bị xóa hoặc giữ kín.

Ghi chú kỹ thuật

Mỗi hàng được rút gọn thành một khóa nhận dạng bằng cách nối các ô của nó với ký tự NUL, ký tự này không thể xuất hiện hợp pháp trong văn bản CSV. Thay vào đó, việc kết hợp bằng dấu phẩy sẽ cho phép một ô chứa a,b va chạm với hai ô chứa a và b, đó là cách bộ khử trùng lặp âm thầm xóa nhầm hàng. Các khóa đi vào một tập hợp băm, do đó quá trình quét là một tuyến tính pass và các bản sao được tìm thấy ở bất cứ nơi nào chúng nằm thay vì chỉ khi ở cạnh nhau và phép biến đổi trả về một mảng mới để Hoàn tác khôi phục chính xác bảng trước đó.

Câu hỏi thường gặp

Nó giữ bản sao đầu tiên hay cuối cùng?

Đầu tiên. Hàng ban đầu vẫn giữ nguyên và các bản sao sau đó sẽ bị loại bỏ, do đó thứ tự của dữ liệu bạn lưu giữ không thay đổi. Nếu các bản sao sau là bản đã sửa, hãy sắp xếp hoặc chỉnh sửa tệp để phiên bản bạn muốn xuất hiện trước.

Tôi có thể loại bỏ trùng lặp theo một cột, chẳng hạn như email không?

Không trực tiếp; nút so sánh toàn bộ hàng. Bạn chỉ có thể đánh dấu vào cột đó, chọn Áp dụng lựa chọn cột và sau đó loại bỏ trùng lặp, nhưng điều đó chỉ giữ lại cột được đánh dấu, vì vậy hoàn tác sau đó nếu bạn cần các trường khác.

Tại sao một bản sao rõ ràng vẫn còn đó?

Có gì đó khác biệt trong hàng: một khoảng trắng ở cuối, một khoảng trắng không ngắt được dán từ một trang web trang, kiểu chữ khác hoặc cột bạn đã quên, chẳng hạn như id hàng hoặc dấu thời gian xuất khẩu.