Cara menghapus baris duplikat di CSV

Mengapa baris "identik" bertahan dari deduplikasi

Pemangkasan membahas yang pertama dan terakhir secara langsung. Yang lain memerlukan keputusan dari Anda, itulah sebabnya mereka tidak dinormalisasi secara diam-diam — kasus lipat, misalnya, benar untuk alamat email dan salah untuk kode produk, dan alat tidak dapat membedakan kolom mana yang mana.

• Spasi tambahan atau spasi terdepan. Tidak terlihat dalam spreadsheet, menentukan perbandingan.
• Perbedaan kasus. ann@example.com dan Ann@example.com adalah string yang berbeda, meskipun keduanya merupakan kotak surat yang sama.
• Kutipan yang berbeda. "Smith, John" dan Smith\, John dapat membawa nilai yang sama dan berbeda byte demi byte sebelum diurai.
• Ruang yang tidak dapat dipecahkan. Menyalin-menempelkan halaman web atau PDF sering kali menggantikan U+00A0 dengan spasi normal, dan tidak ada yang terlihat aneh.
• Kolom kosong di belakangnya. Satu ekspor menulis empat bidang, yang lain menulis empat bidang dan pembatas akhir.

Urutan yang berhasil

Masing-masing langkah tersebut secara terpisah dapat dibatalkan, hingga dua puluh operasi terakhir, jadi tidak ada biaya untuk mencoba satu langkah dan membalikkannya.

1. Muat file dan konfirmasikan jumlah pembatas dan kolom sudah benar. Menghapus duplikat file yang diurai sebagai satu kolom tidak ada gunanya.
2. Pangkas spasi di setiap sel.
3. Hapus baris kosong jika ekspor memilikinya, sehingga baris tersebut tidak diciutkan menjadi satu baris kosong yang dipertahankan.
4. Hapus baris duplikat.
5. Periksa jumlah baris sebelum dan sesudah. Perbedaannya adalah banyaknya duplikat yang ada.

Duplikat seluruh baris, bukan kunci duplikat

Ini menghapus baris yang identik di setiap kolom. Itu tidak sama dengan menghapus baris yang berbagi kunci.

Jika pelanggan yang sama muncul dua kali dengan tanggal pendaftaran berbeda, itu bukan baris duplikat — ini adalah dua data berbeda yang kebetulan memiliki nama yang sama. Menghapus satu berarti menghapus data, dan alat tersebut tidak akan melakukannya begitu saja.

Untuk menghapus duplikat berdasarkan kunci, kurangi ekspor ke kolom yang menentukan kunci, hapus duplikatnya, dan gunakan hasilnya sebagai daftar pencarian. Atau lakukan penggabungan dalam spreadsheet atau database, yang merupakan tempat pengambilan keputusan semacam itu.

Menghapus duplikat satu kolom nilai

Jika masalah Anda sebenarnya adalah daftar — alamat email, SKU, URL — dan bukan tabel, Text Toolkit adalah rute yang lebih cepat. Ini menghapus duplikat garis, memotong dan mengurutkannya, dan membutuhkan tempel daripada file.

Aturan pengurutan yang sama berlaku di sana: potong terlebih dahulu, lalu hapus duplikatnya.

Contoh praktis: milis yang digabungkan dari tiga ekspor

Tiga ekspor telah digabungkan menjadi satu file baris 4,812 dengan kolom Nama, Email, dan Sumber. Beberapa kontak muncul di lebih dari satu sumber, dan file disusun dengan cara salin-tempel, sehingga beberapa baris memiliki spasi tambahan.

Menghapus laporan duplikat segera 118 dihapus — hanya sedikit yang mencurigakan untuk tiga daftar yang tumpang tindih.

1. Batalkan deduplikasi.
2. Pangkas spasi di setiap sel.
3. Hapus baris duplikat lagi.
4. Bandingkan jumlah baris dengan aslinya.

Hasil: Proses kedua menghapus lebih banyak baris dibandingkan yang pertama, karena pemangkasan membuat duplikat asli menjadi identik. Baris yang memiliki alamat email yang sama namun berbeda di kolom Sumber tetap ada — baris tersebut bukanlah baris yang identik, dan menentukan Sumber mana yang menang adalah penilaian yang diserahkan alat tersebut kepada Anda.

Buka alatnya

Hapus duplikat CSV di browser Anda

Menghapus baris yang identik di setiap kolom, mempertahankan baris pertama. Ia tidak akan menebak yang mana dari dua catatan serupa yang ingin Anda simpan.

Hal ini tidak tercakup dalam hal ini

• Hanya duplikat seluruh baris yang dihapus. Menghapus duplikat berdasarkan kolom kunci bukanlah sesuatu yang dilakukan alat ini.
• Kasus ini penting. ANN@example.com dan ann@example.com disimpan sebagai dua baris.
• Kejadian pertama disimpan. Tidak ada pilihan untuk mempertahankan yang terakhir.
• Seluruh file disimpan di memori, dibatasi pada 50 MB.
• Pembatalan terbatas pada 20 operasi terakhir.
• Hanya baris 100 pertama yang muncul di pratinjau, jadi konfirmasikan hasil berdasarkan jumlah baris, bukan dengan menggulir.