Hapus Baris Duplikat Dari File CSV

File Anda dan privasi Anda

Baris yang dibandingkan tidak pernah meninggalkan perangkat Anda. File dibaca oleh browser, diurai oleh Pekerja Web di tab ini, dihapus duplikatnya di memori dan ditulis kembali oleh browser mekanisme pengunduhan. Kode alat tidak membuat permintaan untuk membawa file, teks yang ditempel, atau keluaran yang dihasilkan. Permintaan skrip analitik yang diungkapkan bersifat terpisah dan dijelaskan dalam situs Kebijakan Privasi.

Apa yang dilakukan alat ini

Hapus baris yang mengulangi baris yang sudah terlihat sebelumnya di file. Perbandingannya meliputi setiap kolom, menggunakan nilai sel yang diurai, peka huruf besar-kecil dan memperlakukan spasi putih sebagai signifikan. Kemunculan pertama bertahan dan urutan baris yang bertahan adalah tidak berubah.

De-duplikasi menjalankan baris data secara berurutan dan hanya mempertahankan tampilan pertama dari setiap baris data. SEBUAH baris adalah duplikat ketika setiap selnya sama persis dengan baris sebelumnya, dibandingkan setelah diurai, jadi kolom yang ditulis di dalam tanda kutip sama dengan kolom yang sama yang ditulis tanpa tanda kutip mereka. Huruf besar dan spasi keduanya dihitung: Ada, Ada, dan Ada dengan spasi tambahan berjumlah tiga baris yang berbeda. Duplikat tidak perlu berdekatan, dan baris yang bertahan tetap berada di tempatnya adalah.

Bagaimana cara menggunakannya

1. Pilih Pilih file CSV atau JSON dan muat ekspor.
2. Catat jumlah barisnya terlebih dahulu, karena alat ini melaporkan berapa banyak baris yang tersisa, bukan berapa barisnya banyak yang dihapus.
3. Pilih Pangkas spasi putih jika sel dapat diberi bantalan, karena baris hanya berbeda spasi saja bukan duplikat.
4. Pilih Hapus baris duplikat, baca jumlah sisa dalam pesan, lalu pilih Unduh CSV atau Batalkan.

Contoh kasus penggunaan

• Sebuah milis yang dikumpulkan dari beberapa ekspor, dimana alamat yang sama dikontribusikan dua kali.
• Laporan diunduh dua kali dan digabungkan, sehingga seluruh blok baris muncul lagi lebih jauh ke bawah.
• Catatan dimasukkan kembali oleh tugas sinkronisasi yang dijalankan dua kali sebelum ada yang menyadarinya.

Masukan dan keluaran yang didukung

Menerima

• CSV, TSV atau teks biasa dipisahkan dengan koma, titik koma, tab atau pipa, maksimal 50 MB
• JSON berisi array objek

Menghasilkan

• CSV, UTF-8, CRLF akhir baris, baris yang bertahan dalam urutan aslinya
• JSON, array objek dengan indentasi dua spasi

Apa yang tidak bisa dilakukan alat ini

• Perbandingannya mencakup setiap kolom, sehingga dua baris yang mendeskripsikan orang yang sama tetap bertahan jika ada kolom yang berbeda, seperti id baris atau stempel waktu ekspor. Batalkan pilihan kolom itu dengan Terapkan pilihan kolom terlebih dahulu.
• Tidak ada kontrol berdasarkan kolom atau tidak peka huruf besar-kecil di halaman ini, jadi Ada dan ada adalah dua baris.
• Spasi putih adalah bagian dari nilai, jadi pangkas atau ciutkan spasi terlebih dahulu atau salinan berlapis bertahan hidup.
• Baris header tidak pernah dibandingkan dan tidak pernah dihapus. Baris tajuk kedua di dalam a file gabungan adalah baris data biasa: unik, sehingga tetap ada.
• Baris pendek yang diisi parser dengan blanko bisa berakhir identik dengan baris yang lebih panjang sel-sel di belakangnya kosong, dan salah satu dari keduanya dibuang.

Kesalahan umum

• Hapus duplikat sebelum memangkas. Spasi tambahan menghasilkan dua baris yang tampak identik berbeda, keduanya disimpan, dan tidak ada yang mengatakan duplikat tetap ada.
• Mengharapkan salinan terbaru yang menang. Kejadian pertama bertahan, begitu pula baris selanjutnya membawa nilai yang dikoreksi, Anda menyimpan versi basi.
• Menggunakan tombol ini untuk menghapus baris kosong. Baris kosong identik satu sama lain, jadi hanya satu yang bertahan; Hapus baris kosong itulah yang membersihkannya.
• Periksa pratinjau setelahnya: hanya baris 100 pertama yang ditampilkan, jadi duplikat di bawah garis itu dihapus atau dibiarkan tidak terlihat.

Catatan teknis

Setiap baris direduksi menjadi kunci identitas dengan menggabungkan sel-selnya dengan karakter NUL, yang mana tidak dapat muncul secara sah dalam teks CSV. Bergabung dengan koma malah akan membiarkan satu sel mengandung a,b bertabrakan dengan dua sel yang mengandung a dan b, yang merupakan de-duplikator diam-diam menghapus baris yang salah. Kuncinya masuk ke dalam kumpulan hash, jadi pemindaiannya satu linier pass dan duplikatnya ditemukan di mana pun mereka duduk, bukan hanya saat berdekatan, dan transformasi mengembalikan array baru sehingga Undo mengembalikan tabel sebelumnya dengan tepat.

Pertanyaan yang sering diajukan

Apakah salinan pertama atau terakhir disimpan?

Yang pertama. Baris asli tetap di tempatnya dan salinan selanjutnya dibuang, jadi urutannya data yang Anda simpan tidak berubah. Jika salinan selanjutnya adalah salinan yang diperbaiki, urutkan atau edit file sehingga versi yang Anda inginkan diutamakan.

Bisakah saya menghapus duplikat dengan satu kolom, seperti email?

Tidak secara langsung; tombol membandingkan seluruh baris. Anda dapat mencentang kolom itu saja, pilih Terapkan pemilihan kolom dan kemudian hapus duplikatnya, tetapi itu hanya membuat kolom yang dicentang saja batalkan setelahnya jika Anda membutuhkan bidang lainnya.

Mengapa duplikatnya masih ada?

Sesuatu dalam baris itu berbeda: spasi tambahan, spasi tak terputus yang ditempel dari web halaman, huruf besar/kecil yang berbeda, atau kolom yang Anda lupa seperti id baris atau an stempel waktu ekspor.