Cara mengalih keluar baris pendua dalam CSV

Muatkan fail ke dalam CSV Cleaner, potong ruang kosong FIRST, kemudian alih keluar baris pendua. Kejadian pertama setiap baris disimpan dan salinan kemudian dialih keluar, jadi susunan data yang anda simpan tidak berubah.

Susunan kedua-dua langkah itu adalah muslihat keseluruhannya. Dua baris yang berbeza sahaja dengan ruang mengekor bukan pendua ke komputer, jadi nyahduplikasi sebelum memangkas meninggalkan kedua-duanya di tempat dan kemudian melaporkan kerja yang dilakukan dengan baik.

Mengapa baris "sama" bertahan dalam penduaan

Pemangkasan menangani yang pertama dan yang terakhir ini secara langsung. Yang lain memerlukan keputusan daripada anda, itulah sebabnya mereka tidak dinormalkan secara senyap — sarung lipat, sebagai contoh, adalah betul untuk alamat e-mel dan salah untuk kod produk, dan alat tidak dapat menentukan lajur yang mana.

Ruang mengekor atau mendahului. Tidak kelihatan dalam hamparan, menentukan perbandingan.
Perbezaan kes. ann@example.com dan Ann@example.com ialah rentetan yang berbeza, walaupun ia adalah peti mel yang sama.
Petikan yang berbeza. "Smith, John" dan Smith\, John boleh membawa nilai yang sama dan bait yang berbeza untuk bait sebelum menghuraikan.
Ruang yang tidak pecah. Salin-tampal daripada halaman web atau PDF kerap menggantikan U+00A0 untuk ruang biasa, dan tiada apa yang kelihatan luar biasa mengenainya.
Lajur kosong mengekori. Satu eksport menulis empat medan, satu lagi menulis empat medan dan pembatas mengekor.

Perintah yang berfungsi

Setiap langkah tersebut boleh dibuat asal secara berasingan, sehingga dua puluh operasi terakhir, jadi tiada kos untuk mencuba satu dan membalikkannya.

Muatkan fail dan sahkan kiraan pembatas dan lajur adalah betul. Menyahduplikasi fail yang dihuraikan sebagai satu lajur tidak berguna.
Potong ruang kosong pada setiap sel.
Alih keluar baris kosong jika eksport mempunyainya, supaya baris itu tidak runtuh menjadi satu kosong yang disimpan.
Alih keluar baris pendua.
Semak kiraan baris sebelum dan selepas. Perbezaannya ialah berapa banyak pendua yang ada.

Pendua seluruh baris, bukan kunci pendua

Ini mengalih keluar baris yang sama merentas setiap lajur. Itu tidak sama dengan mengalih keluar baris yang berkongsi kunci.

Jika pelanggan yang sama muncul dua kali dengan tarikh pendaftaran yang berbeza, itu bukan baris pendua — ia adalah dua rekod berbeza yang kebetulan berkongsi nama. Mengalih keluar satu akan memadam data, dan alat itu tidak akan melakukannya dengan meneka.

Untuk menyahduplikasi dengan kunci, kurangkan eksport ke lajur yang mentakrifkan kunci, nyahduplikasi itu dan gunakan hasilnya sebagai senarai carian. Atau lakukan penggabungan dalam hamparan atau pangkalan data, yang merupakan tempat keputusan seperti itu.

Menyahduplikasi satu lajur nilai

Jika masalah sebenar anda ialah senarai — alamat e-mel, SKU, URL — dan bukannya jadual, Kit Alat Teks ialah laluan yang lebih pantas. Ia menyahduplikasi garisan, memangkasnya dan menyusunnya, dan ia memerlukan tampal dan bukannya fail.

Peraturan susunan yang sama digunakan di sana: pangkas dahulu, kemudian nyahduplikasi.

Contoh berfungsi: senarai mel digabungkan daripada tiga eksport

Tiga eksport telah digabungkan menjadi satu fail 4,812-baris dengan lajur Nama, E-mel dan Sumber. Sesetengah kenalan muncul dalam lebih daripada satu sumber, dan fail telah dipasang melalui salin-tampal, jadi sesetengah baris mempunyai ruang belakang.

Mengalih keluar pendua serta-merta melaporkan 118 dialih keluar — agak mencurigakan untuk tiga senarai yang bertindih.

Buat asal deduplikasi.
Potong ruang kosong pada setiap sel.
Alih keluar baris pendua sekali lagi.
Bandingkan kiraan baris dengan yang asal.

Keputusan: Pas kedua mengalih keluar lebih banyak baris daripada yang pertama, kerana pemangkasan menjadikan pendua sebenar sama. Baris yang berkongsi alamat e-mel tetapi berbeza dalam lajur Sumber masih ada dengan betul — baris tersebut bukan baris yang sama dan memutuskan Sumber yang menang adalah pertimbangan yang diberikan oleh alat kepada anda.

Buka alat

Nyahgandakan CSV dalam pelayar anda

Mengalih keluar baris yang sama merentas setiap lajur, mengekalkan yang pertama. Ia tidak akan meneka yang mana antara dua rekod serupa yang anda ingin simpan.

Perkara ini tidak meliputi

Sahaja pendua keseluruhan baris dialih keluar. Menyahduplikasi dengan lajur utama bukanlah sesuatu yang dilakukan oleh alat ini.
Kes adalah penting. ANN@example.com dan ann@example.com disimpan sebagai dua baris.
Kejadian pertama disimpan. Tiada pilihan untuk mengekalkan yang terakhir.
Keseluruhan fail disimpan dalam ingatan, dihadkan pada 50 MB.
Buat asal terhad kepada 20 operasi terakhir.
Sahaja 100 baris pertama muncul dalam pratonton, jadi sahkan hasil dengan kiraan baris dan bukannya dengan menatal.