Alih Keluar Baris Pendua daripada Fail CSV

Fail anda dan privasi anda

Baris yang dibandingkan tidak pernah meninggalkan peranti anda. Fail dibaca oleh pelayar, dihuraikan oleh Pekerja Web dalam tab ini, dinyahduakan dalam memori dan ditulis semula oleh pelayar mekanisme muat turun. Kod alat tidak membuat permintaan untuk membawa fail, teks yang ditampal atau keluaran yang dihasilkan. Permintaan skrip analitik yang didedahkan adalah berasingan dan diterangkan dalam Dasar Privasi tapak.

Apa yang dilakukan oleh alat ini

Alih keluar baris yang mengulangi baris yang telah dilihat lebih awal dalam fail. Perbandingan meliputi setiap lajur, menggunakan nilai sel yang dihuraikan, adalah sensitif huruf besar dan menganggap ruang kosong sebagai ketara. Kejadian pertama kekal dan susunan baris yang masih hidup adalah tidak berubah.

Penyahduaan menjalankan baris data mengikut susunan dan sahaja mengekalkan penampilan pertama setiap baris. A row ialah pendua apabila setiap selnya sepadan dengan baris yang lebih awal dengan tepat, dibandingkan selepas menghuraikan, jadi medan yang ditulis di dalam petikan adalah sama dengan medan yang sama ditulis tanpa mereka. Kes dan ruang kosong kedua-duanya dikira: Ada, ada dan Ada dengan ruang belakang ialah tiga baris yang berbeza. Pendua tidak perlu bersebelahan, dan baris yang bertahan kekal di tempatnya adalah.

Cara menggunakannya

1. Pilih Pilih fail CSV atau JSON dan muatkan eksport.
2. Perhatikan kiraan baris dahulu, kerana alat itu melaporkan bilangan baris yang kekal dan bukannya bagaimana banyak yang dikeluarkan.
3. Pilih Pangkas ruang kosong jika sel mungkin berlapik, kerana baris yang berbeza sahaja dengan ruang adalah bukan pendua.
4. Pilih Alih keluar baris pendua, baca kiraan yang tinggal dalam mesej, kemudian pilih Muat turun CSV atau Buat asal.

Contoh kes penggunaan

• Senarai mel yang dikumpulkan daripada beberapa eksport, di mana alamat yang sama telah disumbangkan dua kali.
• Laporan dimuat turun dua kali dan digabungkan, jadi keseluruhan blok baris muncul semula lebih ke bawah.
• Rekod yang dimasukkan semula oleh kerja penyegerakan yang dijalankan dua kali sebelum sesiapa menyedarinya.

Input dan output yang disokong

Menerima

• CSV, TSV atau teks biasa dipisahkan dengan koma, koma bertitik, tab atau paip, sehingga 50 MB
• JSON mengandungi tatasusunan objek

Menghasilkan

• CSV, UTF-8, CRLF penghujung baris, kekal baris dalam susunan asalnya
• JSON, tatasusunan objek inden dua ruang

Apa yang tidak akan dilakukan oleh alat ini

• Perbandingan meliputi setiap lajur, jadi dua baris yang menggambarkan orang yang sama kedua-duanya bertahan jika mana-mana lajur berbeza, seperti id baris atau cap masa eksport. Nyahpilih lajur itu dengan Gunakan pemilihan lajur dahulu.
• Tiada lajur sampingan atau kawalan sensitif huruf besar pada halaman ini, jadi Ada dan ada adalah dua barisan.
• Ruang kosong ialah sebahagian daripada nilai, jadi pangkas atau runtuhkan ruang dahulu atau salinan berlapik bertahan.
• Baris pengepala tidak pernah dibandingkan dan tidak pernah dialih keluar. Baris pengepala kedua di dalam a fail bercantum ialah baris data biasa: ia unik, jadi ia kekal.
• Baris pendek penghurai yang berlapik dengan kosong boleh berakhir sama dengan baris yang lebih panjang sel tertinggal kosong, dan satu daripada dua digugurkan.

Kesilapan biasa

• Nyahduplikasi sebelum memangkas. Ruang mengekor membuat dua baris yang kelihatan sama berbeza, kedua-duanya disimpan, dan tiada yang mengatakan pendua kekal.
• Menjangkakan salinan terbaru untuk menang. Kejadian pertama bertahan, jadi jika baris kemudian bawa nilai yang diperbetulkan anda menyimpan versi basi.
• Menggunakan butang ini untuk mengosongkan baris kosong. Baris kosong adalah sama antara satu sama lain, jadi betul-betul satu bertahan; Alih keluar baris kosong ialah yang mengosongkannya.
• Semakan spot pratonton selepas itu: sahaja 100 baris pertama ditunjukkan, jadi pendua di bawah garisan itu dialih keluar atau disimpan tidak kelihatan.

Nota teknikal

Setiap baris dikurangkan kepada kunci identiti dengan menyertai selnya dengan aksara NUL, yang tidak boleh muncul secara sah dalam teks CSV. Menyertai pada koma sebaliknya akan membenarkan satu sel yang mengandungi a,b berlanggar dengan dua sel yang mengandungi a dan b, iaitu bagaimana pendua memadam baris yang salah secara senyap. Kekunci masuk ke dalam set cincang, jadi imbasan adalah satu linear pas dan pendua ditemui di mana sahaja mereka duduk dan bukannya sahaja apabila bersebelahan, dan transformasi mengembalikan tatasusunan baharu jadi Buat asal memulihkan jadual sebelumnya dengan tepat.

Soalan lazim

Adakah ia menyimpan salinan pertama atau terakhir?

Yang pertama. Baris asal kekal di tempatnya dan salinan kemudian digugurkan, jadi tertib data yang anda simpan tidak berubah. Jika salinan kemudian adalah yang telah diperbetulkan, susun atau edit fail supaya versi yang anda mahu didahulukan.

Bolehkah saya menyahgandakan dengan satu lajur, seperti e-mel?

Tidak secara langsung; butang membandingkan keseluruhan baris. Anda boleh menanda lajur itu sahaja, pilih Gunakan pemilihan lajur dan kemudian nyah pendua, tetapi itu sahaja menyimpan lajur yang ditandakan, jadi buat asal selepas itu jika anda memerlukan medan lain.

Mengapa pendua yang jelas masih ada?

Sesuatu dalam baris berbeza: ruang belakang, ruang tidak putus yang ditampal daripada web halaman, huruf besar lain atau lajur yang anda terlupa seperti id baris atau eksport cap masa.