CSV से डुप्लिकेट रो हटाएँ

आपकी फ़ाइलें और आपकी गोपनीयता

तुलना की जा रही पंक्तियाँ आपके डिवाइस को कभी नहीं छोड़तीं। फ़ाइल को ब्राउज़र द्वारा पढ़ा जाता है, पार्स किया जाता है इस टैब में एक वेब वर्कर द्वारा, मेमोरी में डी-डुप्लिकेट किया गया और ब्राउज़र द्वारा वापस लिखा गया डाउनलोड तंत्र. टूल कोड फ़ाइल, चिपकाए गए टेक्स्ट आदि को ले जाने का कोई अनुरोध नहीं करता है उत्पन्न आउटपुट. प्रकट किए गए एनालिटिक्स स्क्रिप्ट अनुरोध अलग हैं और इनका वर्णन इसमें किया गया है साइट गोपनीयता नीति.

यह टूल क्या करता है

उन पंक्तियों को हटा दें जो फ़ाइल में पहले से देखी गई पंक्ति को दोहराती हैं। तुलना कवर करती है प्रत्येक कॉलम, पार्स किए गए सेल मानों का उपयोग करता है, केस-संवेदी होता है और व्हाइटस्पेस को मानता है महत्वपूर्ण. पहली घटना जीवित रहती है और जीवित पंक्तियों का क्रम है अपरिवर्तित.

डी-डुप्लीकेशन डेटा पंक्तियों को क्रम में रखता है और प्रत्येक की केवल पहली उपस्थिति रखता है। ए पंक्ति तब डुप्लिकेट होती है जब इसकी प्रत्येक कोशिका तुलनात्मक रूप से पिछली पंक्ति से बिल्कुल मेल खाती है पार्सिंग के बाद, इसलिए उद्धरण चिह्नों के अंदर लिखा गया फ़ील्ड बिना लिखे गए फ़ील्ड के बराबर होता है उन्हें. केस और रिक्त स्थान दोनों की गिनती होती है: Ada, ada और Ada, अनुगामी स्थान के साथ तीन हैं अलग पंक्तियाँ. डुप्लिकेट को आसन्न होने की आवश्यकता नहीं है, और जो पंक्तियाँ बच जाती हैं वे वहीं रहती हैं थे.

इसका उपयोग कैसे करना है

1. CSV या JSON फ़ाइल चुनें चुनें और निर्यात लोड करें।
2. सबसे पहले पंक्तियों की संख्या पर ध्यान दें, क्योंकि टूल यह बताता है कि कितनी पंक्तियाँ बची हैं न कि कितनी बहुतों ने इसे हटा दिया।
3. यदि कोशिकाओं को गद्देदार किया जा सकता है, तो व्हाइटस्पेस ट्रिम करें का चयन करें, क्योंकि पंक्तियों में केवल एक स्थान का अंतर होता है डुप्लिकेट नहीं.
4. डुप्लिकेट पंक्तियाँ हटाएँ चुनें, संदेश में शेष गिनती पढ़ें, फिर चुनें CSV डाउनलोड करें या पूर्ववत करें।

उदाहरण उपयोग के मामले

• कई निर्यातों से इकट्ठी की गई एक मेलिंग सूची, जहां एक ही पते का योगदान दिया गया था दो बार.
• एक रिपोर्ट दो बार डाउनलोड की गई और संयोजित की गई, इसलिए पंक्तियों का एक पूरा ब्लॉक फिर से दिखाई देता है और नीचे.
• सिंक कार्य द्वारा रिकॉर्ड्स को दोबारा डाला गया जो किसी के ध्यान में आने से पहले ही दो बार चला।

समर्थित इनपुट और आउटपुट

स्वीकार

• CSV, TSV या सादा पाठ अल्पविराम, अर्धविराम, टैब या पाइप द्वारा अलग किया गया, 50 MB तक
• JSON जिसमें वस्तुओं की एक श्रृंखला है

का उत्पादन

• CSV, UTF-8, CRLF पंक्ति के अंत, जीवित पंक्तियाँ अपने मूल क्रम में
• JSON, वस्तुओं की दो-स्पेस इंडेंटेड सरणी

यह टूल क्या नहीं करेगा

• तुलना प्रत्येक कॉलम को कवर करती है, इसलिए एक ही व्यक्ति का वर्णन करने वाली दो पंक्तियाँ जीवित रहती हैं यदि कोई कॉलम भिन्न है, जैसे पंक्ति आईडी या निर्यात टाइमस्टैम्प। उस कॉलम को अचयनित करें पहले कॉलम चयन लागू करें के साथ।
• इस पृष्ठ पर कोई उप-स्तंभ या केस-असंवेदनशील नियंत्रण नहीं है, इसलिए Ada और ada दो हैं पंक्तियाँ
• व्हाइटस्पेस मान का हिस्सा है, इसलिए पहले रिक्त स्थान को ट्रिम या संक्षिप्त करें या गद्देदार प्रतियां बनाएं जीवित रहना.
• हेडर पंक्ति की कभी तुलना नहीं की जाती और न ही उसे कभी हटाया जाता है। ए के अंदर एक दूसरी हेडर लाइन संयोजित फ़ाइल एक सामान्य डेटा पंक्ति है: यह अद्वितीय है, इसलिए यह बनी रहती है।
• एक छोटी पंक्ति जिसे पार्सर ने रिक्त स्थान से भर दिया है, अंत में एक लंबी पंक्ति के समान हो सकती है अनुगामी कोशिकाएँ खाली हैं, और दोनों में से एक को हटा दिया गया है।

सामान्य गलतियां

• ट्रिमिंग से पहले डी-डुप्लिकेटिंग। एक अनुगामी स्थान दो समान दिखने वाली पंक्तियाँ बनाता है अलग-अलग, दोनों रखे गए हैं, और कुछ भी नहीं कहता कि डुप्लिकेट बने हुए हैं।
• नवीनतम प्रति के जीतने की उम्मीद है। पहली घटना जीवित रहती है, इसलिए यदि बाद की पंक्तियाँ संशोधित मान रखें और पुराना संस्करण रखें।
• रिक्त पंक्तियों को साफ़ करने के लिए इस बटन का उपयोग करें। रिक्त पंक्तियाँ एक-दूसरे के समान होती हैं, इसलिए बिल्कुल एक जीवित रहता है; खाली पंक्तियों को हटाने से ही वे साफ़ होती हैं।
• बाद में पूर्वावलोकन की स्पॉट-चेकिंग: केवल पहली 100 पंक्तियाँ दिखाई जाती हैं, इसलिए डुप्लिकेट उस पंक्ति के नीचे से हटा दिया जाता है या अनदेखा रखा जाता है।

तकनीकी नोट्स

प्रत्येक पंक्ति को उसके कक्षों को NUL वर्ण के साथ जोड़कर एक पहचान कुंजी में बदल दिया जाता है, जो कानूनी तौर पर CSV पाठ में प्रकट नहीं हो सकता। इसके बजाय अल्पविराम पर जुड़ने से एक कक्ष जुड़ जाएगा a,b युक्त, a और b युक्त दो कोशिकाओं से टकराता है, जो एक डी-डुप्लीकेटर है गलत पंक्ति को चुपचाप हटा देता है। कुंजियाँ हैश सेट में जाती हैं, इसलिए स्कैन एक रैखिक होता है पास और डुप्लिकेट पास-पास होने के बजाय जहां भी बैठते हैं वहां पाए जाते हैं, और परिवर्तन एक नई सरणी लौटाता है इसलिए पूर्ववत करें पिछली तालिका को बिल्कुल पुनर्स्थापित करता है।

अक्सर पूछे जाने वाले प्रश्नों

क्या यह पहली या आखिरी प्रति रखता है?

पहला। मूल पंक्ति यथावत रहती है और बाद में प्रतियां हटा दी जाती हैं, इसलिए क्रम आपके द्वारा रखा गया डेटा अपरिवर्तित है. यदि बाद की प्रतियाँ संशोधित हैं, तो क्रमबद्ध करें या संपादित करें फ़ाइल ताकि आप जो संस्करण चाहते हैं वह पहले आए।

क्या मैं ईमेल जैसे एक कॉलम से डी-डुप्लिकेट कर सकता हूँ?

प्रत्यक्ष नहीं; बटन पूरी पंक्तियों की तुलना करता है। आप केवल उस कॉलम पर टिक कर सकते हैं, चयन करें कॉलम चयन लागू करें और फिर डी-डुप्लिकेट करें, लेकिन इससे केवल टिक किया हुआ कॉलम ही रहता है यदि आपको अन्य फ़ील्ड की आवश्यकता हो तो बाद में पूर्ववत करें।

एक स्पष्ट डुप्लिकेट अभी भी वहां क्यों है?

पंक्ति में कुछ अलग है: एक अनुगामी स्थान, एक वेब से चिपकाया गया एक गैर-ब्रेकिंग स्थान पृष्ठ, एक अलग पत्र केस, या एक कॉलम जिसे आप भूल गए थे जैसे कि एक पंक्ति आईडी या एक निर्यात टाइमस्टैम्प.