إزالة الصفوف المكررة من ملف CSV

ملفاتك وخصوصيتك

الصفوف التي تتم مقارنتها لا تترك جهازك أبدًا. تتم قراءة الملف بواسطة المتصفح، وتحليله بواسطة عامل الويب في علامة التبويب هذه، ويتم إلغاء تكرارها في الذاكرة وكتابتها مرة أخرى بواسطة المتصفح آلية التحميل . لا يقدم رمز الأداة أي طلب لحمل الملف أو النص الملصق أو الناتج المتولد. طلبات البرامج النصية للتحليلات التي تم الكشف عنها منفصلة وموضحة في سياسة الخصوصية للموقع.

ماذا تفعل هذه الأداة

قم بإزالة الصفوف التي تكرر صفًا سبق رؤيته في الملف. تغطي المقارنة يستخدم كل عمود قيم الخلايا التي تم تحليلها، وهو حساس لحالة الأحرف ويتعامل مع المسافات البيضاء على أنها هام. يبقى الحدث الأول وترتيب الصفوف الباقية كما هو دون تغيير.

يعمل إلغاء التكرار على توجيه صفوف البيانات بالترتيب ويحتفظ فقط بالمظهر الأول لكل منها. أ يكون الصف مكررًا عندما تتطابق كل خلية من خلاياه مع صف سابق تمامًا، مقارنة بذلك بعد التحليل، فإن الحقل المكتوب داخل علامات الاقتباس يساوي نفس الحقل المكتوب بدونه لهم. يتم احتساب كل من حالة الأحرف والمسافة البيضاء: Ada وada وAda مع مسافة زائدة هي ثلاثة صفوف متميزة. ليس من الضروري أن تكون التكرارات متجاورة، والصفوف التي تبقى على قيد الحياة تبقى في مكانها كانت.

كيفية استخدامه

1. حدد اختيار ملف CSV أو JSON وقم بتحميل التصدير.
2. لاحظ عدد الصفوف أولاً، لأن الأداة تقوم بالإبلاغ عن عدد الصفوف المتبقية وليس كيفية ذلك العديد من إزالتها.
3. حدد قطع المسافة البيضاء إذا كان من الممكن أن تكون الخلايا مبطنة، نظرًا لأن الصفوف تختلف بمسافة فقط ليست مكررة.
4. حدد إزالة الصفوف المكررة، واقرأ العدد المتبقي في الرسالة، ثم حدد قم بتنزيل CSV أو تراجع.

حالات الاستخدام سبيل المثال

• قائمة بريدية تم تجميعها من عدة عمليات تصدير، حيث تم المساهمة بنفس العنوان مرتين.
• تم تنزيل التقرير مرتين وتم تسلسله، بحيث تظهر كتلة كاملة من الصفوف مرة أخرى مزيد من الانخفاض.
• تمت إعادة إدراج السجلات بواسطة مهمة مزامنة تم تشغيلها مرتين قبل أن يلاحظها أحد.

المدخلات والمخرجات المدعومة

يقبل

• CSV، TSV أو نص عادي مفصول بفاصلة أو فاصلة منقوطة أو علامة تبويب أو أنبوب، حتى 50 MB
• JSON يحتوي على مجموعة من الكائنات

ينتج

• CSV، UTF-8، CRLF نهايات الأسطر، باقية الصفوف بترتيبها الأصلي
• JSON، مجموعة من الكائنات ذات مسافة بادئة

ما لن تفعله هذه الأداة

• تغطي المقارنة كل عمود، لذا يبقى هناك صفين يصفان نفس الشخص في حالة اختلاف أي عمود، مثل معرف الصف أو الطابع الزمني للتصدير. قم بإلغاء تحديد هذا العمود مع تطبيق تحديد العمود أولاً.
• لا يوجد عمود فرعي أو عنصر تحكم غير حساس لحالة الأحرف في هذه الصفحة، لذا فإن Ada وada هما اثنان صفوف.
• تعد المسافة البيضاء جزءًا من القيمة، لذا قم بقص المسافات أو طيها أولاً أو النسخ المبطنة البقاء على قيد الحياة.
• لا تتم مقارنة صف الرأس مطلقًا ولا تتم إزالته مطلقًا. سطر رأس ثانٍ داخل أ الملف المتسلسل هو صف بيانات عادي: فهو فريد من نوعه، لذلك يبقى.
• يمكن أن ينتهي الأمر بصف قصير من المحلل اللغوي المحشو بالفراغات مطابقًا للصف الأطول الذي الخلايا الزائدة فارغة، ويتم إسقاط إحدى الخلاياتين.

الأخطاء الشائعة

• إلغاء التكرار قبل التشذيب. مسافة زائدة تجعل صفين متطابقين المظهر متميزان، ويتم الاحتفاظ بهما، ولا يوجد شيء يشير إلى بقاء التكرارات.
• في انتظار أن تفوز النسخة الأحدث. يبقى التواجد الأول، وبالتالي إذا كانت الصفوف اللاحقة تحمل القيم المصححة مع الاحتفاظ بالنسخة القديمة.
• استخدام هذا الزر لمسح الصفوف الفارغة. الصفوف الفارغة متطابقة مع بعضها البعض، لذلك بالضبط واحد ينجو؛ إزالة الصفوف الفارغة هو ما يمسحها.
• التحقق من المعاينة بعد ذلك: يتم عرض الصفوف 100 الأولى فقط، لذا فهي مكررة تتم إزالة الجزء الموجود أسفل هذا الخط أو إبقاؤه غير مرئي.

ملاحظات فنية

يتم تقليل كل صف إلى مفتاح هوية من خلال ربط خلاياه بحرف NUL، والذي لا يمكن أن تظهر بشكل قانوني في النص CSV. الانضمام بفاصلة بدلاً من ذلك سيسمح بخلية واحدة تحتوي على a,b تتصادم مع خليتين تحتويان على a وb، وهذه هي الطريقة التي تعمل بها أداة إزالة النسخ يحذف الصف الخطأ بصمت. تنتقل المفاتيح إلى مجموعة تجزئة، وبالتالي يكون المسح خطيًا واحدًا تم العثور على التمرير والتكرارات في أي مكان يجلسون فيه وليس فقط عندما يكونون متجاورين، و يُرجع التحويل مصفوفة جديدة، لذا يؤدي التراجع إلى استعادة الجدول السابق تمامًا.

الأسئلة المتداولة

هل يحتفظ بالنسخة الأولى أم الأخيرة؟

الأول. يبقى الصف الأصلي في مكانه ويتم إسقاط النسخ الأحدث، وبالتالي فإن ترتيب البيانات التي تحتفظ بها لم تتغير. إذا كانت النسخ اللاحقة هي النسخ المصححة، فقم بفرزها أو تحريرها الملف بحيث يأتي الإصدار الذي تريده أولاً.

هل يمكنني إلغاء التكرار في عمود واحد، مثل البريد الإلكتروني؟

ليس بشكل مباشر؛ الزر يقارن الصفوف بأكملها. يمكنك تحديد هذا العمود فقط، حدد قم بتطبيق تحديد العمود ثم قم بإلغاء التكرار، ولكن هذا يحافظ على العمود المحدد فقط، لذلك قم بالتراجع بعد ذلك إذا كنت بحاجة إلى الحقول الأخرى.

لماذا لا تزال هناك نسخة مكررة واضحة؟

هناك شيء ما يختلف في الصف: مسافة زائدة، ومسافة غير منقسمة تم لصقها من الويب صفحة أو حالة أحرف مختلفة أو عمود نسيته مثل معرف الصف أو الطابع الزمني للتصدير.