كيفية تنظيف ملف CSV الفوضوي

لماذا تصل الصادرات مكسورة

CSV عبارة عن مجموعة من الاصطلاحات وليس تنسيقًا. يمكن لتطبيقين المطالبة بدعم CSV والاختلاف حول المحدد ونمط الاقتباس ونهاية السطر وترميز الأحرف.

المحدد هو المفاجأة الأكثر شيوعًا. غالبًا ما تقوم البرامج التي يتم بيعها في البلدان التي تستخدم الفاصلة كفاصل عشري بتصدير ملفات مفصولة بفواصل منقوطة، لأن الفاصلة مشغولة بالفعل. لا تزال هذه الملفات تنتهي بـ .csv، والأداة التي تفترض الفواصل تطوي كل صف في عمود واحد.

الترميز هو الثاني. يبدأ الملف UTF-8 بشكل متكرر بعلامة ترتيب بايت غير مرئية مكونة من ثلاثة بايت. يستخدمه Excel على نظام التشغيل Windows للتعرف على UTF-8؛ العديد من الأدوات الأخرى لا تتوقع ذلك، لذلك يتم لصقها باسم الرأس الأول ويصبح العمود المسمى id بصمت عمودًا لن يتطابق معه أي بحث على الإطلاق.

التشخيص بثلاثة أرقام

يقوم الاكتشاف التلقائي بتوزيع عينة مع كل محدد مرشح واختيار العينة التي تنتج النتيجة المستطيلة الأكثر اتساقًا، ولهذا السبب لا يتم خداعها بفواصل داخل الحقول المقتبسة في ملف مفصول بفاصلة منقوطة. وهو صحيح في أغلب الأحيان؛ تخبرك المعاينة عندما لا تكون كذلك.

• عدد الأعمدة. إذا كان 1، فإن المحدد خاطئ. حاول استخدام الفاصلة المنقوطة، ثم علامة التبويب.
• عدد الصفوف. إذا كان أعلى بكثير من المتوقع، فمن المحتمل أن يحتوي الملف على أسطر جديدة مقتبسة تشير إلى أن شيئًا ما في المنبع قد تشوه بالفعل.
• عدد التحذيرات يحدد كل تحذير رقم صف، ويتم حسابه بالطريقة التي يحسب بها محرر النصوص، حتى تتمكن من الذهاب والبحث.

قراءة التحذيرات

الصف المتعرج يعني أن الصف يحتوي على عدد مختلف من الخلايا عن الرأس. لا يتم تجاهل أي شيء لترتيب الشبكة: يتم ملء الصفوف القصيرة بالفراغات وتحتفظ الصفوف الطويلة بقيمها الإضافية. إن حذف بيانات شخص ما بصمت لجعل الجدول يبدو مستطيلاً هو أسوأ شيء يمكن أن تفعله أداة التنظيف، لذلك لم يتم القيام به.

الاقتباس غير المغلق يعني أن الاقتباس المزدوج قد تم فتحه ولم يتم إغلاقه أبدًا، لذلك تتم قراءة كل شيء بعده كحقل واحد ضخم. يعد هذا دائمًا تلفًا حقيقيًا في المصدر، ومن المفيد إصلاح مكان إنتاج الملف بدلاً من التصحيح في اتجاه مجرى النهر.

تقوم الأداة بالإبلاغ عن هذه الأخطاء بدلاً من إصلاحها، لأن كلتا الحالتين تحتويان على العديد من الإصلاحات الصحيحة المحتملة وأنت وحدك الذي يعرف ما ينطبق.

تنظيف بالترتيب الصحيح

يتم تشغيل التصدير الآمن للحقن الصناعي بشكل افتراضي وهو الخيار الوحيد هنا الذي له عواقب أمنية حقيقية. يتم التعامل مع الخلية التي تبدأ بـ = أو + أو - أو @ كصيغة بواسطة تطبيقات جداول البيانات، لذلك يمكن تنفيذ القيمة الواردة من مصدر غير موثوق عندما يفتح شخص ما ملفك. يقوم التصدير الآمن بوضع بادئة لتلك الخلايا بفاصلة عليا، مما يمنعها من الحساب - بما في ذلك أي خلية كنت تنوي حسابها، وهو أمر متأصل في عملية التخفيف وليس خطأ.

1. قم بقص المسافة البيضاء أولاً. لا يتم تكرار صفين يختلفان بمسافة زائدة فقط حتى تقوم بقصهما.
2. إزالة الصفوف المكررة ثانيا. يتم الاحتفاظ بالحدث الأول، لذلك لا يتغير ترتيب البقاء.
3. أعد تسمية الرؤوس واختر الأعمدة المراد تصديرها.
4. قم بالفرز إذا كنت بحاجة إلى ذلك. يتم اكتشاف الأعمدة الرقمية وفرزها رقميًا، لذا فإن 9 يأتي قبل 10.
5. تحقق من خيارات التصدير قبل التنزيل، وخاصة إعداد حقن الصيغة.

اختيار ترميز التصدير

قم بتشغيل علامة ترتيب البايت UTF-8 إذا كان الملف مخصصًا لبرنامج Excel على نظام التشغيل Windows، والذي يستخدمه للكشف عن التشفير؛ وبدونها، يمكن أن تظهر الأحرف المحركة والنصوص غير اللاتينية على شكل mojibake عند النقر المزدوج.

اتركها OFF إذا كان الملف يغذي برنامجًا نصيًا أو استيراد قاعدة بيانات أو برنامجًا آخر، لأن بعض المحللين الصارمين يتعاملون مع العلامة على أنها بيانات.

مثال عملي: تصدير صف 12,000 يتم فتحه كعمود واحد

يتم فتح تصدير عميل من CRM الأوروبي في محررك على شكل 12,000 صفوف وعمود واحد. يقرأ صف الرأس الاسم؛ البريد الإلكتروني؛ الدولة؛ تاريخ الاشتراك.

1. قم بتحميل الملف. تقارير الاكتشاف التلقائي 4 من الأعمدة؛ إذا لم يحدث ذلك، قم بتعيين المحدد إلى فاصلة منقوطة يدويًا.
2. اقرأ التحذيرات: قل 3 صفوف متعرجة في 418، و2,905، و7,110.
3. انظر إلى تلك الصفوف الثلاثة. وهي تحتوي على فاصلة منقوطة داخل اسم الشركة - ويتم الاحتفاظ بالخلايا الإضافية، لذلك لا يتم فقدان أي شيء.
4. قم بقص المسافة البيضاء، ثم قم بإزالة التكرارات.
5. قم بالتصدير بتنسيق CSV مع وضع الفاصلة كمحدد وعلامة ترتيب البايت، لأن الملف سينتقل إلى زميل يستخدم Excel.

نتيجة: ملف UTF-8 مفصول بفواصل مع علامة ترتيب البايت وأربعة أعمدة والصفوف المكررة. لا تزال صفوف المشاكل الثلاثة موجودة مع خلاياها الإضافية سليمة، ويتم وضع علامة عليها لإصلاحها في المصدر بدلاً من حذفها لجعل الجدول مرتبًا.

افتح الأداة

قم بتنظيف CSV في متصفحك

يقوم بتوزيع عامل الويب على جهازك، ويحتفظ بكل خلية يعثر عليها، ويبلغ عن المشكلات التي لن يتمكن من تخمينها.

ما لا يغطيه هذا

• الملف بأكمله محفوظ في ذاكرة جهازك. الحد الأقصى هو 50 MB، وسيعاني الهاتف جيدًا قبل أن يواجهه الكمبيوتر المحمول.
• يتم عرض الصفوف 100 الأولى فقط في المعاينة، على الرغم من تنظيف كل صف وتصديره.
• يقتصر اكتشاف التشفير على علامة ترتيب البايت UTF-8. الملف المحفوظ باسم Windows-1252 أو Shift-JIS تتم قراءته كـ UTF-8 وقد يعرض أحرفًا بديلة؛ أعد تصديره كـ UTF-8 من التطبيق المصدر.
• تتم كتابة UTF-8 فقط. لا يتم إنتاج الترميزات القديمة.
• لا يوجد دعم للأوراق المتعددة، لأن CSV لا يحتوي على مفهوم الأوراق.
• تم الإبلاغ عن الملف الذي كان اقتباسه تالفًا بالفعل، ولم يتم إصلاحه.
• يقتصر التراجع على عمليات 20 الأخيرة.