البيانات وجداول البيانات · CSV منظف
كيف يعمل CSV الكشف عن المحددات: الفواصل والفواصل المنقوطة وعلامات التبويب والموجهات
· كيف يعمل
ملف CSV تنظيف البيانات تنسيقات الملفات
لا يذكر ملف CSV أبدًا الحرف الذي يفصل بين حقوله، لذا يجب على البرنامج أن يخمن. يشرح هذا المنشور كيفية عمل استنشاق المحدد، وسبب فشله في الملفات الصعبة، وكيفية جعل المحدد واضحًا.
ملف يتم فتحه كعمود طويل - لماذا لا يتم تخزين المحدد في أي مكان في CSV
يقوم محلل البيانات بفتح تصدير بتنسيق .csv ويرى حقلاً طويلًا واحدًا في كل سطر. لا يخبر الامتداد القارئ بالفاصل الذي تم استخدامه، وعادةً لا يحمل الملف أي إعلان محدد. سيقوم التطبيق الذي يفترض الفواصل بقراءة رأس مفصول بفاصلة منقوطة مثل name;city;notes كعمود واحد. قبل تغيير القيم، اسأل عن الحرف الذي يقسم الحقول فعليًا وما إذا كان لدى المستورد طريقة لتجاوز تخمينه.
المرشحات الأربعة المدعومة: الفاصلة، والفاصلة المنقوطة، وعلامة التبويب، والتوجيه
ToolAcre يعتبر الفاصلة والفاصلة المنقوطة وعلامة التبويب والتوجيه كمرشحات. تكون الفاصلة المنقوطة شائعة عند استخدام الفواصل بالفعل كفواصل عشرية، وتتجنب علامات التبويب تضارب علامات الترقيم في عمليات التصدير البسيطة، وفي بعض الأحيان تفصل الأنابيب عمليات تفريغ السجل أو قاعدة البيانات. المسافة ليست من بين الاختيارات التلقائية للأداة: غالبًا ما تحتوي الأسماء وخلايا النص الحر على مسافات. لا تقم بإضافة مرشح لمجرد أنه يتكرر في نموذج النص؛ يجب أن يقوم الفاصل بتقسيم الصفوف إلى حقول متسقة.
كيف يعمل الاستنشاق - حساب الأحرف المرشحة في كل سطر وتفضيل الحرف الذي يعطي عددًا ثابتًا للحقول عبر الصفوف
يقوم التنفيذ بإزالة علامة ترتيب البايت البادئة UTF-8 ويوزع عينة تصل إلى عشرة صفوف مع كل مرشح. فهو يسجل عرض تلك الصفوف ويرفض أي مرشح لا ينتج عنه عمودين على الأقل. يحصل المرشح على درجات أعلى عندما ينتج المزيد من الأعمدة بشكل متسق عبر الصفوف؛ تتم معاقبة العروض غير المتناسقة مرتين في النتيجة. والأهم من ذلك، أن التحليل يراقب الحقول المقتبسة، لذا فإن الفاصلة الموجودة داخل العنوان المقتبس لا تعتبر حدًا للحقل. وهذا يختلف عن حساب الأحرف الساذج، ولهذا السبب لا يحتاج عمود العنوان الفوضوي إلى إحباط الاكتشاف.
عندما يفشل الاستنشاق - أعمدة النص الحر المليئة بالفواصل والملفات ذات العمود الواحد والحقول المقتبسة التي تخفي الفاصل الحقيقي
لا يوجد تخمين معصوم من الخطأ. يحتوي الملف القصير جدًا على القليل من الأدلة، والعمود الوحيد CSV لا يحتوي على مرشح ينقسم إلى قسمين، كما أن الاقتباس غير الصحيح يمكن أن يجعل العديد من التحليلات المرشحة تبدو غير متقنة. قد يتنافس عمود النص الحر المليء بالفواصل مع المحدد الحقيقي عند كسر الاقتباس. الفواصل المختلطة عبر الصفوف ليست لهجة واحدة نظيفة CSV. تبلغ الأداة عن تحذيرات التحليل وتكشف عن التحديد اليدوي للمحددات؛ يمكن للمستخدم الذي يعرف اتفاقية التصدير الأولية تجاوز الاختيار المستنتج بدلاً من التظاهر بأن الاستدلال هو أحد المواصفات.
مثال عملي - تصدير مفصول بفواصل منقوطة مع فواصل داخل العناوين، يوضح سبب اختيار عدد ساذج للحرف الخاطئ
جرب نموذجًا صغيرًا يحتوي على اسم رأس الصفحة;مدينة;ملاحظة وصف Ada;Paris;"Meeting at 10، بالقرب من المحطة". قد يؤدي حساب الفواصل الأولية إلى تفضيل الفاصلة بشكل خاطئ لأن الملاحظة تحتوي على علامات ترقيم، خاصة على عدة صفوف من هذا القبيل. يقوم المحلل اللغوي للفاصلة المنقوطة بإرجاع ثلاثة حقول في كلا الصفين؛ لا يوفر محلل الفاصلة نفس البنية المستطيلة. تأكد من أن المعاينة تظهر الاسم والمدينة والملاحظة كأعمدة منفصلة قبل الاقتطاع أو إلغاء التكرار أو التصدير. إذا كان أحد صفوف المصدر يحتوي على عرض أسعار غير مغلق، فافحص هذا الصف بدلاً من تجاهله بصمت لتحسين النتيجة.
اختيار محدد الإخراج — مطابقة الفاصل مع البرنامج والإعدادات المحلية التي ستقرأ الملف بعد ذلك
فاصل الإدخال وفاصل الإخراج قرارات مختلفة. يمكنك استيراد ملف فاصلة منقوطة أوروبية ولكن يمكنك تصدير نص مفصول بفاصلة بنمط RFC لبرنامج يتوقع الفواصل. يقتبس الكاتب الصحيح الحقول التي تحتوي على محدد الإخراج أو علامات الاقتباس المضمنة أو فواصل الأسطر. قرر ما إذا كان المستلم يحتاج إلى UTF-8 BOM قبل التنزيل؛ تستخدم بعض تطبيقات جداول البيانات واحدًا للتعرف على التشفير بينما يريد العديد من المحللين الملف بدونه. تحقق من العنوان الذي تم تنزيله في البرنامج الوجهة، وليس فقط في معاينة المتصفح.
ما لا يغطيه هذا - الملفات التي تخلط المحددات بين الصفوف، وعمليات التصدير ذات العرض الثابت التي لا تستخدم أي محدد على الإطلاق
لا يمكن للاكتشاف إصلاح ملف يغير الفاصل في منتصف الطريق، كما لا يمكنه استنتاج الأعمدة في عملية تصدير ذات عرض ثابت حيث لا يوجد محدد. ولا يعرف ما إذا كان المقصود من الفاصلة المقتبسة أن تكون جزءًا من عنوان شارع أو خطأ في إدخال البيانات: فهي تتبع بناء الجملة، وليس المعنى. سيظهر المنظف CSV الصفوف الممزقة ويحافظ على قيمها بدلاً من تخمين كيفية حذف بيانات العميل. استخدم معاينتها وتحذيراتها لتشخيص مشكلة النظام المصدر قبل تنفيذ خطوات التنظيف التي لا رجعة فيها.
اجعل المحدد صريحًا بدلاً من الأمل - كيف ينتج عن إصلاح المحدد ToolAcre CSV ملفًا بفاصل واحد ثابت
التخمين المحدد هو تحليل مبني على الأدلة لبضعة صفوف، وليس وعدًا مكتوبًا داخل الملف CSV. CSV يقوم المنظف بتطبيقه محليًا في متصفحك، ويتيح لك اختيار فاصل مختلف وكتابة لهجة إخراج واحدة متسقة. إذا كان معالج الاستيراد يخمن بشكل مختلف في الأسبوع المقبل، فقم بتسجيل اصطلاح الإخراج بجوار الملف حتى لا يضطر القارئ التالي إلى إعادة اكتشافه.