البيانات وجداول البيانات · CSV منظف
ترميزات الأحرف لمستخدمي جداول البيانات: ASCII، Windows-1252 وUTF-8
· خلفية
ملف CSV ترميز تنسيقات البيانات
التشفير هو الاتفاق حول أي وحدات بايت تعني أي أحرف، وملفات CSV لا تحدد أبدًا أي منها تستخدم. يشرح هذا المنشور ASCII وWindows-1252 وUTF-8 بعبارات واضحة، ولماذا فاز UTF-8، وماذا يعني ذلك بالنسبة للصادرات.
"إنها مشكلة ترميز" كتفسير لا يشرح شيئًا - ما هو التشفير في الواقع
إن قول "مشكلة الترميز" يحدد الحدود ولكن ليس العلاج. يخزن الملف البايتات؛ تحتاج الصفحة إلى أحرف قبل أن تتمكن من التعرف على المحددات وعلامات الاقتباس. إذا كانت اتفاقية البايت إلى الحرف خاطئة، فقد يتلقى المحلل اللغوي علامات استبدال على الرغم من أن جهاز الحالة CSV الخاص به يعمل تمامًا كما هو مكتوب.
اتفاقية ToolAcre صريحة: تتم قراءة النص المحدد كـ UTF-8، ولا تتلقى سوى علامة ترتيب البايت UTF-8 معالجة خاصة. يعد هذا العقد الضيق أكثر فائدة من التظاهر بأن CSV يحمل علامة تشفير. يجب أن يتفق المصدر والمتلقي قبل الوثوق في التنظيف الهيكلي.
ASCII: النواة المشتركة — سبع بتات، والأبجدية الإنجليزية وعلامات الترقيم، وسبب شيوعها في كل التشفيرات تقريبًا
تتداخل أحرف ASCII مع UTF-8 بالنسبة للأحرف والأرقام وعلامات الترقيم الإنجليزية المألوفة التي تستخدمها معظم صيغ CSV. ولهذا السبب يمكن أن يظهر الملف بشكل جيد حتى يقدم اسم العميل أو الرمز وحدات بايت خارج النطاق المشترك. يدعم المستودع هذه الملاحظة العملية ولكنه ليس مصدرًا أساسيًا لتاريخ ASCII أو التسلسل الزمني الدقيق للتصميم.
وبالتالي يمكن تحليل الفاصلة والاقتباس بشكل صحيح بينما يكون أحد الأسماء تالفًا بالفعل. النجاح الهيكلي ليس الإخلاص في الشخصية. قم بتضمين التركيبات غير ASCII عند اختبار التصدير، لأن العينة المكتوبة باللغة الإنجليزية بالكامل لا يمكنها ممارسة حدود التشفير التي تهم البيانات الدولية.
يعد التداخل ASCII سياقًا مفيدًا، بينما يحتاج عدد البتات والتاريخ إلى مصادر خارجية
تقوم صفحات الرموز القديمة بتعيين قيم البايت ضمن الجداول الإقليمية، كما يؤدي استخدام الجدول الخاطئ إلى تغيير الأحرف. يتطلب المصنف تفاصيل Windows-1252، إلا أن ToolAcre لا يحتوي على وحدة فك ترميز أو جدول تعيين يمكن تحديده. يحذر تكوينه من أن Windows-1252 وShift-JIS تتم قراءتهما كـ UTF-8 ويظهران أحرف بديلة.
حدد مصدرًا قديمًا من خلال إعدادات المنتج أو مفتشًا مدركًا للتشفير يعمل من وحدات البايت التي لم تمسها. لا تطلب من هذا المنظف استنتاج الجدول من الأسماء. بمجرد إرجاع `File.text()` لسلسلة تالفة، لا يمكن للمحلل استرداد تمييزات البايت التي تجاهلها فك التشفير.
تفاصيل صفحة الرموز القديمة موجودة خارج دليل المستودع؛ ToolAcre لا يقوم بفك تشفيرها
يمكن أن يمثل UTF-8 نصًا يتجاوز التداخل ASCII مع ترك أحرف بناء الجملة الشائعة هذه دون تغيير. يقوم المتصفح بتحويل وحدات البايت المحددة إلى سلسلة JavaScript قبل تحليل العامل. ضمن هذه السلسلة، يتم إرسال أسماء Unicode والرموز التعبيرية ذهابًا وإيابًا عبر المحلل اللغوي والتسلسلي لـ ToolAcre، كما توضح الاختبارات.
هذا الدليل لا يجعل الوحدة شرحًا كاملاً لليونيكود. تقول أن المسار يحتفظ بالسلاسل الصالحة التي تم فك تشفيرها والحقول المقتبسة ونص التصدير. الأسئلة المتعلقة بنماذج التطبيع أو مجموعات الحروف أو كل تحويل Unicode تقع خارج نطاق الكود ولا ينبغي استنتاجها من رحلة ذهاب وإياب ناجحة.
ToolAcre يوضح UTF-8 معالجة النص، وليس نموذج ترميز Unicode الكامل
يختار المشروع UTF-8 لأن هذا هو عقد الإدخال والإخراج الذي تم تكوينه. لا تحدد ملفات المستودع الأسباب التاريخية لاعتماد الويب على نطاق أوسع UTF-8، لذلك تحذف هذه المقالة المطالبة المطلوبة. لا تحتاج حقيقة المنتج إلى سرد اعتماد عالمي حتى يكون قابلاً للتنفيذ.
بالنسبة للمشغلين، يعني التقييس التصدير أو التحويل إلى UTF-8 قبل التحميل، والتحقق من القيم التمثيلية متعددة اللغات، ثم إجراء تسلسل لجدول تمت مراجعته. يجب أن يتوقع البرنامج النصي المتلقي أيضًا UTF-8 ويقرر ما إذا كان يقبل BOM. إن الاتفاق على كلا الطرفين يشكل أهمية أكبر من مجرد بيان عام حول حالات التخلف عن السداد.
يحدد المستودع UTF-8 كعقد لهذه الأداة، وليس سبب اختيار الويب الأوسع لها
تتم إزالة U+FEFF البادئة قبل اكتشاف المحدد، وتسجل النتيجة `hadBom` حتى تتمكن الواجهة من الإبلاغ عنه. يمكن للتصدير أن يلحق نفس العلامة عندما يحدد الزائر الخيار. بدون هذا الاختيار، يبدأ الإخراج مباشرة بحرف الرأس الأول.
يمكن أن تساعد العلامة بعض عمليات سير عمل جداول البيانات في التعرف على UTF-8، لكن التكوين يحذر من أن البرامج النصية الصارمة أو عمليات استيراد قاعدة البيانات قد تربطها بالرأس الأول. استخدم الخيار للمستهلك المعروف، وليس للنظافة الشاملة. تعد سياسة BOM جزءًا من عقد الواجهة.
ما لا يغطيه هذا — UTF-16 الصادرات وترميزات شرق آسيا وتطبيع الأحرف المركبة
UTF-16، لم يتم تنفيذ الترميزات القديمة لشرق آسيا وتطبيع Unicode هنا. ولا يتم اكتشاف ترتيب البايت أو إصلاح الأحرف البديلة. إن تسمية هذه الإغفالات تمنع المستخدم من التعامل مع التنزيل الناجح كدليل على بقاء كل حرف أصلي.
إذا كانت هناك وحدات بايت غير مدعومة، فاحتفظ بالنسخة الأصلية واستخدم وحدة فك ترميز مصممة لهذا المصدر. بعد التحويل إلى UTF-8 الذي تم التحقق منه، يمكن لـ ToolAcre التعامل مع بنيته الموثقة CSV. يؤدي فصل فك تشفير الأحرف عن تحليل الصفوف إلى تسهيل تشخيص حالات الفشل وتجنب التخمين المدمر.
قم بإجراء كل عملية تصدير UTF-8 وقل ذلك - كيف يقوم إصلاح ترميز ToolAcre CSV بتحويل عمليات التصدير القديمة إلى UTF-8 في متصفحك
اجعل UTF-8 متطلبًا صريحًا للتبادل واختبره باستخدام فئات الأحرف الحقيقية التي تستخدمها مجموعة البيانات. يمكن لـ ToolAcre إزالة أو إضافة بادئة UTF-8 BOM، والاحتفاظ بسلاسل خلايا Unicode صالحة وتطبيع الاقتباس CSV. لا يمكن إجراء التحويل القديم الذي وعد به المخطط التفصيلي الأصلي.
عند ظهور أحرف بديلة، توقف قبل التنظيف أو إعادة الحفظ. قم بالاسترداد من البايتات الأصلية، وتحقق من الأسماء، ثم قم بالعودة. يحمي هذا الترتيب المعلومات: يجب أن يكون التشفير صحيحًا قبل أن تتمكن عمليات التحديد والتكرار والمسافات البيضاء من إنتاج مخرجات جديرة بالثقة.