วิธีทำความสะอาดไฟล์ CSV ที่ยุ่งเหยิง

เหตุใดการส่งออกถึงแตกหัก

CSV เป็นกลุ่มของแบบแผนมากกว่ารูปแบบ แอปพลิเคชันสองตัวสามารถขอรับการสนับสนุน CSV และไม่เห็นด้วยกับตัวคั่น รูปแบบการอ้างอิง การสิ้นสุดบรรทัด และการเข้ารหัสอักขระ

ตัวคั่นคือสิ่งที่น่าประหลาดใจที่สุด ซอฟต์แวร์ที่จำหน่ายในประเทศที่ใช้เครื่องหมายจุลภาคเป็นตัวคั่นทศนิยมมักจะส่งออกไฟล์ที่คั่นด้วยเครื่องหมายอัฒภาค เนื่องจากเครื่องหมายจุลภาคถูกครอบครองแล้ว ไฟล์เหล่านั้นยังคงลงท้ายด้วย .csv และเครื่องมือที่ใช้เครื่องหมายจุลภาคจะยุบทุกแถวให้เป็นคอลัมน์เดียว

การเข้ารหัสเป็นครั้งที่สอง ไฟล์ UTF-8 มักเริ่มต้นด้วยเครื่องหมายลำดับไบต์สามไบต์ที่มองไม่เห็น Excel บน Windows ใช้เพื่อจดจำ UTF-8; เครื่องมืออื่นๆ อีกมากมายไม่คาดคิด ดังนั้นจึงติดอยู่กับชื่อส่วนหัวแรกและคอลัมน์ชื่อ id ก็กลายเป็นคอลัมน์ที่ไม่มีการค้นหาใดจะตรงกันเลย

วินิจฉัยเป็นตัวเลขสามตัว

การตรวจจับอัตโนมัติจะแยกวิเคราะห์ตัวอย่างด้วยตัวคั่นตัวเลือกแต่ละตัว และเลือกตัวอย่างที่ให้ผลลัพธ์เป็นรูปสี่เหลี่ยมผืนผ้าสม่ำเสมอที่สุด ซึ่งเป็นสาเหตุที่ว่าทำไมจึงไม่ถูกหลอกด้วยเครื่องหมายจุลภาคในช่องเครื่องหมายคำพูดของไฟล์ที่คั่นด้วยเครื่องหมายอัฒภาค มันถูกต้องเกือบตลอดเวลา ภาพตัวอย่างจะบอกคุณเมื่อไม่เป็นเช่นนั้น

• จำนวนคอลัมน์ ถ้าเป็น 1 แสดงว่าตัวคั่นผิด ลองใช้เครื่องหมายอัฒภาคแล้วกดแท็บ
• การนับแถว หากสูงกว่าที่คาดไว้มาก ไฟล์นั้นอาจมีการขึ้นบรรทัดใหม่ที่ยกมาซึ่งมีบางสิ่งที่อัปสตรีมเสียหายไปแล้ว
• นับคำเตือน คำเตือนแต่ละรายการจะตั้งชื่อหมายเลขแถว นับวิธีนับของโปรแกรมแก้ไขข้อความ ดังนั้นคุณจึงสามารถไปดูได้

การอ่านคำเตือน

แถวที่ขาดหายหมายถึงแถวมีจำนวนเซลล์แตกต่างจากส่วนหัว ไม่มีอะไรถูกละทิ้งเพื่อจัดตารางให้เป็นระเบียบ: แถวสั้นจะบุด้วยช่องว่าง และแถวยาวจะเก็บค่าพิเศษไว้ การลบข้อมูลของใครบางคนอย่างเงียบๆ เพื่อให้ตารางมีลักษณะเป็นรูปสี่เหลี่ยมผืนผ้าเป็นสิ่งที่แย่ที่สุดที่เครื่องมือทำความสะอาดสามารถทำได้ ดังนั้นจึงยังไม่เสร็จสิ้น

เครื่องหมายคำพูดที่ไม่ปิดหมายความว่าเครื่องหมายคำพูดคู่ถูกเปิดและไม่เคยปิด ดังนั้นทุกสิ่งหลังจากนั้นจึงถูกอ่านเป็นช่องขนาดมหึมาช่องเดียว นี่เป็นความเสียหายที่เกิดขึ้นจริงในแหล่งที่มาเกือบทุกครั้ง และควรแก้ไขที่ที่ไฟล์ถูกสร้างขึ้น แทนที่จะแพตช์ดาวน์สตรีม

เครื่องมือจะรายงานสิ่งเหล่านี้แทนที่จะซ่อมแซม เนื่องจากทั้งสองกรณีมีการแก้ไขที่ถูกต้องที่เป็นไปได้หลายประการ และมีเพียงคุณเท่านั้นที่ทราบว่าข้อใดใช้ได้

ทำความสะอาดตามลำดับที่ถูกต้อง

การส่งออกแบบปลอดภัยด้วยการฉีดสูตรจะเปิดไว้ตามค่าเริ่มต้น และเป็นทางเลือกหนึ่งที่ให้ผลด้านความปลอดภัยอย่างแท้จริง เซลล์ที่ขึ้นต้นด้วย =, +, - หรือ @ ถือเป็นสูตรโดยแอปพลิเคชันสเปรดชีต ดังนั้นค่าที่มาจากแหล่งที่ไม่น่าเชื่อถือจึงสามารถดำเนินการได้เมื่อมีคนเปิดไฟล์ของคุณ การส่งออกที่ปลอดภัยจะนำหน้าเซลล์เหล่านั้นด้วยเครื่องหมายอะพอสทรอฟี่ ซึ่งจะหยุดการคำนวณ รวมถึงเซลล์ใดๆ ที่คุณตั้งใจจะคำนวณ ซึ่งมีอยู่ในการบรรเทาแทนที่จะเป็นจุดบกพร่อง

1. ตัดช่องว่างก่อน สองแถวที่แตกต่างกันเพียงช่องว่างต่อท้ายจะไม่ซ้ำกันจนกว่าคุณจะตัดออก
2. ลบแถวที่ซ้ำกันที่สอง การเกิดขึ้นครั้งแรกจะถูกเก็บไว้ ดังนั้นลำดับการรอดตายจึงไม่เปลี่ยนแปลง
3. เปลี่ยนชื่อส่วนหัวและเลือกคอลัมน์ที่จะส่งออก
4. จัดเรียงถ้าคุณต้องการ ตรวจพบคอลัมน์ตัวเลขและจัดเรียงเป็นตัวเลข ดังนั้น 9 มาก่อน 10
5. ตรวจสอบตัวเลือกการส่งออกก่อนดาวน์โหลด โดยเฉพาะการตั้งค่าการแทรกสูตร

การเลือกการเข้ารหัสการส่งออก

เปิดเครื่องหมายลำดับไบต์ UTF-8 ถ้าไฟล์ถูกกำหนดไว้สำหรับ Excel บน Windows ซึ่งใช้ในการตรวจจับการเข้ารหัส หากไม่มี อักขระเน้นเสียงและสคริปต์ที่ไม่ใช่ภาษาละตินสามารถปรากฏเป็น mojibake ได้เมื่อดับเบิลคลิก

ปล่อยให้เป็น OFF หากไฟล์ป้อนสคริปต์ การนำเข้าฐานข้อมูล หรือโปรแกรมอื่น เนื่องจากตัวแยกวิเคราะห์ที่เข้มงวดบางรายถือว่าเครื่องหมายเป็นข้อมูล

ตัวอย่างการทำงาน: การส่งออก 12,000 แถวที่เปิดเป็นคอลัมน์เดียว

การส่งออกของลูกค้าจาก CRM ในยุโรปจะเปิดขึ้นในตัวแก้ไขของคุณเป็น 12,000 แถวและคอลัมน์เดียว แถวส่วนหัวอ่านชื่อ;อีเมล;ประเทศ;วันที่ลงทะเบียน

1. โหลดไฟล์. ตรวจหารายงานอัตโนมัติ 4 คอลัมน์ หากไม่เป็นเช่นนั้น ให้ตั้งค่าตัวคั่นเป็นอัฒภาคด้วยตนเอง
2. อ่านคำเตือน: พูดว่า 3 แถวขาดที่ 418, 2,905 และ 7,110
3. ดูสามแถวนั้นสิ พวกเขามีเครื่องหมายอัฒภาคที่ไม่ได้ใช้ Escape อยู่ภายในชื่อบริษัท เซลล์ส่วนเกินจะถูกเก็บไว้ ดังนั้นจึงไม่มีอะไรสูญหาย
4. ตัดช่องว่าง จากนั้นลบรายการที่ซ้ำกัน
5. ส่งออกเป็น CSV โดยมีเครื่องหมายจุลภาคเป็นตัวคั่นและเปิดเครื่องหมายลำดับไบต์ เนื่องจากไฟล์จะส่งถึงเพื่อนร่วมงานที่ใช้ Excel

ผลลัพธ์: ไฟล์ UTF-8 ที่คั่นด้วยเครื่องหมายจุลภาคซึ่งมีเครื่องหมายลำดับไบต์ สี่คอลัมน์ และแถวที่ซ้ำกันหายไป แถวปัญหาสามแถวยังคงมีเซลล์พิเศษอยู่ครบถ้วน ตั้งค่าสถานะเพื่อให้คุณแก้ไขที่ต้นทาง แทนที่จะลบออกเพื่อทำให้ตารางเป็นระเบียบเรียบร้อย

เปิดเครื่องมือ

ทำความสะอาด CSV ในเบราว์เซอร์ของคุณ

แยกวิเคราะห์ Web Worker บนอุปกรณ์ของคุณ เก็บทุกเซลล์ที่พบ และรายงานปัญหาที่จะไม่คาดเดา

สิ่งนี้ไม่ครอบคลุมถึง

• ไฟล์ทั้งหมดถูกเก็บไว้ในหน่วยความจำอุปกรณ์ของคุณ ฝาปิดอยู่ที่ 50 MB และโทรศัพท์จะต้องดิ้นรนก่อนที่แล็ปท็อปจะเสียอีก
• แสดงเฉพาะ 100 แถวแรกในหน้าตัวอย่าง แม้ว่าทุกแถวจะถูกล้างและส่งออกก็ตาม
• การตรวจจับการเข้ารหัสถูกจำกัดไว้ที่เครื่องหมายลำดับไบต์ UTF-8 ไฟล์ที่บันทึกเป็น Windows-1252 หรือ Shift-JIS จะถูกอ่านเป็น UTF-8 และอาจแสดงอักขระแทนที่ ส่งออกอีกครั้งเป็น UTF-8 จากแอปพลิเคชันต้นทาง
• มีการเขียนเพียง UTF-8 เท่านั้น ไม่มีการสร้างการเข้ารหัสแบบเดิม
• ไม่มีการสนับสนุนหลายแผ่นงาน เนื่องจาก CSV ไม่มีแนวคิดเกี่ยวกับแผ่นงาน
• ไฟล์ที่การอ้างอิงเสียหายอยู่แล้วจะถูกรายงาน ไม่ได้รับการซ่อมแซม
• การเลิกทำจะจำกัดอยู่ที่การดำเนินการ 20 ล่าสุดเท่านั้น