ลบแถวที่ซ้ำกันออกจากไฟล์ CSV

ไฟล์ของคุณและความเป็นส่วนตัวของคุณ

แถวที่กำลังเปรียบเทียบจะไม่ออกจากอุปกรณ์ของคุณ เบราว์เซอร์อ่านไฟล์และแยกวิเคราะห์ โดย Web Worker ในแท็บนี้ ขจัดข้อมูลซ้ำซ้อนในหน่วยความจำและเขียนกลับโดยเบราว์เซอร์ กลไกการดาวน์โหลด รหัสเครื่องมือไม่ได้ร้องขอการพกพาไฟล์ ข้อความที่วาง หรือ ผลผลิตที่สร้างขึ้น คำขอสคริปต์การวิเคราะห์ที่เปิดเผยจะแยกจากกันและมีอธิบายไว้ในนั้น นโยบายความเป็นส่วนตัวของเว็บไซต์

เครื่องมือนี้ทำอะไรได้บ้าง

ลบแถวที่ซ้ำแถวที่เห็นก่อนหน้านี้ในไฟล์ การเปรียบเทียบครอบคลุม ทุกคอลัมน์ใช้ค่าเซลล์ที่แยกวิเคราะห์ คำนึงถึงตัวพิมพ์เล็กและตัวพิมพ์ใหญ่และถือว่าช่องว่างเป็น สำคัญ การเกิดขึ้นครั้งแรกจะยังคงอยู่และลำดับของแถวที่รอดชีวิตคือ ไม่เปลี่ยนแปลง

การขจัดความซ้ำซ้อนจะเดินแถวข้อมูลตามลำดับและเก็บเฉพาะการปรากฏครั้งแรกของแต่ละแถวเท่านั้น ก แถวจะซ้ำกันเมื่อทุกเซลล์ตรงกับแถวก่อนหน้าทุกประการเมื่อเปรียบเทียบกัน หลังจากแยกวิเคราะห์แล้ว ดังนั้นฟิลด์ที่เขียนภายในเครื่องหมายคำพูดจะเท่ากับฟิลด์เดียวกันกับที่เขียนโดยไม่มี พวกเขา ทั้งตัวพิมพ์และช่องว่างนับทั้งคู่: Ada, ada และ Ada ที่มีช่องว่างต่อท้ายคือสาม แถวที่แตกต่างกัน รายการที่ซ้ำกันไม่จำเป็นต้องอยู่ติดกัน และแถวที่เหลือยังคงอยู่ที่เดิม เป็น

วิธีการใช้งาน

1. เลือก เลือกไฟล์ CSV หรือ JSON และโหลดการส่งออก
2. โปรดสังเกตจำนวนแถวก่อน เนื่องจากเครื่องมือจะรายงานจำนวนแถวที่เหลืออยู่ แทนที่จะรายงานวิธีการ หลายคนก็ถอดออก
3. เลือก ตัดช่องว่าง หากเซลล์อาจมีการเสริม เนื่องจากแถวต่างกันเพียงช่องว่างเท่านั้น ไม่ซ้ำกัน
4. เลือก ลบแถวที่ซ้ำกัน อ่านจำนวนที่เหลือในข้อความ จากนั้นเลือก ดาวน์โหลด CSV หรือเลิกทำ

ตัวอย่างการใช้งาน

• รายชื่อผู้รับจดหมายที่รวบรวมจากการส่งออกหลายรายการ โดยมีที่อยู่เดียวกัน สองครั้ง
• รายงานที่ดาวน์โหลดสองครั้งและต่อกัน ดังนั้นทั้งแถวจึงปรากฏขึ้นอีกครั้ง ลงไปอีก
• บันทึกถูกแทรกอีกครั้งโดยงานซิงค์ที่ทำงานสองครั้งก่อนที่ใครจะสังเกตเห็น

รองรับอินพุตและเอาต์พุต

ยอมรับ

• CSV, TSV หรือข้อความธรรมดาคั่นด้วยลูกน้ำ อัฒภาค แท็บ หรือไปป์ สูงสุด 50 MB
• JSON มีอาร์เรย์ของวัตถุ

ผลิตผล

• CSV, UTF-8, CRLF การสิ้นสุดบรรทัด รอดจากแถวในลำดับเดิม
• JSON อาร์เรย์ของอ็อบเจ็กต์ที่มีช่องว่างสองช่อง

สิ่งที่เครื่องมือนี้จะไม่ทำ

• การเปรียบเทียบครอบคลุมทุกคอลัมน์ ดังนั้น แถวสองแถวที่อธิบายบุคคลคนเดียวกันจึงยังคงอยู่ หากคอลัมน์ใดแตกต่างกัน เช่น รหัสแถวหรือการประทับเวลาการส่งออก ยกเลิกการเลือกคอลัมน์นั้น โดยใช้การเลือกคอลัมน์ก่อน
• ไม่มีการควบคุมแบบแยกตามคอลัมน์หรือแบบแยกตัวพิมพ์เล็กและตัวพิมพ์ใหญ่ในหน้านี้ ดังนั้น Ada และ ada จึงเป็นสองคน แถว
• ช่องว่างเป็นส่วนหนึ่งของค่า ดังนั้นให้ตัดหรือยุบช่องว่างก่อนหรือขยายสำเนา อยู่รอด
• แถวส่วนหัวจะไม่ถูกเปรียบเทียบและไม่เคยถูกลบออก บรรทัดส่วนหัวที่สองภายใน ไฟล์ที่ต่อกันเป็นแถวข้อมูลธรรมดา: มันไม่ซ้ำกัน ดังนั้นจึงยังคงอยู่
• แถวสั้นที่ parser บุด้วยช่องว่างสามารถสิ้นสุดได้เหมือนกันกับแถวที่ยาวกว่า เซลล์ต่อท้ายว่างเปล่า และหนึ่งในสองเซลล์ถูกละทิ้ง

ข้อผิดพลาดทั่วไป

• ยกเลิกการทำซ้ำก่อนที่จะตัดแต่ง ช่องว่างต่อท้ายทำให้สองแถวดูเหมือนกัน ชัดเจน ทั้งสองอย่างจะถูกเก็บไว้ และไม่มีสิ่งใดบอกว่ามีรายการที่ซ้ำกันหลงเหลืออยู่
• คาดว่าสำเนาล่าสุดจะชนะ การเกิดขึ้นครั้งแรกยังคงอยู่ ดังนั้นหากแถวหลังๆ มีค่าที่แก้ไขแล้ว คุณคงเวอร์ชันเก่าไว้
• การใช้ปุ่มนี้เพื่อล้างแถวว่าง แถวว่างจะเหมือนกัน มีผู้รอดชีวิตเพียงคนเดียว ลบแถวว่างคือสิ่งที่ล้างข้อมูลเหล่านั้น
• ตรวจสอบจุดแสดงตัวอย่างในภายหลัง: แสดงเฉพาะ 100 แถวแรกเท่านั้น ดังนั้นจึงซ้ำกัน ด้านล่างบรรทัดนั้นจะถูกลบออกหรือไม่ถูกมองเห็น

หมายเหตุทางเทคนิค

แต่ละแถวจะถูกลดขนาดเป็นคีย์ข้อมูลประจำตัวโดยการรวมเซลล์ด้วยอักขระ NUL ซึ่ง ไม่สามารถปรากฏในข้อความ CSV ได้อย่างถูกกฎหมาย การเข้าร่วมด้วยเครื่องหมายจุลภาคแทนจะเป็นการปล่อยให้เซลล์หนึ่งเซลล์ ที่มี a,b ชนกับสองเซลล์ที่มี a และ b ซึ่งเป็นวิธีการขจัดความซ้ำซ้อน ลบแถวผิดอย่างเงียบๆ คีย์จะเข้าสู่ชุดแฮช ดังนั้นการสแกนจึงเป็นแบบเส้นตรง พบการส่งผ่านและรายการที่ซ้ำกันทุกที่ที่พวกเขานั่งอยู่ ไม่ใช่แค่เมื่ออยู่ติดกันเท่านั้น และ การแปลงจะส่งคืนอาร์เรย์ใหม่ ดังนั้น Undo จะคืนค่าตารางก่อนหน้าทุกประการ

คำถามที่พบบ่อย

มันเก็บสำเนาแรกหรือสำเนาสุดท้ายหรือไม่?

ครั้งแรก. แถวเดิมจะยังคงอยู่ที่เดิม และสำเนาในภายหลังจะถูกละทิ้ง ดังนั้นลำดับของ ข้อมูลที่คุณเก็บไว้ไม่มีการเปลี่ยนแปลง หากสำเนาในภายหลังเป็นสำเนาที่ถูกต้อง ให้จัดเรียงหรือแก้ไข ไฟล์ดังนั้นเวอร์ชันที่คุณต้องการมาก่อน

ฉันสามารถยกเลิกการทำซ้ำทีละคอลัมน์ เช่น อีเมล ได้หรือไม่

ไม่ใช่โดยตรง; ปุ่มเปรียบเทียบทั้งแถว คุณสามารถทำเครื่องหมายเฉพาะคอลัมน์นั้นได้ เลือก ใช้การเลือกคอลัมน์แล้วยกเลิกการทำซ้ำ แต่จะเก็บเฉพาะคอลัมน์ที่ถูกเลือกเท่านั้น เลิกทำในภายหลังหากคุณต้องการช่องอื่นๆ

เหตุใดจึงมีสำเนาที่ชัดเจนถึงยังคงอยู่?

บางสิ่งในแถวแตกต่างออกไป: ช่องว่างต่อท้าย, ช่องว่างที่ไม่แยกจากเว็บ หน้า ตัวอักษรอื่น หรือคอลัมน์ที่คุณลืม เช่น รหัสแถวหรือ การประทับเวลาการส่งออก