Dữ liệu & bảng tính · CSV Trình dọn dẹp
Cách chuẩn hóa tiêu đề biến tên cột xuất lộn xộn thành khóa sạch
· Cách thức hoạt động
csv json data-cleaning
Các tên cột như 'Email khách hàng (Chính)' ngắt tập lệnh, cơ sở dữ liệu và khóa JSON. Bài đăng này giải thích những thay đổi trong quá trình chuẩn hóa tiêu đề, tại sao các tiêu đề trùng lặp và trống là mối nguy hiểm thực sự và khi nào các tên phải được giữ nguyên để khớp với một lược đồ.
Một tập lệnh bị lỗi trên một cột mà nó không thể tìm thấy — dấu cách ở cuối, cách viết hoa và dấu câu trong tiêu đề gây ra sự không khớp thầm lặng như thế nào
Tập lệnh yêu cầu customer_email sẽ không tìm thấy khóa được viết dưới dạng Email khách hàng (Chính) và dấu cách ở cuối có thể làm cho nhãn giống hệt về mặt hình ảnh trở nên khác biệt. Bản thân CSV không cung cấp sổ đăng ký tên ưa thích. Do đó, văn bản chính xác ở hàng đầu tiên là một phần của giao diện giữa hệ thống xuất khẩu và mọi người tiêu dùng.
ToolAcre để lộ giao diện đó thay vì âm thầm thiết kế lại nó. Đường dẫn CSV-to-JSON cắt bớt khoảng trắng xung quanh tiêu đề trong khi tính toán các khóa, điền tên trống và lặp lại hậu tố. Nó không dịch dấu câu hoặc viết hoa theo cách khác, vì vậy bạn có thể xem những giả định nào thuộc về việc ánh xạ có chủ ý.
Tiêu đề rõ ràng trông như thế nào — chữ thường, dấu gạch dưới thay vì dấu cách, ASCII nếu có thể và duy nhất trong tệp
Chữ thường snake_case là một quy ước hữu ích trong một số cơ sở dữ liệu, nhưng nó không phải là một định nghĩa chung về tiêu đề sạch và nó không được triển khai tự động ở đây. Các ký tự bên ngoài ASCII vẫn giữ nguyên, khoảng trắng bên trong tên vẫn giữ nguyên và dấu chấm như user.name vẫn là dấu chấm bằng chữ trong khóa JSON.
Hạn chế này tránh vi phạm việc tái nhập vốn mong đợi nhãn chính xác của nhà sản xuất. Nếu đích đến của bạn yêu cầu một quy ước khác, hãy sử dụng trình chỉnh sửa cột trên chỉ mục của bộ công cụ hoặc bước nhập nhận biết lược đồ. Ghi lại ánh xạ để lần xuất của tháng tới nhận được những cái tên có chủ ý giống nhau thay vì một loạt dự đoán mới.
Trình chuyển đổi giữ nguyên tên thay vì áp dụng quy ước viết thường và gạch dưới
Tên trống và lặp lại là trường hợp chuyển đổi đối tượng có thể làm mất dữ liệu. Trình chuyển đổi đặt tên cột đầu tiên trống_1 và cột cột thứ ba trống_3. Khi trạng thái xuất hiện hai lần, khóa thứ hai sẽ trở thành trạng thái_2 và khóa thứ ba sẽ trở thành trạng thái_3, giữ nguyên từng giá trị vị trí.
Những tên được tạo ra đó là kiểm soát xung đột, không phải sửa chữa ngữ nghĩa. Mã mong đợi một trường có ý nghĩa sẽ không biết một cách kỳ diệu rằng cột_3 chứa một vùng. Đổi tên tiêu đề nguồn trước khi tích hợp, sau đó tạo lại JSON và xác nhận mọi khóa. Trình giữ chỗ xác định an toàn hơn ghi đè một cột nhưng vẫn yêu cầu xem xét.
Tiêu đề thực sự là dữ liệu - phát hiện dòng tiêu đề hoặc hàng tiêu đề lặp lại còn sót lại từ các lần xuất được nối
Công cụ luôn coi hàng được phân tích cú pháp đầu tiên làm tiêu đề. Nó không phát hiện tiêu đề báo cáo phía trên bảng cũng như không xóa tiêu đề được lặp lại giữa chừng trong quá trình xuất được nối. Tệp không có tiêu đề tặng bản ghi dữ liệu đầu tiên của nó cho các tên khóa, chính xác như cảnh báo cấu hình.
Xem trước số hàng và số cột trước khi chuyển đổi. Nếu hàng hiển thị đầu tiên là tiêu đề, hãy xóa nó trong trình chỉnh sửa thích hợp hoặc tạo lại bản xuất; nếu các hàng tiêu đề lặp lại xuất hiện sau đó, hãy coi chúng là dữ liệu cho đến khi bạn xóa chúng một cách rõ ràng. Việc phát hiện tự động sẽ có nguy cơ xóa bản ghi hợp pháp có giá trị giống với nhãn.
Hàng đầu tiên luôn được coi là tiêu đề; dòng tiêu đề và tiêu đề lặp lại không được tự động phát hiện
Hãy tưởng tượng tiêu đề CRM của ` Customer E-mail (Primary) ,Notes,,Notes`. Chuyển đổi tính toán E-mail của khách hàng (Chính), Ghi chú, cột_3 và Ghi chú_2. Các khoảng trắng bên trong, cách viết hoa, dấu gạch nối và dấu ngoặc đơn vẫn tồn tại. Không có gì trở thành customer_email_primary trừ khi một người chọn và áp dụng việc đổi tên đó.
Các khóa kết quả tiết lộ cả nhãn chính hãng và lỗi cấu trúc. Một ứng dụng có thể sử dụng chúng dưới dạng văn bản, nhưng trình tải cơ sở dữ liệu có thể từ chối dấu câu hoặc phần giữ chỗ không mong muốn. Giải quyết các yêu cầu đó trước khi nhập và so sánh tiêu đề cuối cùng với lược đồ đích thay vì cho rằng “chuẩn hóa” có một ý nghĩa an toàn.
Khi nào không cần chuẩn hóa — các tệp phải khớp với lược đồ bên ngoài hoặc được nhập lại vào hệ thống đã tạo ra chúng
Đôi khi tên chính xác là hợp đồng. Việc nhập lại của nhà cung cấp, tập lệnh định kỳ hoặc lược đồ bên ngoài có thể yêu cầu dấu cách, chữ hoa và dấu câu chính xác như được cung cấp. Tính năng làm đẹp tự động sẽ tạo ra một tệp có giao diện rõ ràng hơn và không còn tham gia vào quy trình làm việc đã thiết lập, đây là một lỗi nghiêm trọng hơn là một nhãn khó xử lý.
Làm việc từ một bản sao và giữ lại tiêu đề gốc để so sánh. Khi đổi tên là phù hợp, chỉ thay đổi tên theo yêu cầu của người tiêu dùng và giữ nguyên giá trị hàng. Trình chỉnh sửa của trang chỉ mục đổi tên theo vị trí cột, giúp quản lý các tên bắt đầu trùng lặp mà không cần giả vờ biết ý nghĩa của chúng.
Điều này không bao gồm - ánh xạ các cột giữa các hệ thống khác nhau hoặc dịch ngôn ngữ tiêu đề
Tuyến đường này không ánh xạ các cột giữa các hệ thống, dịch nhãn hoặc suy ra rằng Email và E-mail tương đương nhau. Nó cũng không kiểm tra các giá trị dữ liệu để phát minh ra các tên ngữ nghĩa. Những công việc đó yêu cầu kiến thức về miền và trình phân tích cú pháp chung không thể lấy được kiến thức đó từ dấu câu hoặc giá trị mẫu mà không đưa ra những phỏng đoán rủi ro.
Tương tự như vậy, các hậu tố được tạo ra không phải là một chính sách đặt tên doanh nghiệp bền vững. Chúng là biện pháp ngăn ngừa mất mát trong quá trình chuyển đổi JSON. Sử dụng chúng để phát hiện xung đột, sau đó quyết định xem mỗi cột nên được đổi tên, xóa hay giữ lại trong một lược đồ được ghi lại trước khi xây dựng mã sản xuất xung quanh đầu ra.
Sửa tên một lần ở ranh giới tệp — cách dọn dẹp tiêu đề của ToolAcre CSV Cleaner chuẩn bị xuất cho tập lệnh và chuyển đổi JSON
Việc sửa tên ở ranh giới tệp chỉ hữu ích khi việc sửa lỗi rõ ràng. Trình chuyển đổi của ToolAcre đảm bảo các khóa duy nhất cho các tiêu đề trống và trùng lặp; chỉ mục bộ công cụ riêng biệt cung cấp khả năng đổi tên và chọn cột theo cách thủ công. Tuyến dọn dẹp chuyên dụng tập trung vào các hàng và không yêu cầu tự động chuẩn hóa các tiêu đề.
Xác nhận hàng đầu tiên, kiểm tra các khóa đã tạo và kiểm tra hệ thống nhận bằng một bản sao nhỏ. Trình tự đó biến sự không khớp vô hình thành một ánh xạ có thể xem lại. Nó cũng duy trì tùy chọn giữ lại các nhãn do nhà sản xuất xác định bất cứ khi nào khả năng tương thích khi nhập lại quan trọng hơn tính nhất quán về kiểu dáng.