Dữ liệu & bảng tính · CSV Trình dọn dẹp
Tại sao phải làm sạch CSV trước khi nhập nhịp sửa dữ liệu bên trong cơ sở dữ liệu
· Tại sao nó quan trọng
csv data-cleaning developer-workflow
Sửa chữa dữ liệu sau khi nó được đưa vào cơ sở dữ liệu có nghĩa là viết các bản sửa lỗi cho mọi bảng mà nó chạm vào. Bài đăng này lập luận về việc làm sạch tệp ở ranh giới: nó có thể đảo ngược, có thể xem lại và có thể lặp lại.
Quá trình nhập 'đã hoạt động', sau đó là một tuần với UPDATE câu lệnh — tại sao các bản sửa lỗi hậu hoc lại tăng lên gấp bội
Quá trình nhập có thể hoàn tất khi đặt các giá trị trống, các cột đã dịch chuyển hoặc các bản ghi lặp lại vào bảng. Việc sửa những kết quả đó sau này có thể liên quan đến các ràng buộc, mối quan hệ và các yêu cầu kiểm tra không có trong tệp nguồn. Do đó, điểm kiểm tra trước đó là bảng được phân tích cú pháp, trước khi đích gán ý nghĩa cơ sở dữ liệu.
Điều này không làm cho mọi thay đổi trước khi nhập đều chính xác. Bảo tồn xuất khẩu thô và phân biệt việc dọn dẹp cơ cấu với chuyển đổi kinh doanh. Lựa chọn dấu phân cách, phân tích cú pháp trích dẫn và cảnh báo độ rộng hàng là các thuộc tính có thể quan sát được; quyết định rằng một trạng thái sẽ trở thành một trạng thái khác đòi hỏi một quy tắc miền riêng.
Ranh giới là nơi rẻ nhất để sửa chữa — một tệp, một lần vượt qua, trước khi liên quan đến các loại, ràng buộc và mối quan hệ
Ranh giới tệp tập trung công việc vào một bản sao. Trình phân tích cú pháp phát hiện dấu phẩy, dấu chấm phẩy, tab hoặc dấu gạch đứng, loại bỏ UTF-8 BOM ở đầu và báo cáo các hàng có chiều rộng không đồng đều với tiêu đề. Những lần kiểm tra đó diễn ra trước khi loại cơ sở dữ liệu hoặc khóa ngoại có thể biến trường đã thay đổi thành bản ghi bị từ chối hoặc gây hiểu lầm.
Sử dụng các cảnh báo thay vì giả sử một bản xem trước hợp lý về mặt hình ảnh bao phủ tệp. Bảng điều khiển chuyên dụng chỉ hiển thị 20 hàng đầu tiên trong khi mỗi hàng đều được xuất. Bản ghi không đúng định dạng ở vị trí thấp hơn trong tệp có thể vẫn ẩn trong bản xem trước bảng nhưng vẫn được đặt tên theo vấn đề về trình phân tích cú pháp của nó.
Khả năng đảo ngược - quá trình xuất ban đầu vẫn không bị ảnh hưởng, do đó, một quyết định dọn dẹp tồi sẽ khiến bạn phải chạy lại thay vì khôi phục
ToolAcre tải xuống một tệp mới và giữ nguyên nguồn đã chọn. Trong tab đang mở, mỗi hành động dọn dẹp có thể được hoàn tác từ lịch sử giới hạn ở 20 trạng thái. Do đó, việc cắt nhầm hoặc loại bỏ trùng lặp có thể được đảo ngược trước khi tải xuống mà không cần khôi phục cơ sở dữ liệu.
Khả năng đảo ngược bền vững vẫn phụ thuộc vào việc giữ nguyên xuất khẩu ban đầu. Việc đóng trang sẽ xóa quy trình làm việc trong bộ nhớ và công cụ không tạo ra nhật ký chuyển đổi. Đặt tên rõ ràng cho các bản sao thô và đã được làm sạch, lưu trữ chúng dưới sự kiểm soát thích hợp và ghi lại những hành động nào đã tạo ra việc nhập ứng viên.
Khả năng xem lại - một tệp đã được làm sạch có thể khác với bản gốc; một bản vá cơ sở dữ liệu hiếm khi có thể
Các tệp văn bản có thể tuân theo số lượng hàng, kiểm tra trình phân tích cú pháp và so sánh nội dung, nhưng một khác biệt byte thô có thể phóng đại những thay đổi vô hại. Theo mặc định, quá trình tuần tự hóa sử dụng các kết thúc CRLF và dấu ngoặc kép tối thiểu, do đó, bảng ngắt vòng thành công có thể không khớp với byte trích dẫn nguồn dự phòng cho byte.
Xem xét ở hai cấp độ: phân tích cú pháp cả hai tệp và so sánh các giá trị ô để đảm bảo sự bình đẳng về ngữ nghĩa, sau đó kiểm tra các phép biến đổi dự kiến, chẳng hạn như các ô được cắt bớt hoặc loại bỏ các ô trùng lặp. Bản vá cơ sở dữ liệu cũng có thể được xem xét, nhưng nó hoạt động sau khi ý nghĩa đích đã được đưa vào hình ảnh. Giai đoạn tệp giữ phạm vi đó hẹp hơn.
Khả năng lặp lại - việc sửa chữa tương tự được áp dụng theo cách tương tự cho lần xuất khẩu vào tháng tới
Bản phác thảo hứa hẹn sẽ sửa chữa tương tự vào lần xuất khẩu vào tháng tới, nhưng trang này không lưu hoặc phát lại công thức. Khả năng lặp lại phải đến từ danh sách kiểm tra bên ngoài, tập lệnh đã được kiểm tra hoặc trình tự thủ công được ghi lại. Thậm chí sau đó, hãy xác minh rằng nhà sản xuất không thay đổi tiêu đề, dấu phân cách hoặc hình dạng hàng.
Một quy trình ổn định có thể ghi lại: giữ nguyên tệp thô, xác nhận dấu phân cách, giải quyết mọi hàng bị rách, cắt bớt các cột đã được phê duyệt, xóa các hàng trống, sau đó loại bỏ các bản ghi chính xác. ToolAcre có thể thực hiện các thao tác thủ công đó nhưng không thể chứng thực rằng trình tự vẫn phù hợp khi lược đồ nguồn thay đổi.
Khả năng lặp lại đòi hỏi một thủ tục được ghi lại từ bên ngoài; giao diện này không lưu công thức dọn dẹp
Hãy xem xét xuất dấu chấm phẩy với UTF-8 BOM, một hàng ngắn, tên đệm và bản ghi lặp lại chính xác. Trình phân tích cú pháp có thể phát hiện dấu phân cách, xóa BOM và đệm hàng ngắn trong khi cảnh báo. Người dùng có thể cắt bớt các ô và loại bỏ các ô trùng lặp chính xác sau khi điều tra bản ghi ngắn đó.
Công cụ này không thể giải mã tệp Windows-1252 hoặc tự động chuẩn hóa các tiêu đề, bất chấp những xác nhận quyền sở hữu đó trong phần phác thảo. Nếu các ký tự thay thế xuất hiện, hãy quay lại byte gốc và chuyển đổi thông qua đường dẫn nhận biết mã hóa. Nếu tên cần thay đổi, hãy sử dụng các điều khiển cột thủ công của chỉ mục bộ công cụ và ghi lại ánh xạ.
Ví dụ đã hoạt động: các bản sửa lỗi ở cấp độ tệp được hỗ trợ so với tự động hóa tiêu đề và mã hóa không được hỗ trợ
Xác thực nghiệp vụ, tính toàn vẹn tham chiếu và kết nối với các bảng hiện có vẫn là trách nhiệm đích. Một hình chữ nhật sạch vẫn có thể chứa ID khách hàng không xác định, ngày không thể hoặc giá trị trạng thái bị ứng dụng cấm. CSV Cleaner cố tình không suy ra những quy tắc đó.
Tương tự như vậy, tính năng bảo vệ chèn công thức ảnh hưởng đến việc diễn giải bảng tính chứ không ảnh hưởng đến các ràng buộc cơ sở dữ liệu. Chọn tùy chọn xuất dựa trên người tiêu dùng tiếp theo. Trước khi tải, hãy chạy kiểm tra lược đồ của nhà nhập khẩu và kiểm tra một giao dịch nhỏ hoặc bảng phân tầng theo quy trình được ghi lại của chính hệ thống đó.
Hãy coi việc xuất là nơi để thực hiện đúng — cách ToolAcre CSV Trình dọn dẹp xử lý việc sửa chữa ở cấp độ tệp chỉ trong một lần duyệt trong trình duyệt của bạn
Hãy coi việc xuất là một bản bàn giao có thể xem xét được chứ không phải là một cơ sở dữ liệu thay thế. ToolAcre có thể hiển thị các vấn đề về cấu trúc, chuẩn hóa việc tuần tự hóa và áp dụng tính năng dọn dẹp hàng rõ ràng trong khi bản sao thô vẫn có sẵn. Những khả năng đó làm giảm sự không chắc chắn trước khi dữ liệu chuyển sang mô hình phong phú hơn.
Quy trình làm việc trung thực được tổ chức theo từng giai đoạn: dọn dẹp bảo quản nguồn, đánh giá nội dung, xác thực đích và chỉ sau đó nhập. Nó tránh phát minh ra quy trình chỉ bằng một cú nhấp chuột và hiển thị các thay đổi ngữ nghĩa hoặc mã hóa không được hỗ trợ thay vì ẩn chúng sau thông báo tải xuống thành công.