Dati e fogli di calcolo · CSV Pulitore
Perché Excel danneggia silenziosamente i campi CSV: zeri iniziali, date e ID lunghi
· Perché è importante
csv pulizia dei dati fogli di calcolo
Aprire un CSV in un foglio di calcolo non è neutrale: i codici postali perdono gli zeri, i codici diventano date e gli identificatori lunghi si trasformano in notazione scientifica. Questo post spiega perché ciò accade, cosa è irrecuperabile e come mantenere intatto il file raw.
Un file che andava bene finché qualcuno non lo ha aperto: il codice postale 01234 diventa 1234 e il danno viene ripristinato
Un file lascia un sistema di origine con codice postale 01234, viene aperto in un foglio di calcolo e ritorna all'analista con 1234. L'originale CSV non era malformato: conteneva testo con uno zero iniziale. La differenza è emersa quando un programma ha indovinato che la colonna era numerica e quindi ha salvato il valore interpretato. Una volta che qualcuno sovrascrive il file sorgente, uno strumento di pulizia successivo non può sapere se 1234 significava 01234 o 001234. Conserva un'esportazione intatta prima di esaminarla in qualsiasi foglio di calcolo.
Indovina la digitazione all'aperto: in che modo i fogli di calcolo deducono numeri, date e formule dal testo e perché CSV non dà loro modo di dire il contrario
CSV esprime righe, separatori e testo tra virgolette; non dichiara i tipi di numero, data o codice postale per colonna. Un foglio di calcolo che lo apre direttamente deve fare ipotesi. Un valore che inizia con cifre può diventare un numero, 03-04 può essere interpretato come una data in base alle impostazioni locali e un valore che inizia con = può essere interpretato come una formula in alcune applicazioni. La virgoletta di "01234" protegge il delimitatore CSV, non la sua futura classificazione come testo da parte di una procedura guidata di importazione automatica.
Le classiche vittime: zeri iniziali, identificatori numerici lunghi, tutto ciò che assomiglia a una data e valori che iniziano con un segno di uguale
Gli zeri iniziali nei codici postali e negli SKU, gli identificatori con cifre più significative di quelle che un formato numerico di un foglio di calcolo può preservare e le stringhe ambigue che sembrano date sono classiche vittime. La notazione scientifica non è di per sé danneggiata, è una scelta di visualizzazione, ma il salvataggio di un ID lungo dopo la conversione numerica può far perdere cifre esatte. I valori simili a formule provenienti da dati non attendibili rappresentano un rischio per la sicurezza separato. L'esportazione CSV di ToolAcre ha un'opzione sicura per l'iniezione di formule che premette gli inizi rischiosi, con il compromesso che le celle calcolate intenzionalmente non verranno più calcolate.
Perché il danno è spesso permanente: la precisione persa durante il salvataggio e le date riserializzate in un formato diverso non possono essere annullate dall'output
Supponiamo che un riferimento cliente di 20 cifre venga arrotondato dopo l'interpretazione numerica e salvato. Le cifre originali mancanti non possono essere indovinate da un nuovo CSV. Una data convertita in una data interna ed esportata in un'altra lingua potrebbe essere persa se l'origine intendeva 3 aprile o marzo 4. Questo è il motivo per cui “lo pulirò più tardi” non è un primo passo sicuro. Conserva i byte grezzi prima che qualsiasi software con digitazione automatica abbia la possibilità di sostituirli.
Lavorando invece sul testo non elaborato: mantenendo una copia che nessun foglio di calcolo ha toccato e pulendola come testo prima di qualsiasi importazione
Lavora su una copia dell'esportazione del testo con un parser che considera le celle come stringhe. CSV Cleaner di ToolAcre analizza i delimitatori e i campi tra virgolette nel browser e mostra avvisi di riga senza eliminare silenziosamente celle aggiuntive. Controlla se l'intestazione include ancora i byte iniziali originali e se gli identificatori contengono gli esatti caratteri di origine. La pulizia di spazi o duplicati è separata dall'interpretazione del significato di un campo; un codice postale dovrebbe rimanere una stringa anche se ogni carattere è una cifra.
Esempio realizzato: un'esportazione di prodotto con SKU e codici postali, che mostra cosa cambia un foglio di calcolo andata e ritorno e cosa preserva una pulizia a livello di testo
Utilizza un'esportazione illustrativa con intestazione sku;codice postale;descrizione e righe 00042;01234;"Rosso, piccolo" e 00043;00105;"Blu, grande". Un'ingenua importazione di virgole comprime i campi punto e virgola, mentre la digitazione numerica automatica può trasformare 00042 e 01234 in 42 e 1234. CSV L'analisi del punto e virgola di Cleaner produce tre colonne di testo, inclusa la virgola tra virgolette all'interno di ciascuna descrizione; l'esportazione della copia pulita richiede comunque l'importazione delle colonne come testo nel foglio di calcolo di destinazione. Confronta i file grezzi e quelli di andata e ritorno prima di inviarli all'acquisto.
Cosa non copre: ripristino di valori già distrutti da un salvataggio precedente o configurazione della procedura guidata di importazione di un foglio di calcolo
Questo post non può recuperare le cifre identificative o gli zeri iniziali già distrutti in un file di foglio di calcolo salvato. Né un pulitore a livello di testo configura la procedura guidata di importazione di Excel, le impostazioni locali di un collega o uno schema di database. Una volta che il file raw è al sicuro, segui le istruzioni di importazione del testo del fornitore del foglio di calcolo per le colonne codice e ID. Testare un piccolo campione attraverso l'esatto flusso di lavoro del destinatario; "si apre in colonne" non dimostra "conserva ogni stringa".
Correggi il file prima che il foglio di calcolo lo veda: come ToolAcre CSV Cleaner ti consente di riparare delimitatori, codifiche e virgolette prima che l'esportazione venga aperta in un foglio di calcolo
Correggi il file prima che il foglio di calcolo lo veda, quindi scegli una modalità di importazione che mantenga gli identificatori testuali. CSV Cleaner può riparare localmente il delimitatore, la codifica e le virgolette di un'esportazione non modificata. Ciò non impedisce a un foglio di calcolo di indovinare i tipi di campo per tuo conto, quindi l'originale intatto e un confronto post-importazione rimangono le garanzie più importanti.