Daten und Tabellenkalkulationen · CSV Cleaner
Warum Excel CSV-Felder stillschweigend beschädigt: Führende Nullen, Datumsangaben und lange IDs
· Warum es wichtig ist
csv Datenbereinigung Tabellenkalkulationen
Das Öffnen einer CSV-Datei in einer Tabellenkalkulation ist nicht neutral: Postleitzahlen verlieren Nullen, Codes werden zu Datumsangaben und lange Bezeichner werden zu wissenschaftlicher Notation. In diesem Beitrag wird erklärt, warum es passiert, was nicht wiederherstellbar ist und wie die Rohdatei intakt bleibt.
Eine Datei, die in Ordnung war, bis jemand sie öffnete – die Postleitzahl 01234 wird zu 1234, und der Schaden wird zurückgespeichert
Eine Datei verlässt ein Quellsystem mit der Postleitzahl 01234, wird in einer Tabelle geöffnet und kehrt mit 1234 zum Analysten zurück. Die ursprüngliche CSV-Datei war nicht fehlerhaft: Sie enthielt Text mit einer führenden Null. Der Unterschied entstand, als ein Programm vermutete, dass die Spalte numerisch war, und dann ihren interpretierten Wert speicherte. Sobald jemand die Quelldatei überschreibt, kann ein späteres Bereinigungstool nicht wissen, ob 1234 früher 01234 oder 001234 bedeutete. Behalten Sie einen unberührten Export bei, bevor Sie ihn in einer Tabellenkalkulation überprüfen.
Tippraten beim Öffnen – wie Tabellenkalkulationen Zahlen, Daten und Formeln aus Text ableiten und warum CSV ihnen keine Möglichkeit gibt, etwas anderes zu sagen
CSV drückt Zeilen, Trennzeichen und zitierten Text aus; Es werden keine Zahlen-, Datums- oder Postleitzahlentypen pro Spalte deklariert. Eine Tabellenkalkulation, die es direkt öffnet, muss Vermutungen anstellen. Ein mit Ziffern beginnender Wert kann zu einer Zahl werden, 03-04 kann je nach Gebietsschema als Datum interpretiert werden und ein mit = beginnender Wert kann in einigen Anwendungen als Formel interpretiert werden. Die Anführungszeichen „01234“ schützen das CSV-Trennzeichen und nicht seine zukünftige Klassifizierung als Text durch einen automatischen Importassistenten.
Die klassischen Verluste – führende Nullen, lange numerische Bezeichner, alles, was einem Datum ähnelt, und Werte, die mit einem Gleichheitszeichen beginnen
Führende Nullen in Postleitzahlen und SKUs, Bezeichner mit mehr signifikanten Ziffern, als ein Zahlenformat in einer Tabellenkalkulation bewahren kann, und mehrdeutige Datumszeichenfolgen sind klassische Opfer. Die wissenschaftliche Notation ist an sich keine Beschädigung – sie ist eine Anzeigeauswahl –, aber das Speichern einer langen ID nach der numerischen Konvertierung kann zum Verlust exakter Ziffern führen. Formelartige Werte aus nicht vertrauenswürdigen Daten stellen ein separates Sicherheitsrisiko dar. Der CSV-Export von ToolAcre verfügt über eine formelinjektionssichere Option, die riskante Starts voranstellt, mit dem Nachteil, dass absichtlich berechnete Zellen nicht mehr berechnet werden.
Warum der Schaden oft dauerhaft ist – Präzisionsverluste beim Speichern und erneute Serialisierung von Daten in einem anderen Format können in der Ausgabe nicht rückgängig gemacht werden
Angenommen, eine 20-stellige Kundenreferenz wird nach numerischer Interpretation gerundet und gespeichert. Die fehlenden Originalziffern können aus einer neuen CSV-Datei nicht erraten werden. Bei einem Datum, das in ein internes Datum konvertiert und in ein anderes Gebietsschema exportiert wird, ist möglicherweise nicht mehr erkennbar, ob die Quelle den 3. April oder den 4. März bedeutete. Aus diesem Grund ist „Ich werde es später bereinigen“ kein sicherer erster Schritt. Bewahren Sie die Rohbytes auf, bevor eine Software mit automatischer Eingabe die Chance hat, sie zu ersetzen.
Arbeiten Sie stattdessen am Rohtext – behalten Sie eine Kopie, die keine Tabellenkalkulation berührt hat, und bereinigen Sie sie vor dem Import als Text
Arbeiten Sie an einer Kopie des Textexports mit einem Parser, der Zellen als Zeichenfolgen betrachtet. Der CSV-Cleaner von ToolAcre analysiert Trennzeichen und Felder in Anführungszeichen im Browser und zeigt Zeilenwarnungen an, ohne stillschweigend zusätzliche Zellen zu löschen. Überprüfen Sie, ob der Header noch seine ursprünglichen führenden Bytes enthält und ob Bezeichner die genauen Quellzeichen enthalten. Das Bereinigen von Leerzeichen oder Duplikaten ist unabhängig von der Interpretation der Bedeutung eines Feldes. Eine Postleitzahl sollte eine Zeichenfolge bleiben, auch wenn jedes Zeichen zufällig eine Ziffer ist.
Ausgearbeitetes Beispiel – ein Produktexport mit SKUs und Postleitzahlen, der zeigt, was sich durch einen Tabellen-Roundtrip ändert und was durch eine Bereinigung auf Textebene erhalten bleibt
Verwenden Sie einen veranschaulichenden Export mit der Kopfzeile sku;postcode;description und den Zeilen 00042;01234;"Rot, klein" und 00043;00105;"Blau, groß". Ein naiver Komma-Import reduziert die Semikolon-Felder, während die automatische numerische Eingabe 00042 und 01234 in 42 und 1234 umwandeln kann. Die Semikolon-Analyse von CSV Cleaner liefert drei Textspalten, einschließlich des in Anführungszeichen gesetzten Kommas in jeder Beschreibung; Beim Exportieren der bereinigten Kopie müssen Sie weiterhin Spalten als Text in die Zieltabelle importieren. Vergleichen Sie die Roh- und Roundtrip-Dateien, bevor Sie sie an den Einkauf senden.
Was dies nicht abdeckt – das Wiederherstellen von Werten, die bereits durch ein vorheriges Speichern zerstört wurden, oder das Konfigurieren des Importassistenten einer Tabellenkalkulation
Dieser Beitrag kann keine Identifikationsziffern oder führenden Nullen wiederherstellen, die bereits in einer gespeicherten Tabellendatei gelöscht wurden. Ein Reiniger auf Textebene konfiguriert auch nicht den Importassistenten von Excel, die Gebietsschemaeinstellungen eines Kollegen oder ein Datenbankschema. Sobald die Rohdatei sicher ist, befolgen Sie die Textimportanweisungen des Tabellenkalkulationsanbieters für Code- und ID-Spalten. Testen Sie eine kleine Probe anhand des genauen Empfänger-Workflows. „Öffnet sich in Spalten“ beweist nicht, dass „jede Zeichenfolge beibehalten wurde“.
Korrigieren Sie die Datei, bevor die Tabelle sie sieht – wie Sie mit dem ToolAcre CSV Cleaner Trennzeichen, Kodierungen und Anführungszeichen reparieren können, bevor der Export überhaupt in einer Tabelle geöffnet wird
Korrigieren Sie die Datei, bevor sie in der Tabelle angezeigt wird, und wählen Sie dann einen Importmodus aus, bei dem die Bezeichner im Text bleiben. CSV Cleaner kann das Trennzeichen, die Kodierung und die Anführungszeichen eines unveränderten Exports lokal reparieren. Es hindert eine Tabellenkalkulation nicht daran, in Ihrem Namen die Feldtypen zu erraten, daher bleiben das unberührte Original und ein Vergleich nach dem Import die wichtigsten Sicherheitsvorkehrungen.