Deutsch

So bereinigen Sie eine unordentliche CSV-Datei

Öffnen Sie den CSV-Cleaner und laden Sie die Datei mit dem automatisch erkannten Trennzeichen. Überprüfen Sie zunächst die Zeilen- und Spaltenanzahl: Wenn die Spaltenanzahl 1 beträgt, ist das Trennzeichen falsch, und wenn Sie es auf Semikolon oder Tabulator setzen, wird normalerweise die gesamte Datei repariert.

Arbeiten Sie dann die Parser-Warnungen durch, die bestimmte Zeilennummern benennen, bevor Sie die Daten berühren. Bereinigen und dann als CSV oder JSON exportieren. Alles läuft in einem Worker in Ihrem Browser; Die Zeilen werden nie hochgeladen.

Warum Exporte kaputt ankommen

CSV ist eher eine Familie von Konventionen als ein Format. Zwei Anwendungen können beide CSV-Unterstützung beanspruchen und sich über das Trennzeichen, den Anführungszeichenstil, das Zeilenende und die Zeichenkodierung nicht einig sein.

Das Trennzeichen ist die häufigste Überraschung. Software, die in Ländern verkauft wird, die ein Komma als Dezimaltrennzeichen verwenden, exportiert häufig durch Semikolons getrennte Dateien, da das Komma bereits belegt ist. Diese Dateien enden immer noch auf .csv, und ein Tool, das Kommas annimmt, reduziert jede Zeile in eine einzelne Spalte.

Die Codierung ist die zweite. Eine UTF-8-Datei beginnt häufig mit einer unsichtbaren Drei-Byte-Byte-Reihenfolge-Markierung. Excel unter Windows verwendet es, um UTF-8 zu erkennen; Viele andere Tools erwarten dies nicht, daher wird es an den ersten Kopfzeilennamen geklebt und eine Spalte namens „id“ wird stillschweigend zu einer Spalte, mit der keine Suche jemals übereinstimmt.

Diagnostizieren Sie in drei Zahlen

Die automatische Erkennung analysiert eine Stichprobe mit jedem in Frage kommenden Trennzeichen und wählt dasjenige aus, das das konsistenteste rechteckige Ergebnis liefert, weshalb sie nicht durch Kommas in Anführungszeichenfeldern einer durch Semikolon getrennten Datei getäuscht wird. Meistens ist es richtig; In der Vorschau erfahren Sie, wann dies nicht der Fall ist.

  • Spaltenanzahl. Wenn es 1 ist, ist das Trennzeichen falsch. Versuchen Sie es mit einem Semikolon und dann mit einem Tab.
  • Zeilenanzahl. Wenn es weitaus höher ist als erwartet, enthält die Datei wahrscheinlich Zeilenumbrüche in Anführungszeichen, die von etwas Upstream bereits entstellt wurden.
  • Anzahl der Warnungen. Jede Warnung benennt eine Zeilennummer, die wie ein Texteditor gezählt wird, sodass Sie nachsehen können.

Lesen der Warnungen

Eine unregelmäßige Zeile bedeutet, dass eine Zeile eine andere Anzahl von Zellen hatte als die Kopfzeile. Es wird nichts verworfen, um das Raster aufzuräumen: Kurze Zeilen werden mit Leerzeichen aufgefüllt und lange Zeilen behalten ihre zusätzlichen Werte. Das stille Löschen der Daten einer anderen Person, um eine Tabelle rechteckig aussehen zu lassen, ist das Schlimmste, was ein Reinigungstool tun kann, also wird es nicht durchgeführt.

Ein nicht geschlossenes Anführungszeichen bedeutet, dass ein doppeltes Anführungszeichen geöffnet und nie geschlossen wurde, sodass alles danach als ein riesiges Feld gelesen wurde. Dabei handelt es sich fast immer um eine echte Beschädigung der Quelle, und es lohnt sich, die Datei dort zu reparieren, wo sie erstellt wurde, anstatt sie nachträglich zu patchen.

Das Tool meldet diese, anstatt sie zu reparieren, da es in beiden Fällen mehrere mögliche korrekte Lösungen gibt und nur Sie wissen, welche zutrifft.

In der richtigen Reihenfolge reinigen

Der formelinjektionssichere Export ist standardmäßig aktiviert und stellt hier die einzige Option mit echten Sicherheitsauswirkungen dar. Eine Zelle, die mit =, +, - oder @ beginnt, wird von Tabellenkalkulationsprogrammen als Formel behandelt, sodass ein Wert aus einer nicht vertrauenswürdigen Quelle ausgeführt werden kann, wenn jemand Ihre Datei öffnet. Beim sicheren Export wird diesen Zellen ein Apostroph vorangestellt, wodurch die Berechnung gestoppt wird – einschließlich aller Zellen, die Sie berechnen wollten, was eher auf die Schadensbegrenzung als auf einen Fehler zurückzuführen ist.

  1. Schneiden Sie zuerst die Leerzeichen ab. Zwei Zeilen, die sich nur durch ein Leerzeichen am Ende unterscheiden, sind erst dann Duplikate, wenn Sie sie zuschneiden.
  2. Entfernen Sie anschließend doppelte Zeilen. Das erste Vorkommen wird beibehalten, die Reihenfolge bleibt also unverändert.
  3. Benennen Sie die Überschriften um und wählen Sie die zu exportierenden Spalten aus.
  4. Sortieren Sie bei Bedarf. Numerische Spalten werden erkannt und numerisch sortiert, sodass 9 vor 10 kommt.
  5. Überprüfen Sie vor dem Herunterladen die Exportoptionen, insbesondere die Einstellung für die Formelinjektion.

Auswahl der Exportkodierung

Aktivieren Sie die Markierung UTF-8 byte-order, wenn die Datei für Excel unter Windows bestimmt ist, das sie zur Erkennung der Kodierung verwendet. Ohne sie können akzentuierte Zeichen und nicht-lateinische Schriften bei einem Doppelklick als Mojibake angezeigt werden.

Lassen Sie es AUS, wenn die Datei ein Skript, einen Datenbankimport oder ein anderes Programm speist, da einige strenge Parser die Markierung als Daten behandeln.

Ausgearbeitetes Beispiel: ein Export mit 12.000 Zeilen, der als eine Spalte geöffnet wird

Ein Kundenexport aus einem europäischen CRM wird in Ihrem Editor mit 12.000 Zeilen und einer einzelnen Spalte geöffnet. Die Kopfzeile lautet Name;E-Mail;Land;Anmeldedatum.

  1. Laden Sie die Datei. Automatische Erkennungsberichte 4 Spalten; Ist dies nicht der Fall, setzen Sie das Trennzeichen manuell auf Semikolon.
  2. Lesen Sie die Warnungen: sagen wir 3 unregelmäßige Zeilen bei 418, 2.905 und 7.110.
  3. Schauen Sie sich diese drei Reihen an. Sie enthalten ein Semikolon ohne Escapezeichen innerhalb eines Firmennamens – die zusätzlichen Zellen bleiben erhalten, sodass nichts verloren geht.
  4. Schneiden Sie Leerzeichen ab und entfernen Sie dann Duplikate.
  5. Exportieren Sie als CSV mit Komma als Trennzeichen und aktivierter Byte-Reihenfolge-Markierung, da die Datei an einen Kollegen geht, der Excel verwendet.

Ergebnis: Eine durch Kommas getrennte UTF-8-Datei mit einer Byte-Reihenfolgemarkierung, vier Spalten und den fehlenden doppelten Zeilen. Die drei problematischen Zeilen sind immer noch vorhanden, ihre zusätzlichen Zellen sind intakt und werden markiert, damit Sie sie an der Quelle beheben können, anstatt sie zu löschen, um die Tabelle aufgeräumter zu machen.

Öffnen Sie das Tool

Bereinigen Sie eine CSV-Datei in Ihrem Browser

Analysiert einen Web Worker auf Ihrem Gerät, behält jede gefundene Zelle und meldet Probleme, die er nicht erraten kann.

Was dies nicht abdeckt

  • Die gesamte Datei wird im Speicher Ihres Geräts gespeichert. Die Obergrenze liegt bei 50 MB, und ein Telefon wird deutlich vor einem Laptop zu kämpfen haben.
  • In der Vorschau werden nur die ersten 100 Zeilen angezeigt, obwohl jede Zeile bereinigt und exportiert wird.
  • Die Kodierungserkennung ist auf die UTF-8 byte-Reihenfolgemarke beschränkt. Eine als Windows-1252 oder Shift-JIS gespeicherte Datei wird als UTF-8 gelesen und kann Ersatzzeichen enthalten; Exportieren Sie es erneut als UTF-8 aus der Quellanwendung.
  • Es wird nur UTF-8 geschrieben. Legacy-Kodierungen werden nicht erstellt.
  • Es gibt keine Unterstützung für mehrere Blätter, da CSV kein Blattkonzept hat.
  • Eine Datei, deren Anführungszeichen bereits beschädigt ist, wird gemeldet und nicht repariert.
  • Das Rückgängigmachen ist auf die letzten 20 Vorgänge beschränkt.