Entwicklertools · Textvergleich
Unsichtbare Unterschiede: Geschützte Leerzeichen, intelligente Anführungszeichen und Unicode-Formulare
· Wie es funktioniert
Text-Diff Unicode Debugging
Erklärt, warum Zeilen, die auf dem Bildschirm gleich aussehen, Byte für Byte unterschiedlich sein können, von geschützten Leerzeichen und geschweiften Anführungszeichen bis hin zu Zeichen mit der Breite Null und zerlegten Akzenten, und wie man sie findet.
Zwei Zeilen, die identisch aussehen, aber als geändert gekennzeichnet sind – werden mit einer Übersetzungsdatei geöffnet, deren Überprüfung ohne ersichtlichen Grund fehlschlägt
Eine Übersetzungszeile kann genau wie ihre Nachbarzeile gerendert werden und dennoch beim Vergleich fehlschlagen. Browser-Schriftarten verbergen Codepunktgrenzen, kombinieren Akzente und weisen verschiedenen Satzzeichen ähnliche Formen zu. ToolAcre vergleicht JavaScript-Zeichenfolgen nur nach den ausgewählten Groß-/Kleinschreibungs- oder Leerzeichentransformationen, sodass eine markierte Zeile eine echte Textunterscheidung offenlegen kann.
Vertraue dem Ort, nicht einer Vermutung über den Charakter. Kopieren Sie die verdächtige Zeile in einen Editor, der Codepunkte oder einen Hexadezimal-Inspektor anzeigt. Der Diff sagt Ihnen, welche Zeile sich unterscheidet; Die interne Position wird nicht mit Anmerkungen versehen und der verantwortliche Unicode-Wert wird nicht benannt.
Geschützte Leerzeichen und ihre Verwandten – erklärt U+00A0 und andere Leerzeichen, die Textverarbeitungsprogramme einfügen, und warum ein einfaches Leerzeichen nicht mit ihnen übereinstimmt
U+00A0 geschütztes Leerzeichen ist nicht dasselbe Zeichen wie U+0020 gewöhnliches Leerzeichen. Im normalen Modus bleiben ihre Leitungstasten unterschiedlich. Unter „Leerzeichen ignorieren“ kann die Ersetzung durch „whitespace-run“ diese Läufe nach dem Trimmen auf ein normales Leerzeichen reduzieren, wodurch einige dieser Unterschiede verschwinden.
Bei dieser Option handelt es sich um eine passende Transformation, nicht um einen Unicode-Bereinigungsbefehl. Angezeigte gleiche Zeilen behalten den ursprünglichen linken Text bei und es wird kein korrigiertes Dokument erstellt. Wenn ein Veröffentlichungssystem geschützte Abstände erfordert, könnte eine normalisierte Übereinstimmung eine absichtliche Layoutanweisung verbergen, anstatt sie zu korrigieren.
Der Leerraummodus kann Unicode-Leerzeichen ausblenden; Bei einem gewöhnlichen Vergleich bleiben unterschiedliche Zeichen erhalten
Gerade Apostrophe und Anführungszeichen unterscheiden sich von typografischen Eröffnungs- und Schlussformen. Durch das Ignorieren der Groß-/Kleinschreibung wird die Zeichensetzung nicht geändert, und durch die Behandlung von Leerzeichen werden Anführungszeichen nicht neu geschrieben. Die Autokorrektur eines Textverarbeitungsprogramms kann daher eine vollständige Zeilenersetzung erzeugen, selbst wenn der Satz auf den ersten Blick identisch lautet.
Wählen Sie die gewünschte Interpunktion basierend auf dem Ziel aus. Quellcode, Suchschlüssel und Datenformate erfordern möglicherweise exakte ASCII-Zeichen, während redaktionelle Texte möglicherweise typografische Formen bevorzugen. Der Vergleich beweist Unterschiede, es gibt jedoch keine Richtlinie zur Entscheidung, welche Seite richtig ist.
Null-Breite und Richtungszeichen – deckt Null-Breite-Leerzeichen, Verbindungsstellen und bidirektionale Markierungen ab, die so dargestellt werden, als ob nichts geschieht, die Linie jedoch ändern
Leerzeichen, Verknüpfungen und Richtungsmarkierungen mit der Breite Null können Zeichenfolgenpositionen belegen, ohne ein sichtbares Glyph zu zeichnen. ToolAcre rendert Eingaben mithilfe von Textinhalten und vermeidet dabei die HTML-Interpretation. Durch dieses sichere Rendering werden jedoch verborgene Codepunkte nicht sichtbar. Sie nehmen immer noch an der gewöhnlichen Liniengleichheit teil.
Richtungsverhalten kann auch dazu führen, dass die visuelle Ordnung ein unzuverlässiger Hinweis auf die Lagerordnung ist. Kopieren Sie kein verdächtiges Mixed-Direction-Fragment in einen Shell-Befehl oder Bezeichner, nur weil es Ihnen bekannt vorkommt. Überprüfen Sie Codepunkte und den umgebenden Kontext in einem speziell entwickelten Tool, bevor Sie etwas ersetzen.
Zusammengesetzte und zerlegte Akzente – erklärt NFC- und NFD-Normalisierung mit einem akzentuierten Buchstaben als einem Codepunkt im Vergleich zu einem Basisbuchstaben plus einem Kombinationszeichen
Ein Zeichen mit Akzent kann als ein vorkomponierter Codepunkt oder als Basisbuchstabe gefolgt von einem Kombinationszeichen dargestellt werden. Das Repository enthält keinen Aufruf von `normalize`, daher bleiben kanonisch äquivalent aussehende Formulare unterschiedliche JavaScript-Strings und können Remove-plus-Add-Zeilen erzeugen.
Die Testsuite beweist, dass identische Unicode-Zeichenfolgen übereinstimmen und `café` sich von `cafe` unterscheidet; es verspricht keinen graphembewussten Vergleich. Dieser Artikel vermeidet daher Behauptungen über Bytevergleiche oder vollständige Unicode-Äquivalenz. Der Zeilenalgorithmus empfängt Zeichenfolgen und vergleicht ihre transformierten Schlüssel mit strikter Gleichheit.
Zusammengesetzte und zerlegte Akzente bleiben unterschiedlich, da das Tool keine Unicode-Normalisierung durchführt
Angenommen, eine Ressourcenzeile erscheint unverändert, ist aber markiert. Vergleichen Sie zunächst alle Optionen und schalten Sie dann nur Leerzeichen aus. Wenn die Zeile gleich wird, überprüfen Sie Leerzeichen und versteckte Leerzeichen. Wenn die Änderung bestehen bleibt, überprüfen Sie Anführungszeichen, Kombinationszeichen und andere Codepunkte, anstatt die Zeile wiederholt neu einzugeben.
Ein Zeicheninspektor kann U+00A0 erkennen, wo ein gewöhnliches Leerzeichen erwartet wurde. Ersetzen Sie es erst, nachdem Sie die Formatanforderung bestätigt haben. In übersetzten Inhalten kann es sich bei geschützten Leerzeichen um absichtliche Zeichensetzungskonventionen handeln, und ein weit gefasstes Suchen und Ersetzen kann die korrekte Typografie an anderer Stelle beeinträchtigen.
Was dies nicht abdeckt – der Vergleich meldet, dass sich die Zeilen unterscheiden; Es führt keine Unicode-Normalisierung für Sie durch und ersetzt auch keine Zeichen
Textdiff normalisiert NFC oder NFD nicht, identifiziert keine Verwechslungen, entfernt Markierungen mit der Breite Null und erzeugt keine reparierte Ausgabe. Außerdem werden codierte Bytes nicht verglichen. Dabei handelt es sich um separate Vorgänge mit Konsequenzen, die ein generischer Linienkomparator nicht stillschweigend auswählen sollte.
Groß-/Kleinschreibung ignorieren verwendet JavaScript `toLowerCase`, während Leerzeichen ignorieren passende Schlüssel kürzt und komprimiert. Keiner der Vorgänge bietet eine länderspezifische Sortierung oder eine Unicode-Sicherheitsüberprüfung. Verwenden Sie die Ausgabe, um eine Untersuchung einzugrenzen, und nicht, um Identifikatoren als sicher oder sprachlich gleichwertig zu zertifizieren.
Takeaway: Vertrauen Sie dem Unterschied über Ihre Augen – kommt zu dem Schluss, dass eine markierte Zeile ein echter Unterschied ist und zeigt, wie der Textvergleich von ToolAcre genau feststellt, welche Zeilen überprüft werden müssen
Wenn Sicht und Diff nicht übereinstimmen, gehen Sie davon aus, dass die Zeichenfolge eine Überprüfung verdient. Der Algorithmus verfügt über kein visuelles Modell, das sich durch die Schriftgestaltung täuschen lässt; Es sieht Leitungstasten. Diese Einschränkung ist nützlich, da sie verhindert, dass versteckte Unterschiede nur deshalb weitergegeben werden, weil ein Browser sie gleich darstellt.
Führen Sie zuerst den normalen Vergleich aus, notieren Sie, welche Option das Ergebnis ändert, und überprüfen Sie die Codepunkte vor der Bearbeitung. Dieser Beweispfad trennt die Normalisierung von Leerzeichen von Interpunktion oder Komposition und vermeidet die destruktive Angewohnheit, jedes ungewöhnliche Zeichen durch eine ASCII-Näherung zu ersetzen.