Data & hamparan · CSV Pembersih
Cara Penghurai CSV Mengendalikan Petikan, Koma Terbenam dan Garis Baharu dalam Medan
· Bagaimana ia berfungsi
csv menghurai format data
Pemisahan pada koma berfungsi sehingga medan mengandungi koma, petikan atau pemisah baris. Siaran ini menerangkan mesin keadaan kecil yang digunakan oleh penghurai CSV sebenar, sebab peraturan petikan wujud dan perkara yang dilakukan oleh alat pembaikan apabila petikan rosak.
Medan alamat dengan koma mengalihkan setiap lajur ke kanan — mengapa pemisahan naif tidak menghuraikan
Pemisahan baris pada setiap koma gagal sebaik sahaja alamat pos, nota atau perihalan produk mengandungi aksara itu. Pemisah sahaja menamatkan medan manakala penghurai berada di luar medan petikan. Di dalam petikan, bait yang sama tergolong dalam nilai dan mesti mencapai pratonton tidak berubah.
ToolAcre membuktikannya dengan ujian dan bukannya menganggap CSV ialah teks mudah. Fail koma bertitik yang mengandungi koma di dalam nota yang dipetik masih dikesan sebagai dibatasi koma bernoktah kerana setiap calon dihuraikan ke dalam baris sebelum bentuk segi empat tepatnya dijaringkan. Kiraan tanda baca mentah tidak pernah menentukan dialek.
Peraturan petikan — medan yang mengandungi pembatas, petikan atau baris baharu dibalut dengan petikan berganda dan petikan dalam digandakan
Medan yang mengandungi pembatas yang dipilih, petikan berganda, suapan baris atau pemulangan pengangkutan disebut semasa bersiri. Petikan berganda literal dalam medan petikan diwakili oleh dua petikan bersebelahan. Jika dihuraikan, pasangan itu menyumbang satu petikan ke sel dan tidak menutup medan.
Petikan sahaja membuka keadaan petikan apabila ia muncul pada permulaan medan yang sebaliknya kosong. Dalam nilai yang tidak disebut seperti paip 12", petikan kekal sebagai data literal. Pilihan pelaksanaan itu diuji dan menghalang tanda ukuran di tengah-tengah teks daripada menelan lajur berikutnya.
Penghurai sebagai mesin keadaan — petikan dalam berbanding petikan luar, dan cara satu aksara pada satu masa menentukan di mana medan berakhir
Gelung teras menjejaki medan semasa, baris semasa dan keadaan `inQuotes`. Di luar petikan, pembatas menolak medan dan CR, LF atau CRLF menolak satu baris. Di dalam petikan, setiap aksara dilampirkan kecuali petikan, yang sama ada membentuk pasangan yang terlepas atau keluar daripada keadaan petikan.
Perkembangan satu aksara ini menerangkan sebab ungkapan biasa atau pemisahan baris mudah rapuh. Sama ada baris baharu menamatkan rekod bergantung pada input awal dan sama ada petikan menutup medan bergantung pada petikan seterusnya. Penghurai membawa dengan tepat keadaan minimum itu melalui rentetan.
Baris baharu terbenam — sebab satu baris boleh menjangkau beberapa baris dan sebab alat berasaskan baris seperti rekod salah kira grep atau wc
Medan yang disebut mungkin mengandungi LF, CRLF atau CR tunggal dan aksara tersebut kekal dalam nilai. Akibatnya satu rekod logik boleh menduduki beberapa baris paparan dalam penyunting teks. Mengira baris fizikal dengan arahan berorientasikan baris tidak semestinya mengira baris data.
Selepas petikan penutup, pembatas atau penghujung rekod seterusnya menyambung semula makna struktur. Ujian ToolAcre menegaskan kedua-dua LF terbenam dan CRLF terbenam, kemudian sahkan bahawa sahaja satu baris dihasilkan. Tingkah laku ini tidak disimpulkan daripada label RFC; ia dilaksanakan secara langsung oleh mesin keadaan yang dihantar.
Petikan rosak — petikan tidak seimbang yang menelan seluruh fail, dan cara medan petikan semula alat pembaikan secara konsisten
Garis besar itu menjanjikan pembaikan sebut harga, tetapi petikan yang tidak tertutup sememangnya samar-samar. ToolAcre melaporkan `UNCLOSED_QUOTE` terhadap baris di mana keadaan petikan bermula dan membaca semuanya selepas itu ke dalam satu medan. Ia tidak mencipta kedudukan penutup atau memetik semula rekod yang dimaksudkan.
Kegagalan konservatif itu mengekalkan teks yang digunakan untuk pemeriksaan dan mengelakkan berpura-pura mengetahui sama ada petikan atau baris baharu yang kemudiannya dimaksudkan sebagai data. Betulkan sumber atau jana semula eksport, kemudian muat semula. Serialisasi boleh menormalkan jadual yang berjaya dihuraikan; ia tidak dapat memulihkan sempadan baris yang sumber cacat yang dibuat tidak dapat diketahui.
Petikan yang rosak dilaporkan tetapi tidak dibaiki; medan yang tidak ditutup menggunakan teks yang tinggal
Gunakan `name,note` sebagai pengepala, kemudian satu baris dengan Ada dan nota yang mengandungi koma ditambah pemisah baris, dan satu lagi yang notanya `She said "hi"`. Dalam sumber CSV, petik nota panjang dan tulis tanda petikan dalam sebagai `""hi""`. Penghurai mengembalikan dua baris data dan menyimpan kedua-dua aksara khas.
Apabila bersiri dengan petikan minimum, nama biasa tidak memerlukan petikan, manakala medan nota dipetik kerana ia mengandungi aksara struktur. Menghuraikan output itu sekali lagi menghasilkan pengepala dan sel yang sama walaupun petikan sumber berlebihan hilang. Kesamaan data, bukan penggayaan bait demi bait, mentakrifkan perjalanan pergi dan balik ini.
Perkara yang tidak dicakupi ini — dialek yang menggunakan escape segaris ke belakang, dan heuristik untuk meneka niat apabila memetik adalah benar-benar samar-samar
Dialek pelepasan aksara garis miring ke belakang berada di luar penghurai. Tanda miring ke belakang sebelum petikan tidak mempunyai maksud mesin keadaan khas di sini; ia kekal sebagai teks, manakala petikan ditafsirkan di bawah peraturan petikan berganda. Alat ini juga menolak untuk meneka niat sebaik sahaja petikan pembukaan kekal tidak dapat ditandingi.
Sempadan tersebut penting apabila mengimport longgokan pangkalan data yang dikonfigurasikan untuk konvensyen pelepasan aksara yang lain. Kenal pasti dialek pengeluar sebelum memuatkan, atau eksport dengan petikan gaya RFC. Penghurai yang secara senyap mengenali beberapa peraturan pelepasan aksara yang tidak serasi boleh menukar garis miring ke belakang literal kepada sintaks kawalan dan menyembunyikan ketidakpadanan.
Hormati petikan dan baris kekal utuh — bagaimana pembaikan petikan ToolAcre CSV Cleaner menghasilkan fail yang dibaca oleh penghurai standard dengan betul
Menghormati keadaan petikan menyimpan pembatas dan merekodkan penghujung di dalam sel tempat ia berada. ToolAcre juga mengendalikan tiga borang penamat baris, mengalih keluar UTF-8 BOM terkemuka dan melaporkan ketidakpadanan lebar baris. Tingkah laku ini adalah bahagian bebas daripada satu bacaan struktur dan bukannya koleksi helah cari dan ganti.
Selepas penghuraian yang sah, siri menggandakan petikan terbenam dan memetik mana-mana medan yang memerlukan perlindungan, dengan output CRLF secara lalai. Selepas petikan tidak tertutup yang tidak sah, hentikan dan perbaiki daripada bukti sumber. Alat ini boleh menyeragamkan sel yang diketahui; ia tidak mendakwa untuk membina semula jadual yang tidak diketahui.