Очистка проблемного CSV в браузере

Ваши файлы и ваша конфиденциальность

Ваша таблица никогда не загружается. Файл читается браузером, анализируется веб-сервером. Worker на вашем собственном устройстве и записывается обратно механизмом загрузки браузера. Код инструмента не отправляет запрос, переносящий файл, вставленный текст или сгенерированный вывод. раскрыто Запросы скриптов аналитики являются отдельными и описаны в Политике конфиденциальности сайта.

Что делает этот инструмент

Исправьте экспорт электронной таблицы, который не открывается корректно: вместо этого обнаруживается разделитель. чем предполагалось, метка порядка байтов UTF-8 удаляется, строки, количество ячеек которых не соответствует заголовке сообщается по номеру, и таблица записывается обратно как чистая RFC 4180 CSV.

Очистка работает со структурой файла, а не с тем, что означают данные. Инструмент обнаруживает какой символ разделяет поля, удаляет ведущий знак порядка байтов UTF-8, читает кавычки поля, содержащие разделитель или разрыв строки, и называет номер каждой строки. количество ячеек которого не соответствует заголовку. Затем вы можете обрезать пробелы, свернуть фрагменты пробелы, удалите пустые строки и удалите дубликаты, прежде чем записывать таблицу обратно с помощью RFC 4180 цитирую. Переименование и изменение порядка столбцов — это отдельная работа, которая находится в наборе инструментов. индекс, ссылка ниже.

Как его использовать

1. Выберите «Выбрать файл CSV или JSON» и выберите экспорт, который хотите исправить, вплоть до 50 MB. Вставка текста тоже работает.
2. Оставьте разделитель в положении «Автоопределение»; обнаруженное значение записывается обратно в элемент управления. Если при предварительном просмотре отображается один столбец, установите его вручную.
3. Прочтите сводку по строкам и столбцам, а также предупреждения, в каждом из которых указывается номер строки в виде текста. редактор считает это.
4. Примените «Обрезать пробелы», «Свернуть пробелы», «Удалить пустые строки» и «Удалить повторяющиеся строки». любой порядок, соответствующий файлу, и отменить все, что вы не хотели.
5. Выберите параметры экспорта, затем выберите «Загрузить CSV» и «Очистить данные при необходимости». закончено.

Примеры использования

• Экспорт из европейского программного обеспечения, разделенный точкой с запятой и свернутый в один. столбец в другом месте.
• Загрузка, первое имя заголовка которой содержит невидимую метку порядка байтов, поэтому поиск на нем никогда не совпадает.
• Файл, сломанный при ручном редактировании, в котором в одной строке появилась запятая, а в каждом столбце после нее - сдвинуто.

Поддерживаемый ввод и вывод

Принимает

• CSV, TSV или обычный текст, разделенный запятой, точкой с запятой, символом табуляции или вертикальной чертой, до 50 MB
• JSON содержит массив объектов, который считывается обратно в таблицу.

Производит

• CSV, UTF-8, CRLF окончания строк, в минимальных кавычках, имена с добавлением -cleaned

Чего этот инструмент не сделает

• При обнаружении учитываются только запятая, точка с запятой, знак табуляции и черта и оценивается образец из десяти строк; если ни один кандидат не дает хотя бы два столбца, он возвращается к запятой.
• Первая строка всегда является заголовком, поэтому файл, который начинается непосредственно с данных, теряет свой смысл. первая запись в строку заголовка.
• Сообщается о неровных строках, которые никогда не исправляются: короткие строки заполняются пробелами, а длинные строки сохраняют свои дополнительные ячейки после последнего именованного столбца.
• Понимается только знак порядка байтов UTF-8. Файл, сохраненный как Windows-1252 или Shift-JIS. читается как UTF-8 и показывает символы замены.
• Незакрытая двойная кавычка сообщается против строки, которая ее открыла, и все после того, как оно прочитано как одно поле.

Распространенные ошибки

• Удаление повторяющихся строк перед обрезкой: две строки, отличающиеся только конечным пробелом, не дубликаты, поэтому оба выживают.
• Запись UTF-8 BOM в файл, который используется для импорта сценария или базы данных. Знак присоединяется к первому имени заголовка, и поиск по этому столбцу ничего не соответствует.
• Отключение опции безопасного внедрения формул для данных, полученных из формы. Загрузка завершается успешно, и полезная нагрузка запускается при открытии файла в электронной таблице.
• Игнорирование предупреждения о неровных строках, поскольку предварительный просмотр выглядит правильно: только первые 100 строк отображаются, а под ними обычно начинается сдвинутый столбец.

Технические примечания

Синтаксический анализ представляет собой рукописный конечный автомат RFC 4180, поэтому разделители заключены в кавычки, символы новой строки внутри поля в кавычках, двойные кавычки в качестве экранирования и окончания CRLF, LF или одиночного CR обрабатываются строительство. Он запускается в веб-воркере, поэтому при большом экспорте страница не зависает. Обнаружение разделителя анализирует выборку из десяти строк с каждым кандидатом и оценивает ее по столбцу. счетчик взвешивается в зависимости от того, насколько прямоугольным является результат, поэтому запятая внутри поля в кавычках не может переголосовать за настоящую точку с запятой.

Часто задаваемые вопросы

Загружена ли моя таблица где-нибудь?

Нет. Конечная точка загрузки отсутствует: файл читается, анализируется в веб-воркере и записывается. вернитесь на свое устройство, и код инструмента не будет запрашивать перенос файла, вставленного текст или сгенерированный вывод. Запросы сценариев раскрытой аналитики являются отдельными и описано в Политике конфиденциальности сайта.

Почему мой файл открылся как один столбец?

Разделитель неправильный. Обнаружение возвращается к запятой, когда ни один кандидат не разделяет выборку в две или более колонок. Установите вручную: точка с запятой для европейского экспорта, табуляция для файл, который на самом деле был TSV.

Что меняет опция «безопасное впрыскивание формулы»?

Он добавляет апостроф к каждой ячейке, начинающейся с =, +, -, @, табуляции или каретки. return, поэтому электронная таблица воспринимает его как текст, а не как формулу. Это меняет ваши данные: ячейка, которую вы подразумевали как рабочую формулу, становится буквальным текстом. Значения, которые анализируются как обычные номера исключены, поэтому -42 остается нетронутым.