Какая кодировка правильно открывает файлы CSV в Excel как на Mac, так и на Windows?

Кодировки Excel

Я обнаружил, что кодировка WINDOWS-1252 наименее расстраивает при работе с Excel. Поскольку это в основном собственный набор символов Microsoft, можно предположить, что он будет работать как на Mac, так и на версии MS-Excel для Windows. Обе версии, по крайней мере, включают соответствующий селектор «Источник файла» или «Кодировка файла», который правильно считывает данные.

В зависимости от вашей системы и инструментов, которые вы используете, эта кодировка может также называться CP1252, ANSI, Windows (ANSI), MS-ANSI или просто Windows, среди других вариантов.

Эта кодировка является надмножеством ISO-8859-1 (также известного как LATIN1 и другие), поэтому вы можете вернуться к ISO-8859-1, если по какой-то причине не можете использовать WINDOWS-1252. Обратите внимание, что в ISO-8859-1 отсутствуют некоторые символы из WINDOWS-1252, как показано здесь:

| Char | ANSI | Unicode | ANSI Hex | Unicode Hex | HTML entity | Unicode Name                               | Unicode Range            |
| €    | 128  | 8364    | 0x80     | U+20AC      | €      | euro sign                                  | Currency Symbols         |
| ‚    | 130  | 8218    | 0x82     | U+201A      | ‚     | single low-9 quotation mark                | General Punctuation      |
| ƒ    | 131  | 402     | 0x83     | U+0192      | ƒ      | Latin small letter f with hook             | Latin Extended-B         |
| „    | 132  | 8222    | 0x84     | U+201E      | „     | double low-9 quotation mark                | General Punctuation      |
| …    | 133  | 8230    | 0x85     | U+2026      | …    | horizontal ellipsis                        | General Punctuation      |
| †    | 134  | 8224    | 0x86     | U+2020      | †    | dagger                                     | General Punctuation      |
| ‡    | 135  | 8225    | 0x87     | U+2021      | ‡    | double dagger                              | General Punctuation      |
| ˆ    | 136  | 710     | 0x88     | U+02C6      | ˆ      | modifier letter circumflex accent          | Spacing Modifier Letters |
| ‰    | 137  | 8240    | 0x89     | U+2030      | ‰    | per mille sign                             | General Punctuation      |
| Š    | 138  | 352     | 0x8A     | U+0160      | Š    | Latin capital letter S with caron          | Latin Extended-A         |
| ‹    | 139  | 8249    | 0x8B     | U+2039      | ‹    | single left-pointing angle quotation mark  | General Punctuation      |
| Π   | 140  | 338     | 0x8C     | U+0152      | Π    | Latin capital ligature OE                  | Latin Extended-A         |
| Ž    | 142  | 381     | 0x8E     | U+017D      |             | Latin capital letter Z with caron          | Latin Extended-A         |
| ‘    | 145  | 8216    | 0x91     | U+2018      | ‘     | left single quotation mark                 | General Punctuation      |
| ’    | 146  | 8217    | 0x92     | U+2019      | ’     | right single quotation mark                | General Punctuation      |
| “    | 147  | 8220    | 0x93     | U+201C      | “     | left double quotation mark                 | General Punctuation      |
| ”    | 148  | 8221    | 0x94     | U+201D      | ”     | right double quotation mark                | General Punctuation      |
| •    | 149  | 8226    | 0x95     | U+2022      | •      | bullet                                     | General Punctuation      |
| –    | 150  | 8211    | 0x96     | U+2013      | –     | en dash                                    | General Punctuation      |
| —    | 151  | 8212    | 0x97     | U+2014      | —     | em dash                                    | General Punctuation      |
| ˜    | 152  | 732     | 0x98     | U+02DC      | ˜     | small tilde                                | Spacing Modifier Letters |
| ™    | 153  | 8482    | 0x99     | U+2122      | ™     | trade mark sign                            | Letterlike Symbols       |
| š    | 154  | 353     | 0x9A     | U+0161      | š    | Latin small letter s with caron            | Latin Extended-A         |
| ›    | 155  | 8250    | 0x9B     | U+203A      | ›    | single right-pointing angle quotation mark | General Punctuation      |
| œ    | 156  | 339     | 0x9C     | U+0153      | œ     | Latin small ligature oe                    | Latin Extended-A         |
| ž    | 158  | 382     | 0x9E     | U+017E      |             | Latin small letter z with caron            | Latin Extended-A         |
| Ÿ    | 159  | 376     | 0x9F     | U+0178      | Ÿ      | Latin capital letter Y with diaeresis      | Latin Extended-A         |

Обратите внимание, что знак евро отсутствует. Эту таблицу можно найти на сайте Алана Вуда.

Преобразование

Преобразование выполняется по-разному для каждого инструмента и языка. Однако предположим, что у вас есть файл query_result.csv, который, как вы знаете, UTF-8 закодирован. Преобразуйте его в WINDOWS-1252, используя iconv:

iconv -f UTF-8 -t WINDOWS-1252 query_result.csv > query_result-win.csv

Для UTF-16LE с спецификацией, если вы используете символы табуляции в качестве разделителей вместо запятых, Excel распознает поля. Причина, по которой это работает, заключается в том, что Excel фактически использует свой парсер Unicode * .txt.

Предостережение: если файл редактируется в Excel и сохраняется, он будет сохранен как разделенный табуляцией код ASCII. Теперь проблема в том, что, когда вы повторно открываете файл, Excel предполагает, что это настоящий CSV (с запятыми), видит, что это не Unicode, поэтому анализирует его как разделенный запятыми - и, следовательно, сделает из него хэш!

Обновление.

• вы редактируете и закрываете Excel (пытается сохранить как 'Unicode * .txt')

по сравнению с:

• редактирование и закрытие только файла (работает должным образом).

Краткое изложение: нет решения. Excel 2011 / Mac не может правильно интерпретировать CSV-файл, содержащий умляуты и диакритические знаки, независимо от того, какую кодировку вы выполняете или какие прыжки выполняете. Я был бы рад услышать, что кто-нибудь скажет мне другое!

Вы пробовали только CSV, разделенные запятыми и точкой с запятой. Если бы вы попробовали CSV с разделением табуляцией (также называемый TSV), вы бы нашли ответ:

UTF-16LE с BOM (метка порядка байтов), с разделением табуляцией

Но: в комментарии вы упоминаете, что TSV вам не подходит (хотя мне не удалось найти это требование в вашем вопросе). Какая жалость. Это часто означает, что вы разрешаете ручное редактирование файлов TSV, что, вероятно, не является хорошей идеей. Визуальная проверка файлов TSV не проблема. Кроме того, в редакторах можно настроить отображение специального символа для пометки вкладок.

И да, я пробовал это на Windows и Mac.

Вот решающий аргумент в пользу импорта CSV с кодировкой utf8 в Excel 2011 для Mac: Microsoft заявляет: «Excel для Mac в настоящее время не поддерживает UTF-8». Excel для Mac 2011 и UTF-8

Yay, путь к MS!

Лучший обходной путь для чтения файлов CSV с UTF-8 на Mac - преобразовать их в формат XLSX. Я нашел сценарий, сделанный Конрадом Фёрстнером, который я немного улучшил, добавив поддержку различных символов-разделителей.

Загрузите скрипт с Github https://github.com/brablc/clit/blob/master/csv2xlsx.py. Для его запуска вам потребуется установить модуль Python openpyxl для работы с файлами Excel: sudo easy_install openpyxl.

В моем случае это сработало (Mac, Excel 2011, кириллица и латинские символы с чешскими диакритическими знаками):

• Кодировка UTF-16LE (просто UTF-16 было недостаточно)
• Спецификация "\ xFF \ xFE"
• \ t (табуляция) как разделитель
• Не забудьте также закодировать разделитель и CRLF :-)
• Используйте iconv вместо mb_convert_encoding

Мне кажется, что Excel 2011 для Mac OS не использует Encoding.GetEncoding («10000»), как я думал и потратил 2 дня с тем же ISO, что и в ОС Microsoft. Лучшее доказательство этого - создать файл в Excel 2011 для MAC со специальными символами, сохранить его как CSV, а затем открыть в текстовом редакторе MAC, и символы будут зашифрованы.

Для меня этот подход сработал - это означает, что экспорт csv в Excel 2011 на Mac OS имеет внутри специальные западноевропейские символы:

Encoding isoMacOS = Encoding.GetEncoding("iso-8859-1");
Encoding defaultEncoding = Encoding.Default; 

// Convert the string into a byte array.
byte[] defaultEncodingBytes = defaultEncoding.GetBytes(exportText);

// Perform the conversion from one encoding to the other.
byte[] ansiBytes = Encoding.Convert(defaultEncoding, isoMacOS, defaultEncodingBytes);

decodedString = isoMacOS.GetString(ansiBytes);

UTF-8 без спецификации в настоящее время у меня работает в Excel Mac 2011 14.3.2.

UTF-8 + BOM вроде работает, но BOM отображается как тарабарщина.

UTF-16 работает, если вы импортируете файл и завершаете работу мастера, но не после двойного щелчка по нему.

В Excel для Mac 2011 и Windows Excel 2002 у меня работало следующее:

1. Используя iconv на Mac, преобразуйте файл в UTF-16 Little-Endian + назовите его * .txt (расширение .txt заставляет Excel запускать мастер импорта текста):

   iconv -f UTF-8 -t UTF-16LE filename.csv >filename_UTF-16LE.csv.txt

2. Откройте файл в Excel и в мастере импорта текста выберите:

   • Step 1: File origin: ignore it, it doesn't matter what you choose
   • Шаг 2. Выберите правильные значения для разделителей и квалификатора текста
   • Шаг 3: при необходимости выберите форматы столбцов

PS UTF-16LE, созданный iconv, имеет байты спецификации FF FE в начале.

PPS Мой исходный файл csv был создан на компьютере под управлением Windows 7 в формате UTF-8 (с байтами спецификации EF BB BF в начале) и использовал разрывы строк CRLF. В качестве разделителя полей использовалась запятая, а в качестве квалификатора текста - одинарная кавычка. Он содержал буквы ASCII плюс разные латинские буквы с тильдами, умляутом и т. Д., А также немного кириллицы. Все правильно отображается как в Excel для Win, так и в Mac.

PPPS Точные версии программного обеспечения:
* Mac OS X 10.6.8
* Excel для Mac 2011 v.14.1.3
* Windows Server 2003 SP2
* Windows Excel 2002 v.10.2701.2625

В моей Mac OS Text Wrangler определил, что CSV-файл, созданный с помощью Excel, имеет "западную" кодировку.

После некоторого поиска в Google я создал этот небольшой скрипт (я не уверен в доступности Windows, возможно, с помощью Cygwin?) :

$ cat /usr/local/bin/utf8.sh

#!/bin/bash

INPUTFILE="$1"

iconv -f macroman -c -t UTF-8 $INPUTFILE |tr '\r' '\n' >/tmp/file.$$.csv

mv $INPUTFILE ms_trash
mv /tmp/file.$$.csv $INPUTFILE

В моем случае добавление преамбулы в файл решило мою проблему:

var data = Encoding.UTF8.GetBytes(csv);
var result = Encoding.UTF8.GetPreamble().Concat(data).ToArray();
return File(new MemoryStream(result), "application/octet-stream", "data.csv");

вместо csv, попытаться вывести html с расширением XLS и типом mime "application / excel". Я знаю, что это будет работать в Windows, но не могу говорить о MacOS

Это работает для меня

1. Откройте файл в BBEdit или TextWrangler *.
2. Установите для файла Unicode (UTF-16 Little-Endian) (окончания строк могут быть Unix или Windows). Сохранить!
3. В Excel: Данные> Получить внешние данные> Импортировать текстовый файл ...

Теперь ключевой момент: выберите MacIntosh в качестве источника файла (он должен быть первым).

Используется Excel 2011 (версия 14.4.2)

* Внизу окна есть небольшое раскрывающееся меню.

Решите это с помощью java (UTF-16LE с спецификацией):

String csvReportStr = getCsvReport();
byte[] data = Charset.forName("UTF-16LE").encode(csvReportStr)
    .put(0, (byte) 0xFF)
    .put(1, (byte) 0xFE)
    .array();

Обратите внимание, что файл CSV должен использовать TAB в качестве разделителя. Вы можете читать CSV-файл как в Windows, так и в MAC OS X.

См .: Как кодировать / декодировать байтовые массивы UTF-16LE с помощью спецификации?