Правильно читать текстовый файл utf-16 в строку без внешних библиотек?

Когда вы открываете файл для UTF-16, вы должны открывать его в двоичном режиме. Это связано с тем, что в текстовом режиме некоторые символы интерпретируются особым образом, в частности, 0x0d полностью отфильтровывается, а 0x1a отмечает конец файла. Есть некоторые символы UTF-16, у которых один из этих байтов будет половиной кода символа, и это испортит чтение файла. Это не ошибка, это преднамеренное поведение, и это единственная причина наличия отдельных текстовых и двоичных режимов.

По причине того, что 0x1a считается концом файла, см. этот сообщение в блоге Рэймонда Чена, в котором прослеживается история Ctrl-Z. Это в основном обратная совместимость вышла из-под контроля.

Насколько мне известно, решение C++11 (поддерживаемое на вашей платформе Visual Studio с 2010 года) будет таким:

#include <fstream>
#include <iostream>
#include <locale>
#include <codecvt>
int main()
{
    // open as a byte stream
    std::wifstream fin("text.txt", std::ios::binary);
    // apply BOM-sensitive UTF-16 facet
    fin.imbue(std::locale(fin.getloc(),
       new std::codecvt_utf16<wchar_t, 0x10ffff, std::consume_header>));
    // read     
    for(wchar_t c; fin.get(c); )
            std::cout << std::showbase << std::hex << c << '\n';
}

Редактировать:

Таким образом, похоже, проблема заключалась в том, что Windows рассматривает определенные последовательности магических байтов как конец файла в текстовом режиме. Это решается использованием двоичного режима для чтения файла std::ifstream fin("filename", std::ios::binary);, а затем копированием данных в wstring, как вы это уже делали.

Самым простым непереносимым решением было бы просто скопировать данные файла в массив wchar_t. Это основано на том факте, что wchar_t в Windows имеет размер 2 байта и использует кодировку UTF-16.

У вас будут некоторые трудности с преобразованием UTF-16 в специфичную для локали кодировку wchar_t полностью переносимым способом.

Вот функция преобразования Unicode, доступная в стандартной библиотеке C++ (хотя VS 10 и 11 реализуют только элементы 3, 4 и 5)

1. codecvt<char32_t,char,mbstate_t>
2. codecvt<char16_t,char,mbstate_t>
3. codecvt_utf8
4. codecvt_utf16
5. codecvt_utf8_utf16
6. c32rtomb/mbrtoc32
7. c16rtomb/mbrtoc16

И что делает каждый

1. Аспект codecvt, который всегда конвертирует между UTF-8 и UTF-32.
2. конвертирует между UTF-8 и UTF-16
3. конвертирует между UTF-8 и UCS-2 или UCS-4 в зависимости от размера целевого элемента (символы за пределами BMP, вероятно, усекаются)
4. преобразует последовательность символов с использованием схемы кодирования UTF-16 и UCS-2 или UCS-4.
5. конвертирует между UTF-8 и UTF-16
6. Если определен макрос __STDC_UTF_32__, эти функции преобразуются между кодировкой символов текущей локали и UTF-32.
7. Если определен макрос __STDC_UTF_16__, эти функции преобразуются между кодировкой символов текущей локали и UTF-16.

Если __STDC_ISO_10646__ определено, то преобразование напрямую с использованием codecvt_utf16<wchar_t> должно быть правильным, поскольку этот макрос указывает, что значения wchar_t во всех локалях соответствуют коротким именам уставов Unicode (и, таким образом, подразумевается, что wchar_t достаточно велик, чтобы содержать любое такое значение).

К сожалению, нет ничего определенного, что бы напрямую переходило от UTF-16 к wchar_t. Можно использовать UTF-16 -> UCS-4 -> mb (если __STDC_UTF_32__) -> wc, но вы потеряете все, что не представляется в многобайтовой кодировке локали. И, конечно же, несмотря ни на что, преобразование из UTF-16 в wchar_t потеряет все, что не может быть представлено в кодировке wchar_t локали.

Так что, вероятно, не стоит быть переносимым, и вместо этого вы можете просто прочитать данные в массив wchar_t или использовать какое-либо другое специальное средство Windows, такое как режим _O_U16TEXT для файлов.

Это должно собираться и работать где угодно, но делает кучу предположений, чтобы действительно работать:

#include <fstream>
#include <sstream>
#include <iostream>

int main ()
{
    std::stringstream ss;
    std::ifstream fin("filename");
    ss << fin.rdbuf(); // dump file contents into a stringstream
    std::string const &s = ss.str();
    if (s.size()%sizeof(wchar_t) != 0)
    {
        std::cerr << "file not the right size\n"; // must be even, two bytes per code unit
        return 1;
    }
    std::wstring ws;
    ws.resize(s.size()/sizeof(wchar_t));
    std::memcpy(&ws[0],s.c_str(),s.size()); // copy data into wstring
}

Вероятно, вам следует хотя бы добавить код для обработки endianess и «BOM». Кроме того, новые строки Windows не преобразуются автоматически, поэтому вам нужно сделать это вручную.