В чем разница между кодировками utf8mb4 и utf8 в MySQL?

UTF-8 - это кодировка переменной длины. В случае UTF-8 это означает, что для хранения одной кодовой точки требуется от одного до четырех байтов. Однако кодировка MySQL под названием utf8 (псевдоним utf8mb3) хранит не более трех байтов на одну кодовую точку.

Таким образом, набор символов utf8 / utf8mb3 не может хранить все кодовые точки Unicode: он поддерживает только диапазон от 0x000 до 0xFFFF, который называется Базовая многоязычная плоскость. См. Также Сравнение кодировок Unicode.

Это то, что (предыдущая версия той же страницы по адресу) в документации MySQL говорится об этом:

Набор символов с именем utf8 [/ utf8mb3] использует максимум три байта на символ и содержит только символы BMP. Начиная с MySQL 5.5.3, набор символов utf8mb4 использует максимум четыре байта на символ, поддерживает дополнительные символы:

• Для символа BMP utf8 [/ utf8mb3] и utf8mb4 имеют одинаковые характеристики хранения: одинаковые значения кода, одинаковая кодировка, одинаковая длина.

• Для дополнительного символа utf8 [/ utf8mb3] не может хранить этот символ вообще, тогда как utf8mb4 требует четыре байта для его хранения. Поскольку utf8 [/ utf8mb3] вообще не может хранить символ, у вас нет дополнительных символов в столбцах utf8 [/ utf8mb3], и вам не нужно беспокоиться о преобразовании символов или потере данных при обновлении данных utf8 [/ utf8mb3] из более старых версий MySQL.

Итак, если вы хотите, чтобы ваш столбец поддерживал хранение символов, лежащих за пределами BMP (а вы обычно этого хотите), например emoji используйте utf8mb4. См. Также Какие наиболее распространенные не -BMP Unicode-символы используются в действительности?.

Набор символов utf8mb4 полезен, потому что в настоящее время нам нужна поддержка для хранения не только языковых символов, но и символов, недавно представленных смайлов и т. Д.

Хорошее прочтение Матиаса Биненса Как поддерживать полный Unicode в базах данных MySQL также может пролить свет на это.

Взято из Справочного руководства MySQL 8.0:

• utf8mb4: кодировка UTF-8 набора символов Unicode с использованием от одного до четырех байтов на символ.

• utf8mb3: кодировка UTF-8 набора символов Unicode с использованием от одного до трех байтов на символ.

В MySQL utf8 в настоящее время является псевдонимом для utf8mb3, который устарел и будет удален в будущем выпуске MySQL. В этот момент utf8 станет ссылкой на utf8mb4.

Таким образом, независимо от этого псевдонима вы можете сознательно установить кодировку utf8mb4.

Чтобы завершить ответ, я хотел бы добавить ниже комментарий @ WilliamEntriken (также взятый из руководства):

Чтобы избежать двусмысленности в значении utf8, подумайте о том, чтобы явно указать utf8mb4 для ссылок на набор символов вместо utf8.

• utf8 - это более старая и ошибочная реализация UTF-8 в MySQL, которая уже устарела.
• utf8mb4 - это то, что они назвали своей фиксированной реализацией UTF-8, и это то, что вы должны использовать прямо сейчас.

В их некорректной версии работают только символы в первой плоскости 64k символов - базовой многоязычной плоскости, а другие символы считаются недопустимыми. Значения кодовой точки в этой плоскости - от 0 до 65535 (некоторые из которых зарезервированы по особым причинам) могут быть представлены многобайтовыми кодировками в UTF-8 размером до 3 байтов, и ранняя версия MySQL UTF-8 произвольно решила установите это как предел. Это ограничение ни в коем случае не было правильной интерпретацией правил UTF-8, потому что UTF-8 никогда не определялся как разрешающий только до 3 байтов на символ. Фактически, самые ранние определения UTF-8 определяли его как имеющий до 6 байтов (с момента пересмотра до 4). Исходная версия MySQL всегда была произвольно повреждена.

Когда MySQL выпустил это, последствия этого ограничения были не так уж плохи, так как большинство символов Unicode находились на этом первом уровне. С тех пор в Юникод добавлялось все больше и больше вновь определенных диапазонов символов со значениями за пределами этой первой плоскости. Сам Unicode определяет 17 плоскостей, хотя пока используются только 7 из них.

Чтобы не нарушить старый код, сделав какие-либо конкретные предположения, MySQL сохранил сломанную реализацию и назвал новую фиксированную версию utf8mb4. Это привело к некоторой путанице с неправильным толкованием имени, как если бы оно было своего рода расширением UTF-8 или альтернативной формой UTF-8, а не реализацией истинного UTF-8 в MySQL.

В будущих версиях MySQL в конечном итоге будет постепенно отказываться от старой версии, и на данный момент она может считаться устаревшей. В обозримом будущем вам необходимо использовать utf8mb4, чтобы обеспечить правильную кодировку UTF-8. По прошествии достаточного времени текущий utf8 будет удален, и в какой-то момент в будущем utf8 снова вырастет, на этот раз со ссылкой на фиксированную версию, хотя utf8mb4 по-прежнему будет однозначно относиться к фиксированной версии.

MySQL добавил этот код utf8mb4 после 5.5.3, Mb4 - это максимальное значение 4 байта, специально разработанное для совместимости с четырехбайтовым Unicode. К счастью, UTF8MB4 является расширенным набором UTF8, за исключением того, что нет необходимости преобразовывать кодировку в UTF8MB4. Конечно, для экономии места достаточно общего использования UTF8.

Исходный формат UTF-8 использует от одного до шести байтов и может кодировать максимум 31 символ. Последняя спецификация UTF-8 использует от одного до четырех байтов и может кодировать до 21 бита только для представления всех 17 плоскостей Unicode. UTF8 - это набор символов в Mysql, который поддерживает не более трех байтов символов UTF-8, которые являются базовой многотекстовой плоскостью в Юникоде.

Чтобы сохранить символы UTF-8 длиной 4 байта в Mysql, вам необходимо использовать набор символов UTF8MB4, но только 5.5. После того, как поддерживаются 3 версии (Просмотр версии: Выбрать версию ();). Я думаю, что для лучшей совместимости всегда следует использовать UTF8MB4 вместо UTF8. Для данных типа char UTF8MB4 занимает больше места и, согласно официальной рекомендации Mysql, использует VARCHAR вместо char.

В MariaDB utf8mb4 в качестве CHARSET по умолчанию, если он не установлен явно в конфигурации сервера, поэтому используется COLLATE utf8mb4_unicode_ci.

Обратитесь к MariaDB CHARSET и COLLATE Click

CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;