java.sql.SQLException: неверное строковое значение: '\xF0\x9F\x91\xBD\xF0\x9F'

У вас есть EXTRATERRESTRIAL ALIEN (U+1F47D) и BROKEN HEART (U+1F494), которые не находятся в базовой многоязычной плоскости. Они даже не могут быть представлены в java как один символ, "????????".length() == 4. Это определенно не нулевые символы, и вы увидите квадраты, если вы не используете шрифты, которые их поддерживают.

MySQL utf8 поддерживает только базовую многоязычную плоскость, и вам нужно использовать utf8mb4 вместо:

Для дополнительного символа utf8 вообще не может хранить символ, в то время как utf8mb4 требует для его хранения четыре байта. Поскольку utf8 вообще не может хранить символ, у вас нет дополнительных символов в столбцах utf8, и вам не нужно беспокоиться о преобразовании символов или потере данных при обновлении данных utf8 из более старых версий MySQL.

Таким образом, для поддержки этих символов ваш MySQL должен быть 5.5+, и вам нужно везде использовать utf8mb4. Кодировка соединения должна быть utf8mb4, набор символов должен быть utf8mb4, а сопоставление должно быть utf8mb4. Для java это все еще просто "utf-8", но MySQL нуждается в различии.

Я не знаю, какой драйвер вы используете, но независимый от драйвера способ установить кодировку соединения - отправить запрос:

SET NAMES 'utf8mb4'

Сразу после подключения.

См. также это для Connector/J:

var1 varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL

Как ни странно, я обнаружил, что УДАЛЕНИЕ &characterEncoding=UTF-8 из JDBC url помогло мне с подобными проблемами.

Судя по моим свойствам,

jdbc_url=jdbc:mysql://localhost:3306/dbName?useUnicode=true

Я думаю, что это поддерживает то, что @Esailija сказал выше, то есть мой MySQL, который действительно 5.5, выясняет свой любимый вариант кодировки UTF-8.

(Обратите внимание, я также указываю InputStream, из которого я читаю, как UTF-8 в коде Java, что, вероятно, не повредит)...

В общем, чтобы сохранить символы, требующие 4 байта, вам нужно обновить набор символов и сопоставление для utf8mb4:

1. таблица/столбец базы данных: alter table <some_table> convert to character set utf8mb4 collate utf8mb4_unicode_ci
2. подключение к серверу базы данных (см.)

В моей среде разработки для # 2 я предпочитаю устанавливать параметры в командной строке при запуске сервера: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci

Кстати, обратите внимание на поведение Connector/J с SET NAMES 'utf8mb4':

Не вводите имена наборов запросов с помощью Connector/J, так как драйвер не обнаружит, что набор символов изменился, и будет продолжать использовать набор символов, обнаруженный во время первоначальной установки соединения.

И избегайте установки параметра characterEncoding в URL-адресе подключения, так как он переопределит настроенную кодировку сервера:

Чтобы переопределить автоматически обнаруженную кодировку на стороне клиента, используйте свойство characterEncoding в URL-адресе, используемом для подключения к серверу.

Как я решил свою проблему.

я имел

?useUnicode=true&characterEncoding=UTF-8

В моем URL-адресе подключения jdbc в спящем режиме я изменил строковый тип данных на длинный текст в базе данных, который раньше был varchar.

Я столкнулся с той же проблемой и решил ее, установив для параметра Сопоставление значение utf8_general_ci для каждого столбца.

Добавьте строку useUnicode=true&characterEncoding=UTF-8 к URL-адресу jdbc.

В вашем случае данные не отправляются с использованием кодировки UTF-8.

Я предполагаю, что MySQL не считает, что это допустимый текст UTF8. Я попытался вставить в тестовую таблицу с тем же определением столбца (подключение клиента mysql также было UTF8), и хотя вставка была выполнена, данные, которые я получил с помощью клиента MySQL CLI, а также JDBC, не извлекли значения правильно. Чтобы убедиться, что UTF8 работает правильно, я вставил «ö» вместо «o» для obama:

johan@maiden:~$ mysql -vvv test < insert.sql 
--------------
insert into utf8_test values(_utf8 "walmart öbama ????????")
--------------

Query OK, 1 row affected, 1 warning (0.12 sec)

johan@maiden:~$ file insert.sql 
insert.sql: UTF-8 Unicode text

Небольшое Java-приложение для тестирования:

package test.sql;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

public class Test
{

    public static void main(String[] args)
    {
        System.out.println("test string=" + "walmart öbama ????????");
        String url = "jdbc:mysql://hostname/test?useUnicode=true&characterEncoding=UTF-8";
        try
        {
            Class.forName("com.mysql.jdbc.Driver").newInstance();
            Connection c = DriverManager.getConnection(url, "username", "password");
            PreparedStatement p = c.prepareStatement("select * from utf8_test");
            p.execute();
            ResultSet rs = p.getResultSet();
            while (!rs.isLast())
            {
                rs.next();
                String retrieved = rs.getString(1);
                System.out.println("retrieved=\"" + retrieved + "\"");

            }
        }
        catch (Exception e)
        {
            e.printStackTrace();
        }
    }

}

Вывод:

johan@appel:~/workspaces/java/javatest/bin$ java test.sql.Test
test string=walmart öbama ????????
retrieved="walmart öbama "

Кроме того, я пробовал ту же вставку с соединением JDBC, и она вызвала то же исключение, что и вы. Я считаю, что это ошибка MySQL. Может уже есть баг-репорт о такой ситуации..

У меня была такая же проблема, и после тщательного изучения всех кодировок и обнаружения того, что с ними все в порядке, я понял, что свойство с ошибками, которое у меня было в моем классе, было аннотировано как @Column вместо @JoinColumn (javax.presistence; hibernate) и это все ломало.

Этот параметр useOldUTF8Behavior=true у меня отлично работал. Он не выдавал неправильных строковых ошибок, но преобразовывал специальные символы, такие как Ã, в несколько символов и сохранял их в базе данных.

Чтобы избежать таких ситуаций, я удалил это свойство из параметра JDBC и вместо этого преобразовал тип данных моего столбца в BLOB. Это сработало идеально.

выполнять

show VARIABLES like "%char%”;

найти сервер набора символов, если это не utf8mb4.

установите его в свой my.cnf, например

vim /etc/my.cnf

добавить одну строку

character_set_server = utf8mb4

наконец перезапустите mysql

Кроме того, тип данных может использовать установку blob для varchar или text.