Что случилось с этими символами юникода?

Это символ с набором комбинаций символов. Поскольку рассматриваемые комбинированные символы хотят идти выше базового символа, они складываются (буквально). Например, случай

ก้้้้้้้้้้้้้้้้้้้้

...это ก (тайский иероглиф ko kai) (U+0E01), за которыми следуют 20 копий тайского комбинированного символа mai tho (U +0E49).

Как мы можем продезинфицировать это?

Вы можете предварительно обработать текст и ограничить количество комбинируемых символов, которые можно применить к одному символу, но усилия могут не стоить вознаграждения. Вам понадобятся таблицы данных для всех текущих символов, чтобы вы знали, комбинируются ли они или что, и вам нужно обязательно разрешить хотя бы несколько, потому что некоторые языки написаны с несколькими диакритическими знаками на одной базе. . Теперь, если вы хотите ограничить комментарии набором латинских символов, это будет более простой проверкой диапазона, но, конечно, это только вариант, если вы хотите ограничить комментарии только несколькими языками. Дополнительная информация, таблицы кодов и т. д. на unicode.org.

Кстати, если вы когда-нибудь захотите узнать, как был составлен какой-либо символ, для другого вопроса совсем недавно я закодировал быструю и грязную страницу «Unicode Show Me». на JSBin. Вы просто копируете и вставляете текст в текстовую область, и он показывает вам все кодовые точки (~символы), из которых состоит текст, со ссылками, подобными приведенным выше, на страницу с описанием каждого символа. Он работает только для кодовых точек в диапазоне U+FFFF и ниже, потому что он написан на JavaScript, и для обработки символов выше U+FFFF в JavaScript вам нужно проделать больше работы, чем я хотел сделать для этого вопроса (потому что в JavaScript «символ» всегда 16-битный, что означает, что для некоторых языков символ может быть разделен на два отдельных «символа» JavaScript, и я не учел этого), но это удобно для большинства текстов. .

Если у вас есть движок регулярных выражений с достойной поддержкой Unicode, дезинфицировать такие строки несложно. В Perl, например, вы можете удалить все, кроме первой комбинированной метки, из каждого (воспринимаемого пользователем) символа следующим образом:

#!/usr/bin/perl
use strict;
use utf8;

binmode(STDOUT, ':utf8');

my $string = "กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้ กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้";
$string =~ s/(\p{Mark})\p{Mark}+/$1/g; # Strip excess combining marks
print("$string\n");

Это напечатает:

กิ ก้ ก็ ก็ กิ ก้ ก็ กิ ก้ กิ ก้ ก็ ก็ กิ ก้ ก็ กิ ก้

«Как мы можем это продезинфицировать» лучше всего ответил TJ Crowder выше.

Однако я думаю, что дезинфекция - это неправильный подход, и Cristy правильно использует overflow:hidden в элементе, содержащем css.

По крайней мере, я так решаю.

Хорошо, это заняло у меня некоторое время, чтобы понять, у меня сложилось впечатление, что объединение символов для создания zalgo ограничено этими . Поэтому я ожидал, что следует за регулярным выражением, чтобы поймать уродов.

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]{2,})

и не получилось...

Загвоздка в том, что список в вики не охватывает весь диапазон комбинаций символов.

Что дало мне подсказку, так это "ก้้้้้้้้้้้้้้้้้้้้".charCodeAt(2).toString(16) = "e49", который не входит в диапазон объединения, он попадает в "частное использование".

В C# они попадают под UnicodeCategory.NonSpacingMark, и следующий скрипт удаляет их:

    [Test]
    public void IsZalgo()
    {
        var zalgo = new[] { UnicodeCategory.NonSpacingMark };

        File.Delete("IsModifyLike.html");
        File.AppendAllText("IsModifyLike.html", "<table>");
        for (var i = 0; i < 65535; i++)
        {
            var c = (char)i;
            if (zalgo.Contains(Char.GetUnicodeCategory(c)))
            {


                File.AppendAllText("IsModifyLike.html", string.Format("<tr><td>{0}</td><td>{1}</td><td>{2}</td><td>A&#{3};&#{3};&#{3}</td></tr>\n",  i.ToString("X"), c, Char.GetUnicodeCategory(c), i));

            }
        }
        File.AppendAllText("IsModifyLike.html", "</table>");
    }

Глядя на сгенерированную таблицу, вы сможете увидеть, какие из них складываются. Один диапазон, которого нет в вики, это 06D6-06DC другой 0730-0749.

ОБНОВЛЕНИЕ:

Вот обновленное регулярное выражение, которое должно вылавливать все zalgo, включая те, которые были пропущены в "нормальном" диапазоне.

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F\u0483-\u0486\u05C7\u0610-\u061A\u0656-\u065F\u0670\u06D6-\u06ED\u0711\u0730-\u073F\u0743-\u074A\u0F18-\u0F19\u0F35\u0F37\u0F72-\u0F73\u0F7A-\u0F81\u0F84\u0e00-\u0eff\uFC5E-\uFC62]{2,})

Самое сложное — это идентифицировать их, как только вы это сделаете — существует множество решений, в том числе несколько хороших из приведенных выше.

Надеюсь, это сэкономит вам время.