манипулирование javascript и строками с суррогатными парами utf-16

Javascript внутри использует UCS-2, а не UTF-16. Из-за этого очень сложно работать с Unicode в Javascript, и я не предлагаю пытаться это делать.

Что касается того, что делает Twitter, вы, кажется, говорите, что он разумно считает по кодовой точке, а не безумно по кодовой единице.

Если у вас нет выбора, вы должны использовать язык программирования, который действительно поддерживает Unicode и имеет интерфейс кодовой точки, а не интерфейс кодовой единицы. Javascript недостаточно хорош для этого, как вы обнаружили.

У него есть Проклятие UCS-2, которое даже хуже, чем Проклятие UTF-16, которое уже достаточно плохо. Я рассказываю обо всем этом в докладе OSCON, ???? Тест поддержки Unicode: ???? Хороший, плохой и (в основном) плохой ???? .

Вы можете попробовать использовать плагин XRegEXp, но таким образом вы не изгоните Проклятие. Это можно сделать только при переходе на язык с поддержкой Unicode, а ???????????????????????????????????????? просто не один из них.

Я собрал отправную точку для объекта обработки строки Unicode. Он создает функцию с именем UnicodeString(), которая принимает либо строку JavaScript, либо массив целых чисел, представляющих кодовые точки Unicode, и предоставляет свойства length и codePoints, а также методы toString() и slice(). Добавление поддержки регулярных выражений было бы очень сложным, но такие вещи, как indexOf() и split() (без поддержки регулярных выражений), должно быть довольно легко реализовать.

var UnicodeString = (function() {
    function surrogatePairToCodePoint(charCode1, charCode2) {
        return ((charCode1 & 0x3FF) << 10) + (charCode2 & 0x3FF) + 0x10000;
    }

    function stringToCodePointArray(str) {
        var codePoints = [], i = 0, charCode;
        while (i < str.length) {
            charCode = str.charCodeAt(i);
            if ((charCode & 0xF800) == 0xD800) {
                codePoints.push(surrogatePairToCodePoint(charCode, str.charCodeAt(++i)));
            } else {
                codePoints.push(charCode);
            }
            ++i;
        }
        return codePoints;
    }

    function codePointArrayToString(codePoints) {
        var stringParts = [];
        for (var i = 0, len = codePoints.length, codePoint, offset, codePointCharCodes; i < len; ++i) {
            codePoint = codePoints[i];
            if (codePoint > 0xFFFF) {
                offset = codePoint - 0x10000;
                codePointCharCodes = [0xD800 + (offset >> 10), 0xDC00 + (offset & 0x3FF)];
            } else {
                codePointCharCodes = [codePoint];
            }
            stringParts.push(String.fromCharCode.apply(String, codePointCharCodes));
        }
        return stringParts.join("");
    }

    function UnicodeString(arg) {
        if (this instanceof UnicodeString) {
            this.codePoints = (typeof arg == "string") ? stringToCodePointArray(arg) : arg;
            this.length = this.codePoints.length;
        } else {
            return new UnicodeString(arg);
        }
    }

    UnicodeString.prototype = {
        slice: function(start, end) {
            return new UnicodeString(this.codePoints.slice(start, end));
        },

        toString: function() {
            return codePointArrayToString(this.codePoints);
        }
    };


    return UnicodeString;
})();

var ustr = UnicodeString("f????????bar");
document.getElementById("output").textContent = "String: '" + ustr + "', length: " + ustr.length + ", slice(2, 4): " + ustr.slice(2, 4);

<div id="output"></div>

Вот пара скриптов, которые могут быть полезны при работе с суррогатными парами в JavaScript:

• Шимы ES6 Unicode для ES3+ добавляют методы String.fromCodePoint и String.prototype.codePointAt из ECMAScript 6. Методы ES3/5 fromCharCode и charCodeAt не учитывают суррогатные пары и поэтому дают неверные результаты.

• Полное сопоставление 21-битной кодовой точки Unicode в XRegExp с \u{10FFFF} позволяет сопоставлять любого человека кодовая точка в регулярных выражениях XRegExp.

Итераторы строк Javascript могут дать вам фактические символы вместо суррогатных кодовых точек:

>>> [..."0123456789"]
["0", "1", "2", "3", "4", "5", "6", "7", "8", "9"]
>>> [..."????????????????????????????????????????"]
["????", "????", "????", "????", "????", "????", "????", "????", "????", "????"]
>>> [..."0123456789"].length
10
>>> [..."????????????????????????????????????????"].length
10

Это соответствует тому, что я искал. Требуется лучшая поддержка различных строковых функций. По мере добавления я буду обновлять этот ответ.

function wString(str){
  var T = this; //makes 'this' visible in functions
  T.cp = [];    //code point array
  T.length = 0; //length attribute
  T.wString = true; // (item.wString) tests for wString object

//member functions
  sortSurrogates = function(s){  //returns array of utf-16 code points
    var chrs = [];
    while(s.length){             // loop till we've done the whole string
      if(/[\uD800-\uDFFF]/.test(s.substr(0,1))){ // test the first character
                                 // High surrogate found low surrogate follows
        chrs.push(s.substr(0,2)); // push the two onto array
        s = s.substr(2);         // clip the two off the string
      }else{                     // else BMP code point
        chrs.push(s.substr(0,1)); // push one onto array
        s = s.substr(1);         // clip one from string 
      }
    }                            // loop
    return chrs;
  };
//end member functions

//prototype functions
  T.substr = function(start,len){
    if(len){
      return T.cp.slice(start,start+len).join('');
    }else{
      return T.cp.slice(start).join('');
    }
  };

  T.substring = function(start,end){
    return T.cp.slice(start,end).join('');
  };

  T.replace = function(target,str){
    //allow wStrings as parameters
    if(str.wString) str = str.cp.join('');
    if(target.wString) target = target.cp.join('');
    return T.toString().replace(target,str);
  };

  T.equals = function(s){
    if(!s.wString){
      s = sortSurrogates(s);
      T.cp = s;
    }else{
        T.cp = s.cp;
    }
    T.length = T.cp.length;
  };

  T.toString = function(){return T.cp.join('');};
//end prototype functions

  T.equals(str)
};

Результаты теста:

// plain string
var x = "0123456789";
alert(x);                    // 0123456789
alert(x.substr(4,5))         // 45678
alert(x.substring(2,4))      // 23
alert(x.replace("456","x")); // 0123x789
alert(x.length);             // 10

// wString object
x = new wString("????????????????????????????????????????");
alert(x);                    // ????????????????????????????????????????
alert(x.substr(4,5))         // ????????????????????
alert(x.substring(2,4))      // ????????
alert(x.replace("????????????","x")); // ????????????????x????????????
alert(x.length);             // 10