Категоризация данных на основе подписи данных

EDIT: это мой первоначальный ответ, который мы назовем случаем 1, где нет приоритета для ключей

Вы не можете сделать это как отсортированное целое число, потому что оно одномерно, а ваши данные многомерны. Так что «близость» в этом смысле не может быть установлена ​​на линии.

В вашем примере показаны птица, рыба и газировка для всех трех строк. Являются ли ключи фиксированными и известными? Если это не так, то ваш первый шаг — хешировать ключи строки, чтобы установить строки с одинаковыми ключами.

Что касается значений, считайте это уловкой сходства бедняков в субботу вечером. Хешируйте значения, любые две строки, которые совпадают в этом хеше, являются точным совпадением и представляют одно и то же «пятно», нулевое расстояние.

Если N — количество пар ключ/значение:

Ближайшая неточная «близость» будет означать совпадение N-1 из N значений. Таким образом, вы генерируете еще N хэшей, каждый из которых выбрасывает одно из значений. Любые две строки, совпадающие в этих хэшах, имеют N-1 из N общих значений.

Следующая ближайшая неточная «близость» будет означать совпадение N-2 из N значений. Таким образом, вы генерируете больше, чем N хэшей (я не могу понять двоичный код так поздно), на этот раз каждый хэш не включает комбинацию двух значений. Любые две строки, совпадающие в этих хэшах, имеют N-2 из N общих значений.

Так что вы можете видеть, куда это идет. В логическом пределе вы получите 2 ^ N хэшей, что не очень приятно, но я предполагаю, что вы не зайдете так далеко, потому что достигнете точки, когда слишком мало совпадающих значений будет считаться «далеко».

РЕДАКТИРОВАТЬ: чтобы увидеть, как мы не можем избежать многомерности, рассмотрим всего два ключа со значениями 1-9. Нанесите все возможные значения на график. Мы видим, что {1,1} близко к {2,2}, но также и что {5,6} близко к {6,7}. Итак, у нас мозговой штурм, мы говорим: Ага! Я рассчитаю расстояние каждой точки от начала координат по теореме Пифагора! Это упростит обнаружение как {1,1}, так и {2,2}. Но тогда две точки {1,10} и {10,1} получат одинаковое число, даже если они находятся на максимально возможном расстоянии друг от друга на графике. Итак, мы говорим, хорошо, мне нужно добавить угол для каждого. Две точки, находящиеся на одном и том же расстоянии, различаются своим углом, две точки, находящиеся под одним и тем же углом, различаются своим расстоянием. Но, конечно, теперь мы нанесли их на двухмерный график.

РЕДАКТИРОВАТЬ: Случай 2 будет иметь место, когда есть приоритет для ключей, когда ключ 1 более значим, чем ключ 2, который более важен, чем ключ 3 и т. д. В этом случае, если допустимые значения были AZ, вы должны были связать значения вместе, как если бы они были цифрами, чтобы получить сортируемое значение. ABC очень близка к ABD, но очень далека от BBD.

Если бы у вас было много данных и вы хотели бы сделать это хардкорно, я бы предложил статистический метод, такой как PLSA или PSVM, которые могут извлекать идентифицирующие темы из текста и идентифицировать документы с похожие темы вероятности.

Более простой, но менее точный способ сделать это — использовать Soundex, который доступен для многих языков. Вы можете сохранить soundex (который будет короткой строкой, а не целым числом, я боюсь) и искать точные совпадения с soundex, которые должны указывать на похожие строки.

Я думаю, что нереально ожидать, что функция превратит серию строк в целое число, так что целые числа рядом друг с другом сопоставляются с похожими строками. Самое близкое, что вы можете сделать, это вычислить контрольную сумму для каждого отдельного кортежа и сравнить контрольные суммы для новой строки с контрольными суммами существующих строк, но я предполагаю, что вы пытаетесь найти одно число, которое вы можете индексировать.