Публикации по теме 'bloom-filter'


[Структуры данных - Контроль качества - 3 мин.] Фильтры Блума
Немного контроля качества, чтобы лучше понять фильтры Блума В: Я только что прочитал о существовании структуры данных под названием фильтр Блума, для чего ее можно использовать Фильтр Блума можно использовать для эффективного решения проблемы Set Presence. В. В чем заключается проблема "Установить присутствие" Предположим, у вас есть набор (однородных) элементов и один элемент запроса, проблема состоит в том, чтобы проверить, присутствует ли элемент запроса в Set В: Это..

ФИЛЬТР БЛУМА В РЕКОМЕНДАЦИИ ПО ОБЪЯВЛЕНИЮ
Фильтр Блума в рекомендациях по рекламе Я работаю в команде, которая разрабатывает алгоритмы для рекомендации рекламы в Tokopedia. Мы ежедневно измеряем производительность наших алгоритмов. Во время одного из таких упражнений по измерению эффективности мы столкнулись с серьезной проблемой в нашей системе - мы заметили, что одни и те же объявления рекомендуются нашим покупателям неоднократно, несмотря на их низкую эффективность. Как мы это нашли? Что ж, количество показов рекламы..

Что такое Tok-K и как это делается в модуле RedisBloom?
Задний план Вы можете задаться вопросом, следует ли использовать в своем коде более вероятностные структуры данных. Ответ, как всегда, зависит от обстоятельств. Если ваш набор данных относительно невелик и у вас есть необходимая память, сохранение еще одной копии данных в индексе может иметь смысл. Вы сохраните 100% точность и получите быстрое выполнение. Однако, когда набор данных становится значительным, ваше текущее решение скоро превратится в медленную загрузку памяти,..

Экспонирование фильтров Блума
Фильтр Блума — это компактная вероятностная структура данных (…), в которой запрос возвращает либо «возможно, в наборе», либо «определенно не в наборе». Википедия На днях я совершенно случайно обнаружил фильтры Блума. Я не знал, что вероятностные структуры данных вообще могут существовать, и, более того, что они могут иметь какое-либо практическое применение в реальном мире, и с тех пор я немного читал о них и о том, как максимально использовать их в ситуациях с много данных, где..

Вопросы по теме 'bloom-filter'

Есть ли способ определить m на основе эвристической теоремы с учетом этой реализации?
Блум предложил этот метод для приложений, в которых объем исходных данных потребовал бы непрактично большого объема памяти, если бы применялись «обычные» безошибочные методы хеширования. Он привел пример алгоритма расстановки переносов для словаря из...
33 просмотров
schedule 11.09.2022

Можно ли использовать фильтр цветения гуавы putAll для создания нового фильтра цветения большего размера?
Google guava имеет реализацию классического фильтра Блума. Его создание включает в себя указание количества вставок и ожидаемой вероятности ложного срабатывания. Я хочу знать, соответствует ли putAll может использоваться для создания нового...
86 просмотров
schedule 02.04.2023

Хэш фильтра Блума возвращает слишком много коллизий
Я пытался реализовать свой собственный (простой) фильтр Блума, но застрял на хешировании, я понимаю концепцию хеширования элемента несколько раз и заполнения битового массива индексами. Однако я вижу массу коллизий в моем хешировании, я использую 1...
120 просмотров

Redis: определение ключей, которые встречаются более одного раза, с минимальным использованием оперативной памяти.
Я работаю над приложением, которое хочет проанализировать ~ один миллиард 250-байтовых ключей, чтобы определить подмножество тех ключей, которые встречаются в наборе данных более одного раза. Загвоздка в том, что не все ключи помещаются в основную...
82 просмотров

Можно ли использовать фильтры Bloom Filters в BigTable для фильтрации только по идентификатору строки?
BigTable использует фильтры Блума, чтобы разрешить точечное чтение, чтобы избежать доступа к таблицам SSTables, которые не содержат никаких данных в данной паре ключ-столбец. Можно ли использовать эти фильтры Блума, чтобы избежать доступа к SSTables,...
615 просмотров

Преобразование из псевдокода в C
Вот моя структура typedef struct { int k; //num of hash functions int m; //num of filter's bit int* hashSeeds; //seed of k hash functions bool* filter; //filter } BloomFilter; //Initializated as BloomFilter...
96 просмотров