Публикации по теме 'sparse-matrix'
Что такое разреженные данные и как с ними работать?
В этой статье я расскажу о разреженных данных и о том, как с ними работать. Сначала я бы рассказал, что такое разреженные данные, а затем мы продолжили бы обсуждение работы с такими экземплярами.
Что такое Разреженные данные?
Данные, которые в основном содержат неиспользуемые данные, называются разреженными данными. С точки зрения непрофессионала, переменная с разреженными данными — это та, в которой относительно высокий процент ячеек переменной не содержит фактических данных ...
Стохастический градиентный спуск для разреженных данных
Во время учебы в магистратуре мне было поручено построить модель, которая будет предсказывать клики по мобильному объявлению на основе большого набора данных из Kaggle . Во время занятий мы изучили стохастический градиентный спуск (SGD) и наивный байесовский метод, и, следовательно, эти методы должны были использоваться в задании. Нам также сказали, что мы будем бороться с размером набора данных, и проще всего будет реализовать алгоритмы с нуля, используя разреженность данных. Именно..
Выявление пользователей с хорошими связями в неориентированном графике
Эта публикация в первую очередь посвящена тому, как использовать неориентированный граф и реализацию Scipy's Sparse Matrix (COO) для хранения данных и анализа пользовательских подключений посредством подсчета треугольников.
Недавно я подумал, что у одного из моих бывших работодателей была социальная сеть, похожая на Facebook, поэтому было огромное количество данных, которые не могли дождаться анализа. Социальная сеть была достаточно зрелой, хорошо развитой и, что самое главное, также..
Вопросы по теме 'sparse-matrix'
Самый зрелый пакет разреженных матриц для R?
Есть по крайней мере два пакета разреженных матриц для R. Я изучаю их, потому что работаю с наборами данных, которые слишком велики и разрежены, чтобы поместиться в памяти с плотным представлением. Мне нужны базовые процедуры линейной алгебры, а...
9183 просмотров
schedule
22.06.2022
доступ к элементу boost sparse_matrix, кажется, останавливает программу
У меня есть странная ошибка, о которой я надеюсь, что более опытный программист может что-то понять. Я использую разреженные матрицы boost ublas, в частности mapped_matrix, и периодически возникает ошибка, которая возникает в конечном итоге, но не на...
373 просмотров
schedule
24.06.2023
Кодирование паттернов в 2D-пространстве (матрица)
У меня есть сетка 2D MxN (или матрица). Ячейки в матрице могут содержать целое число. Говорят, что ячейка с ненулевым целым числом заполнена. Набор заполненных ячеек в матрице известен как «конфигурация».
Я хочу придумать алгоритм кодирования...
553 просмотров
schedule
09.06.2023
Программа совместной фильтрации: что делать с оценкой Пирсона, когда данных недостаточно
Я создаю механизм рекомендаций, используя совместную фильтрацию. Для оценок сходства я использую корреляцию Пирсона. В большинстве случаев это здорово, но иногда у меня есть пользователи, которые используют только 1 или 2 поля. Например:
User...
3100 просмотров
schedule
17.07.2022
Как я могу создать серию месяцев, чтобы присоединить к ним разреженные данные?
Я думаю, что это довольно распространенная проблема, но я не знаю, как называется процесс, поэтому опишу это на примере. Идея состоит в том, что я хочу присоединить разреженный набор данных к полному ряду, например, дням недели, месяцам года или...
8319 просмотров
schedule
21.06.2022
Как я могу эффективно заполнить сетку N x M с помощью Perl?
У меня есть сценарий Perl, который анализирует файл данных и записывает 5 выходных файлов, заполненных сеткой 1100 x 1300. Скрипт работает, но на мой взгляд корявый и скорее всего неэффективный. Скрипт также является унаследованным кодом, который я...
624 просмотров
schedule
12.05.2023
Функция matlab cell2mat() с массивом ячеек, имеющим кучу разреженных матриц, неожиданно переполняет память
Я получаю странное поведение в отношении памяти с помощью Matlab и функции cell2mat()...
что я хотел бы сделать, это:
cell_array_outer = cell(1,N)
parfor k = 1:N
cell_array_inner = cell(1,M);
for i = 1:M
A =...
1734 просмотров
schedule
20.11.2023
Умножение разреженных матриц, например (maxmin) в C++, с использованием библиотек Octave.
Я реализую функцию maxmin, она работает как умножение матриц, но вместо суммирования продуктов она получает максимум минимума между двумя числами поточечно. Пример наивной реализации:
double mx = 0;
double mn = 0;
for (i = 0; i < rowsC;i++)
{...
1263 просмотров
schedule
16.09.2022
эффективное вычисление Trace(AB^{-1}) с учетом A и B
У меня есть две квадратные матрицы A и B. A симметрична, B симметрична положительно определена. Я хотел бы вычислить $trace(A.B^{-1})$. Сейчас я вычисляю разложение Холецкого для B, решаю C в уравнении $A=C.B$ и суммирую диагональные элементы....
789 просмотров
schedule
21.11.2022
Как я могу эффективно инициализировать этот разреженный массив в Mathematica?
Я пытаюсь решить довольно большую задачу линейного программирования в Mathematica, но по какой-то причине узким местом является настройка массива линейных ограничений.
Мой код для инициализации матрицы выглядит так:
AbsoluteTiming[S =...
1678 просмотров
schedule
19.04.2023
как Matlab решает большие, симметричные и разреженные линейные системы
То есть, когда я делаю A\b для очень большого, симметричного и разреженного A, какой алгоритм использует Matlab?
4293 просмотров
schedule
31.05.2023
Создайте разреженную диагональную матрицу из строки разреженной матрицы
Обрабатываю довольно большие матрицы в Python / Scipy. Мне нужно извлечь строки из большой матрицы (которая загружается в coo_matrix) и использовать их как диагональные элементы. В настоящее время я делаю это следующим образом:
import numpy as...
2313 просмотров
schedule
06.10.2022
что не так с импортом модулей в scipy, это ошибка?
хорошо, я не думаю, что могу объяснить эту проблему словами, поэтому вот фрагмент сеанса ipython, где я импортирую scipy, чтобы построить разреженную матрицу.
In [1]: import scipy as sp
In [2]: a = sp.sparse.lil_matrix((5,5))...
12348 просмотров
schedule
03.05.2023
Нанесите PCA на очень большую разреженную матрицу
Я выполняю задачу классификации текста с помощью R и получаю матрицу терминов документа размером 22490 на 120 000 (всего 4 миллиона ненулевых записей, менее 1% записей). Теперь я хочу уменьшить размерность, используя PCA (анализ главных компонентов)....
10643 просмотров
schedule
27.10.2023
Вычисление разреженных данных с использованием GPU
Я вычисляю функцию f ( x ) = exp(- x ) в Matlab, где x — вектор скаляров. Функция вычисляется на GPU, например.
x_cpu = [4 5 11 1];
x = gpuArray(x_cpu);
f = exp(-x);
тогда результат будет:
f = exp(-[4, 5, 11, 1]) = [0,183, 0,0067,...
3518 просмотров
schedule
21.10.2022
MATLAB nnmf() - большая матрица терминов-документов - проблема с памятью и скоростью
У меня есть большая матрица терминов-документов, и я хочу использовать неотрицательную матричную факторизацию, которую предлагает Matlab. Проблема в том, что после 1-й итерации использование памяти быстро растет и достигает максимума (в моей системе...
1372 просмотров
schedule
03.06.2022
scipy.sparse : Установить строку в нули
Предположим, у меня есть матрица в формате CSR, как наиболее эффективно установить строку (или строки) в нули?
Следующий код работает довольно медленно:
A = A.tolil()
A[indices, :] = 0
A = A.tocsr()
Мне пришлось преобразовать в...
4734 просмотров
schedule
17.07.2022
Умножение элементов в разреженном массиве со строками в матрице
Если у вас есть разреженная матрица X:
>> X = csr_matrix([[0,2,0,2],[0,2,0,1]])
>> print type(X)
>> print X.todense()
<class 'scipy.sparse.csr.csr_matrix'>
[[0 2 0 2]
[0 2 0 1]]
И матрица Y:
>> print...
3848 просмотров
schedule
18.06.2022
Реализация pLSA для разреженной матрицы
Я пытаюсь реализовать алгоритм pLSA, предложенный Томасом Хоффманом (1999). Однако все реализации, которые я нашел, рассматривают матрицу входных терминов как полную, а не как разреженную. Поскольку моя входная матрица довольно большая и...
750 просмотров
schedule
16.08.2022
Разреженная матрица в R с использованием библиотеки irlba
У меня есть большие данные в моей базе данных. Мне нужно создать матрицу размером 600 000 x 20 000 или около того, но многие ячейки будут пустыми. Как я могу использовать этот язык программирования R для создания моей матрицы или с помощью методов...
1074 просмотров
schedule
25.10.2022
