Публикации по теме 'vectorization'
Маркировка и классификация тем авиакомпаний: использование скрытого распределения Дирихле (LDA)
Пошаговое руководство по маркировке и классификации тем с использованием методов машинного обучения.
Обозначение тем для авиакомпаний - мой заключительный проект в 12-недельной интенсивной программе с General Assembly. Цель проекта - изучить, как мы можем улучшить процесс работы с неструктурированными текстовыми данными с помощью разметки тем.
Оглядываясь назад, я присоединился к программе с базовыми знаниями программирования на Python из курса, который я прошел на Udemy. На самом..
Текстовая токенизация и векторизация в НЛП
Уровень статьи: средний
Мои клиенты часто спрашивают меня об особенностях тех или иных методов предварительной обработки данных, зачем они нужны и когда их использовать. Я расскажу о нескольких распространенных (и не очень) методах предварительной обработки в серии статей на эту тему.
В этой серии о предварительной обработке:
Стандартизация данных — Краткое объяснение — для начинающих Нормализация данных — Краткое объяснение — для начинающих Горячее кодирование —..
Оптимизация string.Count от LINQ до аппаратно ускоренных векторизованных инструкций
Меня всегда очень интересовала оптимизация кода, даже когда в достижении наилучшего возможного времени выполнения на самом деле нет необходимости - я считаю, что попытки улучшить свой код и выжать как можно больше производительности могут быть одновременно забавным и полезным упражнением для обучения.
Недавно я переписал простой метод подсчета количества вхождений данного char в строку , и при этом у меня также была возможность поэкспериментировать с векторизованными инструкциями,..
Bag-of-Words: простейший процесс извлечения признаков в НЛП
Какие?
Модель мешка слов (BoW) – это простейшее представление текстового документа, основанное на частоте использования слов и фиксированном объеме словарного запаса.
Почему?
Для некоторых алгоритмов машинного обучения мы не можем передавать текст непосредственно в модель для обучения или тестирования. Итак, мы можем преобразовать текстовый документ в векторы признаков, используя BoW.
Как?
BoW слов необходимо создать словарь из входных текстов, тогда для каждого ввода он будет..
Можно ли научить машины правильно различать кредиты и кредитные карты ?
Экономия времени — это то, что машины делают лучше всего. Представьте, что у вас есть суперсила, позволяющая за считанные секунды найти интересующий вас материал среди множества случайных постов.
Это именно то, к чему стремился мой проект, используя передовые инструменты обработки естественного языка для правильного определения тем, к которым относится сообщение Reddit.
Для этого проекта были выбраны две очень похожие темы («Кредиты» и «Кредитные карты»). Это должно было создать модель,..
Вопросы по теме 'vectorization'
Как сравнить все элементы двух массивов?
У меня есть два больших массива примерно с 1000 строками и 1000 столбцами. Мне нужно сравнить каждый элемент этих массивов и сохранить 1 в другом массиве, если соответствующие элементы равны.
Я могу сделать это с помощью циклов for, но это займет...
95442 просмотров
schedule
24.04.2023
MATLAB: сравнение массивов ячеек строки
У меня есть два массива ячеек строк, и я хочу проверить, содержат ли они одинаковые строки (они не обязательно должны быть в одном порядке, и мы не знаем, имеют ли они одинаковую длину).
Например:
a = {'2' '4' '1' '3'};
b = {'1' '2' '4' '3'};...
27178 просмотров
schedule
11.08.2022
Ошибки компилятора при создании проекта, использующего Eigen, библиотеку шаблонов C ++ для линейной алгебры.
в моем проекте я использую библиотеку Eigen C ++ для линейной алгебры и ТОЛЬКО когда я включаю флаги векторизации (mfpu = neon -mfloat-abi = softfp) для ARM NEON, я получаю ошибки компилятора . Я не могу понять, что не так. Нужно ли мне включать...
1973 просмотров
schedule
08.03.2023
Можно ли векторизовать рекурсивное вычисление массива NumPy, где каждый элемент зависит от предыдущего?
T(i) = Tm(i) + (T(i-1)-Tm(i))**(-tau(i))
Tm и tau - это векторы NumPy той же длины, которая была вычислена ранее, и желательно создать новый вектор T . i включен только для того, чтобы указать индекс элемента для желаемого.
Нужен ли в...
10034 просмотров
schedule
27.12.2023
Векторизовать Numpy, используя списки в качестве аргументов
Функция numpy vectorize полезна, но она плохо себя ведет, когда аргументами функции являются списки, а не скаляры. В качестве примера:
import numpy as np
def f(x, A):
print "type(A)=%s, A=%s"%(type(A),A)
return sum(A)/x
X =...
7296 просмотров
schedule
22.10.2022
MATLAB векторизовать
Мне было интересно, может ли кто-нибудь помочь мне векторизовать этот фрагмент кода.
fr_bw — это матрица.
for i=1:height
for j=1:width
[min_w, min_w_index] = min(w(i,j,:));
mean(i,j,min_w_index) =...
473 просмотров
schedule
02.07.2022
Как избежать огромного дополнительного потребления памяти при использовании векторизации numpy?
Этот код ниже лучше всего иллюстрирует мою проблему:
Вывод на консоль (обратите внимание, запуск даже первого теста занимает около 8 минут) показывает, что выделения массива 512x512x512x16-бит потребляют не больше, чем ожидалось (256 МБ для...
1290 просмотров
schedule
14.12.2023
Почему GCC не автоматически векторизует этот цикл?
Я пытаюсь оптимизировать цикл, на который приходится большая часть времени вычислений моей программы.
Но когда я включаю автоматическую векторизацию с помощью -O3 -ffast-math -ftree-vectorizer-verbose=6, GCC выводит, что он не может векторизовать...
4324 просмотров
schedule
11.03.2023
Matlab: Repmat и ортогональные векторы
У меня есть три вектора, которые ортогональны
b_vect = [1 2]
L_vect = [10 20 30]
f_vect = [100 200 300]
и я хотел бы выполнять операции элемента для элемента. Я использую repmat для дублирования векторов по другим измерениям, чтобы...
687 просмотров
schedule
17.06.2023
r: цикл for с вложенными индексами работает очень медленно
У меня есть операция, которую я хотел бы выполнить для каждой строки фрейма данных, изменив один столбец. Я человек apply/ddply/sqldf, но я буду использовать циклы, когда они имеют смысл, и я думаю, что это один из таких случаев. Этот случай сложен,...
1274 просмотров
schedule
27.06.2022
Как вычислить быстрое внешнее произведение между двумя матрицами в Matlab?
У меня есть две матрицы размером n на m, A и B . Я хочу создать новую матрицу C , которая выглядит примерно так:
for i = 1:n
C = C + outerProduct(A(i,:), B(i,:));
end
т.е. C - это матрица размера m x m, сумма всех внешних...
11892 просмотров
schedule
22.04.2022
Компилятор Microsoft C ++: как отключить автоматическую векторизацию с помощью / O2?
Как отключить автоматическую векторизацию (SSE2) глобально или для определенного цикла for без возврата к / Od в MSVS 2010?
Я пробовал все 3 возможных варианта для Enable Enhanced Instruction Set , включая "Не задано", но безрезультатно.
P....
2199 просмотров
schedule
04.10.2022
Matlab: поиск строк в матрице с фиксированным первым и последним элементом с векторизацией
У меня есть матрица, подобная следующей (произвольные столбцы/строки):
1 0 0 0 0
1 2 0 0 0
1 2 3 0 0
1 2 3 4 0
1 2 3 4 5
1 2 5 0 0
1 2 5 3 0
1 2 5 3 4...
1149 просмотров
schedule
18.08.2023
Справочник отчетов о векторизации для компилятора Intel C++ в VS 10
В VS 10 я установил «Уровень диагностики векторизатора» на «n = 2» и «Фаза диагностики оптимизации» на «hpo», как указано в «Руководстве по векторизации с компиляторами Intel C++». Однако (это может быть глупый вопрос), где этот отчет? Нет ничего,...
749 просмотров
schedule
30.08.2022
Сведение матрицы в MATLAB с индексами
У меня есть матрица X e.g = [a b; c d; e f] .
Мне нужно создать еще одну матрицу, в которой перечислены позиции индекса и значения матрицы.
например Выход E = [ 1 1 a ; 1 2 b ; 2 1 c ; 2 2 d ; 3 1 e ; 3 2 f ]
Я пытался использовать...
843 просмотров
schedule
07.03.2024
R: Применить FUN к kxk подразделам массива
Язык Р.
У меня есть матрица nxm, и я хотел бы разделить ее на секции 3x3 и вычислить среднее значение (или любую функцию) в каждой. (Если остался бит, отличный от 3x3, используйте только то, что осталось).
Я уверен, что есть apply способ...
470 просмотров
schedule
28.10.2022
R: найти ближайший индекс
У меня есть два вектора с несколькими тысячами точек, но здесь они обобщены:
A <- c(10, 20, 30, 40, 50)
b <- c(13, 17, 20)
Как получить индексы A , ближайшие к b ? Ожидаемый результат будет c(1, 2, 2) .
Я знаю, что...
4928 просмотров
schedule
21.05.2024
кодирование векторами с использованием инфраструктуры Accelerate
Я впервые играю с фреймворком Accelerate с целью внедрить некоторый векторизованный код в приложение iOS. Я никогда не пытался делать что-либо в отношении работы с векторами в Objective C или C. Имея некоторый опыт работы с MATLAB, я задаюсь...
1481 просмотров
schedule
20.11.2022
Векторизация симуляции
Пытаясь сосредоточиться на векторизации, пытаясь ускорить некоторые симуляции, я нашел очень простую симуляцию эпидемии. Код взят из книги http://www.amazon. com/Introduction-Scientific-Programming-Simulation-Using/dp/1420068725/ref=sr #program...
535 просмотров
schedule
11.07.2022
Выполнение расчетов данных в одном столбце и перемещение результата в другой в Excel.
Я впервые использую VBA, поэтому я совсем не разбираюсь в синтаксисе excel VBA (ранее я изучал C++ и Matlab).
Я пытаюсь взять столбец данных, выполнить несколько простых вычислений (например, умножить на 3) и поместить его в новый столбец....
2205 просмотров
schedule
12.08.2022
