Публикации по теме 'joblib'


Сохраните модель машинного обучения с помощью pickle или joblib.
Итак, у вас есть модель, которую вы только что создали сами. В большинстве случаев ваша модель будет иметь много функций и большое количество записей. В таких случаях переобучение модели каждый раз, когда вы хотите увидеть, как она работает, становится утомительной задачей. Вот где становится необходимостью сохранить вашу модель в файл. Вы можете сделать это двумя способами. Один из способов — использовать собственный модуль pickle Python, который позволяет распарывать файл с помощью..

Как перезагрузить обученные модели на Kaggle
Руководство по экономии времени при работе с моделями на Kaggle Как сохранить сеансы Kaggle? Kaggle — альтернатива, а иногда и лучший вариант, чем Google Colab. Однако, если вы не знакомы с основами, работа над Kaggle может вызвать у вас мигрень. Я расскажу вам об основных функциях, которые необходимо знать новичкам в Kaggle. Блокноты Kaggle работают как Git (если вы не знаете, как работает Git, самое время открыть другую вкладку 😃). В Git каждый раз при фиксации файла сохраняется..

Вопросы по теме 'joblib'

Запоминание SQL-запросов
Скажем, у меня есть функция, которая запускает SQL-запрос и возвращает кадр данных: import pandas.io.sql as psql import sqlalchemy query_string = "select a from table;" def run_my_query(my_query): # username, host, port and database are...
1287 просмотров
schedule 14.06.2022

Многопроцессорность Python (joblib) лучший способ передачи аргументов
Я заметил огромную задержку при использовании многопроцессорной обработки (с joblib). Вот упрощенная версия моего кода: import numpy as np from joblib import Parallel, delayed class Matcher(object): def match_all(self, arr1, arr2):...
4498 просмотров

многопроцессорный код Python
Когда я пытаюсь распараллелить код Python, я получаю ошибку утверждения. Вот код: check = Parallel(n_jobs=ncpu)(delayed(removeident)(h) for h in splitframe) по отдельности каждый элемент (h) в разделенном кадре хорошо работает с функцией...
331 просмотров
schedule 18.10.2022

Обходной путь для исключения 32-/64-битной сериализации в модели sklearn RandomForest
Если мы сериализуем модель randomforest с помощью joblib на 64-битной машине, а затем распаковываем на 32-битной машине, возникает исключение: ValueError: Buffer dtype mismatch, expected 'SIZE_t' but got 'long long' Этот вопрос задавался...
1584 просмотров

Устаревший модуль Scikit-learn предотвращает его загрузку из joblib
У меня есть скрытая марковская модель, которая была обработана с помощью joblib с использованием модуля sklearn.hmm. Судя по всему, в версии 0.17.x этот модуль устарел и перемещен в hmmlearn. Я не могу загрузить модель и получаю следующую ошибку:...
540 просмотров
schedule 04.05.2022

Могу ли я использовать несколько процессоров в matplotlib для ускорения построения множества подграфиков и точек данных?
Я создаю одну фигуру с примерно сотней подграфиков/осей, каждая с несколькими тысячами точек данных. В настоящее время я просматриваю каждый подзаголовок и использую plt.scatter для размещения точек. Однако это довольно медленно. Можно ли...
2519 просмотров

Распараллеливание четырех вложенных циклов в Python
У меня есть довольно простой вложенный цикл for, который выполняет итерацию по четырем массивам: for a in a_grid: for b in b_grid: for c in c_grid: for d in d_grid: do_some_stuff(a,b,c,d) # perform...
12409 просмотров

Загружать и прогнозировать новые данные sklearn
Я обучил логистическую модель, провел перекрестную проверку и сохранил ее в файл с помощью модуля joblib. Теперь я хочу загрузить эту модель и предсказать с ее помощью новые данные. Это правильный способ сделать это? Особенно стандартизация....
13202 просмотров

Как добиться параллелизма GPU с помощью тензорного потока?
Я пишу программу сопоставления строк на основе графических процессоров, используя возможности редактирования тензорного потока . Зная совпадающую часть, я извлечу детали, а затем сохраню их в таблице данных, которая в конечном итоге будет...
628 просмотров

joblib для параллельного вычисления цикла for, получаю ошибку: «Задание отправлено для десериализации»
Я использую joblib для параллельного цикла for для моей собственной функции. from joblib import Parallel, delayed from my_function import my_case_study result = Parallel(n_jobs=4)(delayed(my_case_study)(i) for i in range(100)) Итак,...
202 просмотров

Исключение в потоке QueueManagerThread - scikit-learn
Когда я устанавливаю n_jobs = -1 , я получаю сообщение об ошибке, и если я устанавливаю n_jobs равным большое значение (n_jobs = 100), но если устанавливаю меньшее значение (например, n_jobs = 32), работает нормально. Я пробовал переустановить...
1882 просмотров

Сделайте рандомизированный поиск по сетке параллельным в программе оценки sklearn с помощью joblib
Я пытаюсь запустить рандомизированный поиск по сетке в оценщике sklearn, но я не хочу выполнять перекрестную проверку, потому что у меня уже есть разделение на поезд / проверку / тест для моих данных. Я создал функцию для запуска рандомизированного...
1601 просмотров

Joblib, Parallel и batch_size
Допустим, у меня есть генератор/список размером 50000. И я хочу использовать его как: batches = range(0, 50001) Parallel(n_jobs=multiprocessing.cpu_count(), verbose=100, backend="threading", batch_size=?,...
190 просмотров
schedule 18.10.2022

Произошло исключение: ModuleNotFoundError при распаковке объектов (с использованием укропа, маринада или joblib)
Я установил конвейер sklearn, и теперь, когда мне нужно его развернуть, я замариновал свой конвейер (попробовал также joblib и укроп). Когда я извлекаю его в другой среде, в которой есть такая же версия укропа, маринада и питона, у меня возникает...
1343 просмотров
schedule 04.05.2024

Невозможно импортировать Sklearn из sklearn.externals.joblib
Я новичок и только начал заниматься машинным обучением. Я пытаюсь импортировать классы типа imputer из sklearn , но не могу этого сделать. from sklearn.preprocessing import Imputer,LabelEncoder,OneHotEncoder,StandardScaler...
12767 просмотров
schedule 27.06.2023

joblib.Parallel повторно использует сгенерированные числа вместо повторного выполнения для каждого процесса
У меня есть много процессов, каждый из которых может занять до 20 минут и использует 100% ЦП. Я новичок в многопроцессорной обработке, и я решил использовать joblib, так как он позволяет мне выполнять многопроцессорную обработку без многопоточности...
180 просмотров
schedule 21.05.2023

Как сохранить разработанную модель в ML
После построения модели мы сохраняем модель, чтобы делать прогнозы в реальном времени. Но сохранить модель будет просто, если нет разработки функций, например, скажем, я сделал несколько chisquare, Randomforest, чтобы получить некоторые функции,...
36 просмотров
schedule 15.01.2023

Pyinstaller не компилирует joblib
У меня есть код, который загружает файл joblib и отлично работает в моей среде IDE. Однако при создании exe с помощью pyinstaller это не удается. Это какой-то тестовый код: from joblib import load print('imported joblib')...
127 просмотров
schedule 14.02.2023

Как использовать joblib.Parallel() для распараллеливания цикла с продолжением в нем?
Допустим, у меня есть цикл, который «выводит» только при выполнении некоторого условия: output = [] for item in some_list: if condition(item): res = do_something(item) output.append(res) Из-за ограничений памяти я не могу...
1154 просмотров

Проблема с загрузкой модели ML, сохраненной с помощью joblib/pickle
Я сохранил файл Jupyter Notebook .pynb в формате .pickle , используя joblib. Моя модель ML построена с использованием pandas, numpy и библиотеки statsmodels python. Я сохранил подогнанную модель в переменную с именем fitted_model и вот...
548 просмотров