Публикации по теме 'joblib'
Сохраните модель машинного обучения с помощью pickle или joblib.
Итак, у вас есть модель, которую вы только что создали сами. В большинстве случаев ваша модель будет иметь много функций и большое количество записей. В таких случаях переобучение модели каждый раз, когда вы хотите увидеть, как она работает, становится утомительной задачей. Вот где становится необходимостью сохранить вашу модель в файл.
Вы можете сделать это двумя способами. Один из способов — использовать собственный модуль pickle Python, который позволяет распарывать файл с помощью..
Как перезагрузить обученные модели на Kaggle
Руководство по экономии времени при работе с моделями на Kaggle
Как сохранить сеансы Kaggle?
Kaggle — альтернатива, а иногда и лучший вариант, чем Google Colab. Однако, если вы не знакомы с основами, работа над Kaggle может вызвать у вас мигрень. Я расскажу вам об основных функциях, которые необходимо знать новичкам в Kaggle.
Блокноты Kaggle работают как Git (если вы не знаете, как работает Git, самое время открыть другую вкладку 😃). В Git каждый раз при фиксации файла сохраняется..
Вопросы по теме 'joblib'
Запоминание SQL-запросов
Скажем, у меня есть функция, которая запускает SQL-запрос и возвращает кадр данных:
import pandas.io.sql as psql
import sqlalchemy
query_string = "select a from table;"
def run_my_query(my_query):
# username, host, port and database are...
1287 просмотров
schedule
14.06.2022
Многопроцессорность Python (joblib) лучший способ передачи аргументов
Я заметил огромную задержку при использовании многопроцессорной обработки (с joblib). Вот упрощенная версия моего кода:
import numpy as np
from joblib import Parallel, delayed
class Matcher(object):
def match_all(self, arr1, arr2):...
4498 просмотров
schedule
24.12.2022
многопроцессорный код Python
Когда я пытаюсь распараллелить код Python, я получаю ошибку утверждения. Вот код:
check = Parallel(n_jobs=ncpu)(delayed(removeident)(h) for h in splitframe)
по отдельности каждый элемент (h) в разделенном кадре хорошо работает с функцией...
331 просмотров
schedule
18.10.2022
Обходной путь для исключения 32-/64-битной сериализации в модели sklearn RandomForest
Если мы сериализуем модель randomforest с помощью joblib на 64-битной машине, а затем распаковываем на 32-битной машине, возникает исключение:
ValueError: Buffer dtype mismatch, expected 'SIZE_t' but got 'long long'
Этот вопрос задавался...
1584 просмотров
schedule
10.01.2023
Устаревший модуль Scikit-learn предотвращает его загрузку из joblib
У меня есть скрытая марковская модель, которая была обработана с помощью joblib с использованием модуля sklearn.hmm. Судя по всему, в версии 0.17.x этот модуль устарел и перемещен в hmmlearn. Я не могу загрузить модель и получаю следующую ошибку:...
540 просмотров
schedule
04.05.2022
Могу ли я использовать несколько процессоров в matplotlib для ускорения построения множества подграфиков и точек данных?
Я создаю одну фигуру с примерно сотней подграфиков/осей, каждая с несколькими тысячами точек данных. В настоящее время я просматриваю каждый подзаголовок и использую plt.scatter для размещения точек. Однако это довольно медленно. Можно ли...
2519 просмотров
schedule
17.05.2023
Распараллеливание четырех вложенных циклов в Python
У меня есть довольно простой вложенный цикл for, который выполняет итерацию по четырем массивам:
for a in a_grid:
for b in b_grid:
for c in c_grid:
for d in d_grid:
do_some_stuff(a,b,c,d) # perform...
12409 просмотров
schedule
17.06.2022
Загружать и прогнозировать новые данные sklearn
Я обучил логистическую модель, провел перекрестную проверку и сохранил ее в файл с помощью модуля joblib. Теперь я хочу загрузить эту модель и предсказать с ее помощью новые данные. Это правильный способ сделать это? Особенно стандартизация....
13202 просмотров
schedule
05.05.2023
Как добиться параллелизма GPU с помощью тензорного потока?
Я пишу программу сопоставления строк на основе графических процессоров, используя возможности редактирования тензорного потока . Зная совпадающую часть, я извлечу детали, а затем сохраню их в таблице данных, которая в конечном итоге будет...
628 просмотров
schedule
19.05.2023
joblib для параллельного вычисления цикла for, получаю ошибку: «Задание отправлено для десериализации»
Я использую joblib для параллельного цикла for для моей собственной функции.
from joblib import Parallel, delayed
from my_function import my_case_study
result = Parallel(n_jobs=4)(delayed(my_case_study)(i) for i in range(100))
Итак,...
202 просмотров
schedule
11.06.2023
Исключение в потоке QueueManagerThread - scikit-learn
Когда я устанавливаю n_jobs = -1 , я получаю сообщение об ошибке, и если я устанавливаю n_jobs равным большое значение (n_jobs = 100), но если устанавливаю меньшее значение (например, n_jobs = 32), работает нормально. Я пробовал переустановить...
1882 просмотров
schedule
01.06.2023
Сделайте рандомизированный поиск по сетке параллельным в программе оценки sklearn с помощью joblib
Я пытаюсь запустить рандомизированный поиск по сетке в оценщике sklearn, но я не хочу выполнять перекрестную проверку, потому что у меня уже есть разделение на поезд / проверку / тест для моих данных. Я создал функцию для запуска рандомизированного...
1601 просмотров
schedule
30.07.2023
Joblib, Parallel и batch_size
Допустим, у меня есть генератор/список размером 50000. И я хочу использовать его как:
batches = range(0, 50001)
Parallel(n_jobs=multiprocessing.cpu_count(), verbose=100,
backend="threading", batch_size=?,...
190 просмотров
schedule
18.10.2022
Произошло исключение: ModuleNotFoundError при распаковке объектов (с использованием укропа, маринада или joblib)
Я установил конвейер sklearn, и теперь, когда мне нужно его развернуть, я замариновал свой конвейер (попробовал также joblib и укроп). Когда я извлекаю его в другой среде, в которой есть такая же версия укропа, маринада и питона, у меня возникает...
1343 просмотров
schedule
04.05.2024
Невозможно импортировать Sklearn из sklearn.externals.joblib
Я новичок и только начал заниматься машинным обучением. Я пытаюсь импортировать классы типа imputer из sklearn , но не могу этого сделать.
from sklearn.preprocessing import Imputer,LabelEncoder,OneHotEncoder,StandardScaler...
12767 просмотров
schedule
27.06.2023
joblib.Parallel повторно использует сгенерированные числа вместо повторного выполнения для каждого процесса
У меня есть много процессов, каждый из которых может занять до 20 минут и использует 100% ЦП. Я новичок в многопроцессорной обработке, и я решил использовать joblib, так как он позволяет мне выполнять многопроцессорную обработку без многопоточности...
180 просмотров
schedule
21.05.2023
Как сохранить разработанную модель в ML
После построения модели мы сохраняем модель, чтобы делать прогнозы в реальном времени. Но сохранить модель будет просто, если нет разработки функций, например, скажем, я сделал несколько chisquare, Randomforest, чтобы получить некоторые функции,...
36 просмотров
schedule
15.01.2023
Pyinstaller не компилирует joblib
У меня есть код, который загружает файл joblib и отлично работает в моей среде IDE. Однако при создании exe с помощью pyinstaller это не удается. Это какой-то тестовый код:
from joblib import load
print('imported joblib')...
127 просмотров
schedule
14.02.2023
Как использовать joblib.Parallel() для распараллеливания цикла с продолжением в нем?
Допустим, у меня есть цикл, который «выводит» только при выполнении некоторого условия:
output = []
for item in some_list:
if condition(item):
res = do_something(item)
output.append(res)
Из-за ограничений памяти я не могу...
1154 просмотров
schedule
13.05.2022
Проблема с загрузкой модели ML, сохраненной с помощью joblib/pickle
Я сохранил файл Jupyter Notebook .pynb в формате .pickle , используя joblib.
Моя модель ML построена с использованием pandas, numpy и библиотеки statsmodels python.
Я сохранил подогнанную модель в переменную с именем fitted_model и вот...
548 просмотров
schedule
27.10.2022