Публикации по теме 'pipeline'
Именованные кортежи: малоизвестный помощник по машинному обучению
Отслеживание нескольких переменных может стать кошмаром при разработке машинного обучения. Вы часто обнаруживаете, что данные могут проходить через несколько функций, и им, возможно, потребуется знать настройки для правильного выполнения своей работы.
Часто вы обнаруживаете, что вам нужно сохранить некоторую информацию, когда вы проходите через конвейер машинного обучения. Наиболее распространенные способы сделать это:
Словари, в которых мы получаем доступ к данным через ключи (или..
Создание конвейера машинного обучения с обработкой утечки данных
Создание сквозного конвейера в машинном обучении (ML) включает несколько этапов, таких как предварительная обработка данных, обучение модели, оценка и развертывание. Однако одной из критических проблем, которая может повлиять на производительность модели, является утечка данных. Утечка данных происходит, когда для создания модели используется информация извне обучающих данных, что приводит к чрезмерно оптимистичным оценкам производительности.
В этой статье мы рассмотрим ключевые моменты,..
Бабель 7: оператор конвейера в Javascript
Оператор трубопровода
Сегодня функциональное программирование очень популярно в Javascript, особенно с учетом новых функций ECMAScript (таких как map , reduce , filter или стрелочные функции), и с использованием популярных библиотек, таких как lodash .
Одна из популярных функций предложения для следующей версии ECMAScript - оператор конвейера:
|>
Он уже существует во многих языках программирования и очень похож на каналы в Bash. Этот оператор обеспечивает..
Умная работа с цепочками моделей машинного обучения
Разработчики программного обеспечения уже давно нарезают свой код на модульные, повторно используемые части, которые они могут щелкнуть в любом приложении — вместо того, чтобы писать код с нуля для каждого нового контекста. Чтобы достичь такого уровня эффективности с помощью машинного обучения (ML), вам нужно сделать то же самое с вашими рабочими процессами ML.
Цепочка моделей (или конвейерная обработка) — это процесс разделения вашего рабочего процесса машинного обучения на..
11. Написание DAG хорошего воздушного потока (часть 2)
Мои личные заметки из книги «Конвейеры данных с Apache Airflow» Баса Харенслака и Джулиана де Руйтера — глава 4, часть 1
Введение
Эта серия постов подытоживает мои выводы из книги Баса Харенслака и Джулиана де Рюйтера. Если вам нравится контент, вы можете приобрести…
Предварительная обработка данных и проверка модели без утечки данных
Предварительная обработка данных и проверка модели без утечки данных
Исследователи данных понимают, что одной из самых больших угроз производительности наших моделей является утечка данных. Утечка данных происходит всякий раз, когда наши модели получают данные, которых нет в наборе обучающих данных. Иногда мы непреднамеренно помогаем обучению модели информацией, которую нельзя получить только из данных обучения, и в итоге получаем слишком радужную оценку точности нашей модели...
Создание конвейера транзакционных данных с инкрементной загрузкой данных на AWS — Часть 1
Использование базы данных MySQL и сервисов AWS
Транзакционные базы данных являются фундаментальным инструментом в мире управления данными. Эти типы баз данных предназначены для обработки больших объемов данных и обеспечивают надежный способ хранения и извлечения информации. Термин «транзакция» относится к группе связанных баз данных…
