Публикации по теме 'feature-engineering'


Classetfy - автоматический классификатор киберактивов
Неудивительно, что кибербезопасность - одна из самых важных проблем для каждой компании, а также для всей организации. Чтобы противостоять хакерским атакам, консалтинговая компания, с которой я работаю, имитирует хакеров, чтобы помочь своим клиентам улучшить кибербезопасность. Сначала они обнаруживают доступные киберактивы с более чем 60 000 ботов для утилизации, которые развернуты по всему миру. Чтобы автоматически идентифицировать поверхности атаки, основным шагом является классификация..
[Проект] Прогнозирование рака молочной железы с помощью машинного обучения
Это был мой третий проект в Metis Data Science, завершенный в середине 12-недельного буткемпа. Я многому научился на этом опыте, не только благодаря учебной программе и инструкторам, но и благодаря своим замечательным сверстникам. Для этого проекта «Обучение с учителем — классификация» диапазон охватываемых тем и масштабов был весьма вдохновляющим. Недавно система искусственного интеллекта Google превзошла человеческую точность в испытаниях, опубликованных в статье Nature здесь ...
Как справиться с выбросами в машинном обучении
Всем привет!!!! Самым важным этапом в разработке функций является обработка выбросов, поскольку она обеспечивает обучение нашей модели на точных данных, что приводит к созданию точных моделей. Сегодня мы рассмотрим, что такое выбросы, их причины и последствия, различные способы их выявления и, наконец, различные методы борьбы с ними с помощью примеров кода. Пример кода и набор данных для этой статьи доступны здесь . Что такое выброс? Точка данных, которая сильно отличается от..
Изучение культуры питания в Мельбурне с помощью Foursquare API и K-Means Clustering
Использование неконтролируемого алгоритма машинного обучения для сегментации пригородов на основе культуры питания в Мельбурне. Введение Мельбурн известен как гастрономическая столица Австралии. Он считается мультикультурным плавильным котлом, поскольку здесь проживает более 200 национальностей, отсюда и такое же количество кулинарных вдохновений. Цитата из статьи о культуре питания Мельбурна: «Нет настоящего мельбурнского блюда или кухни. Скорее, выбор еды в городе..
SageMaker Fridays Season 3, Episode 3 — Управление инженерными функциями с помощью SageMaker Feature Store
В этом эпизоде ​​мы создадим модель анализа настроений, начиная с набора данных Amazon Customer Reviews. Сначала мы импортируем набор данных в формате Parquet в Amazon Athena. Затем мы импортируем его из Athena в SageMaker Data Wrangler для быстрого просмотра. Затем мы переходим к блокноту Jupyter и начинаем разрабатывать функции, используя популярные библиотеки с открытым исходным кодом (nltk и spaCy), и автоматизируем их с помощью SageMaker Processing. Затем мы загружаем обработанный..
ИСКУССТВО ВЫБОРА ФУНКЦИЙ В МАШИННОМ ОБУЧЕНИИ
Все, кто имел опыт создания моделей машинного обучения, знают, что настоящую игру играют данные. Я имею в виду, что вы не можете прожить ни секунды без данных. С самого первого момента, когда вы начинаете строить свою модель, все, что вы на самом деле делаете, это играете со своими наборами данных, верно? Но что, если в данных, которые вы используете, есть всевозможные ошибки, не что иное, как кошмар, не так ли? Все начинается с этих наборов данных, которые мы получаем. Можно..
Повысьте точность модели машинного обучения с помощью преобразования числовой переменной в Pytorch
Повысьте точность модели машинного обучения с помощью преобразования числовой переменной в Pytorch Эта история представляет собой полное руководство по внедрению техники трансформации и повышению точности с помощью кода в Pytorch. Обзор 📙 Многие специалисты по машинному обучению застревают в улучшении производительности своих моделей при прогнозировании. В основном они сосредотачиваются на использовании более мощной модели SOTA и получают компромисс с более длительным временем..