Контрольный список pdf | Подготовка данных | Исследовательский анализ данных | Сбор данных
Аналитический контрольный список - Руководство специалиста по анализу данных
Справочный контрольный список для профессионалов в области анализа данных
Если вы не планируете, вы планируете потерпеть неудачу. Каждый проект требует планирования. Построение модели машинного обучения ничем не отличается. В этой статье мы узнаем, как планировать действия по интеллектуальному анализу данных и какие шаги следует выполнять во время исследовательского анализа данных (EDA). Эта статья - не практическое руководство, а справочный контрольный список для профессионалов в области анализа данных. Он предоставит вам список соображений при построении модели машинного обучения.
Все мы слышали о CRISP-DM: межотраслевом стандартном процессе интеллектуального анализа данных. Это модель, которая описывает наиболее широко используемые подходы к анализу данных, и ей следует большинство экспертов по интеллектуальному анализу данных.
Контрольный список здесь разбит в соответствии с процессами CRISP-DM:
1. Деловое понимание:
Попробуйте задать эти вопросы, прежде чем погрузиться в анализ данных.
- Какую главную тему или проблему пытается решить этот проект?
- Есть ли у вас все данные для обсуждения этой темы, а если нет, можете ли вы их получить?
- Что должно быть самым важным результатом этого проекта?
- Кто ваши стейкхолдеры и почему этот проект для них ценен?
2. Понимание и подготовка данных:
Во-первых, спросите себя, доверяете ли вы источнику данных. Качество данных должно иметь первостепенное значение при выборе источников данных.
Анализ данных -
- Сколько наблюдений и функций в наборе данных?
- Пытаться разобраться в каждой особенности интуитивно? Обратитесь к метаданным, если они доступны.
- Имеют ли смысл значения для каждой функции и находятся ли они в правильном масштабе?
- Отсутствуют ли какие-либо данные, и ожидаете ли вы проблемы с отсутствием данных?
- Все ли функции создаются с использованием правильного типа данных?
Построить распределения -
- Постройте графики распределения для всех функций и посмотрите, имеет ли каждый из этих распределений смысл для вас.
- Ищите выбросы и разреженные данные.
- Если вы обнаружите какие-либо неожиданные распределения, присмотритесь к этим функциям.
Корреляции -
- Сегментируйте категориальные признаки и / или целевую переменную.
- Проверьте корреляцию между функциями, построив корреляционную матрицу.
Очистка данных -
- Отбросьте повторяющиеся наблюдения.
- Отбросьте все не относящиеся к делу наблюдения.
- Проверьте, есть ли какие-либо особенности, которые следует закодировать как бинарные индикаторные переменные. Например, такая функция, как «Пол», может быть закодирована как 1 для женщин и 0 для мужчин.
- Исправьте опечатки и непоследовательное использование заглавных букв в категориальных признаках.
- Проверьте классы в категориальных признаках, которые относятся к одному и тому же. (e .g. «Неприменимо» и «Неприменимо» означают одно и то же)
- Рассмотрите возможность исключения выбросов. Помните, что выбросы невиновны, пока вина не будет доказана, поэтому убедитесь, что у вас есть веская причина для удаления каждого выброса.
- Обозначьте отсутствующие значения в категориальных объектах.
- Отметьте и заполните отсутствующие значения в числовых объектах.
- Проверьте, требуется ли какая-либо форма обработки данных, например агрегирование данных.
- Сгруппируйте разреженные классы по категориальным признакам.
- Проверьте, можно ли разработать какие-либо новые функции.
Разработка функций -
- Основываясь на ваших знаниях в предметной области, посмотрите, есть ли какие-либо функции, которые вы могли бы разработать, которые потенциально улучшили бы производительность вашей модели.
- Есть ли какие-нибудь функции взаимодействия, которые вы могли бы создать? Например, если у вас есть ежемесячный доход, вы можете создать функцию «годовой доход»
- Есть ли какие-нибудь особенности индикатора, которые вы могли бы создать? Например, годовой доход выше 100 тыс. может быть отмечен как "высокий", а доход ниже 30 тыс. - как "низкий".
- Сгруппируйте разреженные классы по своим категориальным признакам.
- Проверьте, есть ли какие-либо порядковые категориальные признаки, которые можно закодировать как числовые.
- Есть ли какой-нибудь потенциально полезный набор данных, который вы могли бы объединить?
- Создайте фиктивные переменные для категориальных функций.
Подумайте о том, чтобы отказаться от ненужных и избыточных функций. (Например, столбцы индекса, столбцы с именами и т. Д.)
3. Моделирование и оценка:
При выборе модели задайте себе вопрос:
- Почему вы выбрали этот алгоритм?
- Какие основные гиперпараметры нужно настроить для выбранной вами модели?
- Затем проверьте, разделили ли вы набор данных на отдельные наборы поездов и тестов.
- Установите случайное начальное число для воспроизводимых результатов.
- Настройте объекты GridSearchCV для каждого из ваших алгоритмов для выполнения перекрестной проверки и настройки гиперпараметров.
- Модели пихты с использованием каждого алгоритма. Проверьте модели на лучший результат перекрестной проверки.
- Проверьте, какая модель работает лучше всего на тестовом наборе.
- При необходимости используйте любые дополнительные показатели производительности для оценки модели.
Обратите внимание, что простая проверка всех пунктов в этом списке не гарантирует идеальной модели, но постановка этих вопросов и их обсуждение определенно поможет вам улучшить свой анализ и, в конечном итоге, результаты.
Спасибо за чтение. Мы будем благодарны за любые отзывы.
Свяжитесь с нами, если у вас возникнут дополнительные вопросы, через LinkedIn.