Данные обучения являются ключевыми входными данными для машинного обучения (ML), и важно иметь правильное качество и количество набора данных для получения точных результатов. Чем больше обучающих данных, доступных для алгоритма ML, тем лучше они помогут модели понять различные типы объектов, упрощая их идентификацию при использовании в реальных прогнозах.
Но вопрос здесь в том, как вы решите, сколько обучения достаточно для вашего машинного обучения. Поскольку недостаточное количество данных повлияет на точность прогнозирования вашей модели, в то время как более чем достаточное количество данных может дать наилучшие результаты, но можете ли вы управлять большими данными или большим количеством наборов данных и требовать глубокого обучения или ввода таких данных в алгоритмы? Это также требует более сложного метода.
Количество обучающих данных, необходимых для машинного обучения, зависит от многих факторов, таких как сложность вашей модели, алгоритмы машинного обучения и процесс обучения или проверки данных. А в некоторых случаях, сколько данных необходимо, чтобы продемонстрировать, что одна модель лучше другой. Все эти факторы учитываются при выборе правильного количества наборов данных, давайте обсудим их более подробно, чтобы выяснить, сколько данных достаточно для ML.
Зависит от сложности задачи и алгоритма обучения
Одним из наиболее важных факторов при выборе обучающих данных для машинного обучения является сложность задачи, которая означает неизвестную базовую функцию, которая связывает входную переменную с выходной переменной в соответствии с к типу модели ML.
Читайте также: Какие типы наборов данных используются в машинном обучении?
Точно так же сложность алгоритма модели машинного обучения является еще одним важным фактором при выборе правильного количества наборов данных. Алгоритм используется для изучения неизвестной базовой функции отображения на конкретных примерах, чтобы наилучшим образом использовать обучающие данные и интегрировать их в модель машинного обучения.
Использование правила статистической эвристики
В статистических терминах рассматриваются несколько компонентов, таких как фактор количества классов, фактор количества входных признаков и фактор количества параметров модели. Также доступны статистические эвристические методы, позволяющие рассчитать соответствующий размер выборки.
Чтобы учитывать количество классов, для каждого класса должно быть X независимых экземпляров, где x может быть десятками, сотнями или тысячами в зависимости от вашего диапазона параметров. В то время как входные функции должны иметь на X% больше примеров, чем их входные функции и параметры модели, модель должна иметь независимые примеры для каждого параметра.
Навыки моделирования и оценка размера данных
При выборе набора обучающих данных для машинного обучения вы можете разработать исследование, в котором оцениваются необходимые навыки модели в зависимости от размера набора обучающих данных. Чтобы выполнить это исследование, нарисуйте результат прогнозирования вашей модели в виде линейного графика с размером набора обучающих данных на оси x и навыком модели на оси y, что даст вам представление о том, сколько данных требуется навыку. Насколько на модель влияет решение конкретной проблемы с помощью машинного обучения.
Вы можете использовать кривую обучения, в которой вы сможете спрогнозировать объем данных, необходимых для разработки эффективной модели, или, возможно, насколько мало данных вам нужно, прежде чем будет затронута точка перегиба убывающей отдачи. Таким образом, вы можете изучить имеющиеся данные и одиночные эффективные алгоритмы, такие как Random Forest, и предложить вам разработать надежные модели с точки зрения хорошо изученных проблем.
Для нелинейного алгоритма требуется больше данных
Нелинейные алгоритмы широко известны как самые мощные алгоритмы машинного обучения. Поскольку они способны изучать сложные нелинейные отношения между входными и выходными функциями. Если вы используете нелинейные алгоритмы, вам нужен значительный объем наборов данных и необходимо нанять инженера по машинному обучению, который может работать с такого рода прикладной математикой.
Читайте также: Как подготовить обучающие данные для машинного обучения?
Такие алгоритмы часто более гибкие и даже непараметрические, то есть они сами могут вычислить, сколько параметров необходимо для моделирования вашей задачи в дополнение к значениям этих параметров. Прогнозы таких моделей различаются в зависимости от конкретных данных, используемых для их обучения, что приводит к необходимости большого количества данных для обучения таких моделей.
Не ждите дополнительных данных, начните с того, что у вас есть
Вам не нужно собирать значительный объем обучающих данных для вашего машинного обучения, и ожидание получения таких данных в течение долгих дней не является мудрое решение. Не позволяйте проблеме размера тренировочного набора помешать вам приступить к решению проблемы прогнозирования модели.
Начните с доступных данных, используйте то, что у вас есть, и проверьте, насколько эффективны модели для решения вашей проблемы. получите некоторые, затем примите меры, чтобы лучше понять, что у вас есть для дальнейшего анализа, а затем дополните данные из своего домена, чтобы сделать обучение модели более точным.
