Что общего между микроволновыми печами и машинным обучением?
Это вопрос, о котором я задумался во время выступления на Web Summit в ноябре прошлого года.
Кэсси Козырков, главный специалист по решениям Google, проводила нас через аналогию с машинным обучением и микроволновыми печами ...
Микроволновые печи существуют уже некоторое время, и, хотя большинство людей не знают, как их построить, это не мешает им успешно использовать их для нагрева еды! Точно так же с машинным обучением уже были потрачены годы исследований на разработку превосходных алгоритмов, поэтому нам не нужно начинать с нуля, если нам нужно использовать модель машинного обучения ...
Козырков объяснил, что на самом деле существует 2 типа машинного обучения (ML):
- ML Исследования и
- Применяемое машинное обучение
Компании изо всех сил пытаются начать работу с машинным обучением, поскольку считается, что им сначала нужна команда специалистов по данным (на самом деле она нужна только для №1), однако есть много инструментов и алгоритмов, уже общедоступных для создания моделей машинного обучения на заданном наборе данных (см. 2). Как говорит Козырков:
«Мир учит нас создавать все больше и больше микроволн - кто учит нас, как их использовать?»
Этот доклад действительно заставил меня задуматься о возможностях для компаний и разработчиков программного обеспечения, которые плохо знакомы с машинным обучением и наукой о данных в целом ...
Одно можно сказать наверняка: спрос на машинное обучение растет в геометрической прогрессии!
Опытные организации знают, что использование ИИ будет иметь жизненно важное значение, чтобы опережать конкурентов, в то время как потребители теперь все чаще ожидают, что их устройства и программное обеспечение будут демонстрировать «умные» функции.
Так почему же не все компании уже используют машинное обучение?
Помимо отсутствия знаний о том, как это сделать, были также исторические препятствия, такие как:
Недостаточная вычислительная мощность для обработки огромных объемов данных, необходимых для обучения моделей машинного обучения.
например у вас могут быть месяцы прокси-данных, хранящихся в вашем инструменте ведения журнала, но может быть достаточно мощности только для обработки 5 минут из них! Кроме того, запуск первой модели, возможно, прошел нормально, но масштабирование было проблемой, потому что не было инфраструктуры.
Недостаточно хороших примеров в наборах данных для точного обучения модели определенному варианту использования.
например наличие тысяч терабайт журналов Cisco ESA не поможет найти шаблоны кражи данных электронной почты, если есть только один пример, из которого можно поучиться ...
Однако в настоящее время облачные вычисления в значительной степени решили проблемы с большими данными, и если у вас недостаточно примеров данных в ваших собственных наборах данных, мы надеемся, что появится общедоступный набор данных, который вы можете приобрести - или, возможно, даже использовать бесплатно!
Факторы машинного обучения
Итак, что же сегодня доступно компаниям, если они решили, что хотят использовать именно Прикладное машинное обучение?
Что ж, ресурсы варьируются от библиотек Python ML, таких как Scikit-learn, до полноценных платформ с открытым исходным кодом, таких как Tensorflow.
Google ML Kit - это SDK машинного обучения Google, который позволяет разработчикам мобильных приложений использовать машинное обучение для создания функций на Android и iOS, независимо от их уровня знаний.
Common Voice - это проект Mozilla, который помогает сделать распознавание голоса доступным для всех. Теперь вы можете пожертвовать свой голос на помощь в создании базы данных голоса с открытым исходным кодом. Они надеются построить это на всех естественных языках мира от японского до корнуоллского!
Кроме того, для всех вас, разработчиков AWS, существует AWS Sagemaker - полностью управляемый сервис, который позволяет специалистам по данным и разработчикам создавать, обучать и развертывать модели машинного обучения в любом масштабе.
AWS постоянно улучшает Sagemaker и недавно выпустила следующие новые функции, чтобы сделать машинное обучение еще более доступным:
Amazon Personalize (Предварительная версия)
- Служба машинного обучения, которая упрощает разработчикам создание индивидуальных рекомендаций для клиентов, использующих их приложения.
- Персонализация и рекомендации в реальном времени.
- На основе той же технологии, что и на Amazon.com
Прогноз Amazon (предварительная версия)
- Полностью управляемый сервис, использующий машинное обучение для предоставления высокоточных прогнозов на основе данных временных рядов.
- Сервис точного прогнозирования временных рядов.
- Опыт машинного обучения не требуется.
Наземная правда
- Использует ML для автоматической маркировки данных.
- Очень полезно для тех внутренних фотографий повреждений транспортного средства и т. Д.
Neo
Позволяет моделям машинного обучения обучаться один раз и запускаться в любом месте в облаке и на границе.
DataRobot - одна из компаний, которая действительно устраняет барьеры на пути к машинному обучению!
Генеральный директор DataRobot Джереми Ачин говорит, что:
«Если бы все на планете стали специалистами по обработке данных, этого все равно было бы недостаточно».
Таким образом, DataRobot создал «автоматизированную платформу машинного обучения, которая объединяет знания, опыт и передовые методы ведущих специалистов по данным, чтобы обеспечить непревзойденный уровень автоматизации и простоты использования для инициатив по машинному обучению».
DataRobot «автоматизирует автоматизацию» для вас и позволяет пользователям с любым уровнем подготовки использовать возможности «10x возможностей Data Scientist» для создания и развертывания высокоточных моделей машинного обучения за очень короткое время.
DataRobot сообщает, что в 2019 году мы увидим демократизацию роли специалистов по обработке данных за счет «работников ИИ» как из бизнеса, так и из сферы программного обеспечения.
В недавнем отчете Gartner сделан вывод, что к 2020 г.
«в значительной степени благодаря автоматизации задач науки о данных гражданские специалисты по данным превзойдут специалистов по данным с точки зрения объема расширенного анализа. они производят и извлекают из этого пользу ».
Еще одним недавним событием в распространении машинного обучения стало появление торговых площадок машинного обучения…
Итак, теперь, если вам нужен только один убийственный алгоритм для запуска вашей модели, или если вы ищете полный непрерывный конвейер искусственного интеллекта, для вас есть рынок!
Google AI Hub - это универсальный магазин для всего AI », где вы можете купить все, от готового конвейера Kubernetes для вашей розничной рекомендательной системы до любого количества подключений и игровые компоненты.
AI Hub предоставляет организациям возможности совместного использования в частном порядке для размещения своего AI-контента, а также для стимулирования повторного использования и совместной работы.
Пользователи также могут получить доступ к уникальным технологиям Google Cloud AI и Google AI, которые можно легко развернуть для экспериментов, а также на всем пути к производству в Google Cloud и в гибридных инфраструктурах.
Алгоритмия - еще одна компания, которая не только размещает для вас модели, но и управляет торговой площадкой, содержащей более 5000 алгоритмов!
С помощью Algorithmia вы можете обнаруживать модели и развертывать их с помощью простого вызова API, а его алгоритмы доступны на 14 разных языках программирования, которые могут быть соединены вместе, например. вы можете взять результаты одного алгоритма, написанного на Scala, и передать их другому алгоритму, написанному на Python ...
Обладая таким богатством возможностей, Algorithmia предоставляет отличный способ для разработчиков и специалистов по обработке данных работать вместе путем смешивания и сопоставления алгоритмов друг друга, а также встроенных, для создания наиболее подходящих моделей.
Наконец, чтобы не отставать в гонке на рынке искусственного интеллекта, AWS Marketplace для машинного обучения был запущен на AWS re: Invent в прошлом году и позволяет разработчикам и специалистам по обработке данных находить и покупать алгоритмы и модели машинного обучения и развертывать их. их в AWS SageMaker.
Haptik, ведущая компания по производству диалогового ИИ, была одним из первых продавцов на этом рынке, который также предлагает алгоритмы от подобных Mitra, компании, занимающейся инновационными решениями. , продающие модели, такие как их индикатор цен на биткойны и их детектор злоупотреблений, на которые разработчики могут подписаться и сразу начать использовать в Sagemaker.
Клиенты могут найти здесь сотни алгоритмов и моделей и подписаться на них, что обеспечивает мгновенную обратную связь с покупателями и продавцами.
Итак, как видите, существует несколько решений, которые можно использовать для использования машинного обучения в своем программном обеспечении, при этом новые ресурсы становятся доступными каждую неделю.
Специалисты по обработке данных уже проделали большую часть тяжелой работы по созданию алгоритмов для нас - теперь нам просто нужно начать их собирать и применять!
