Понимание текущего состояния аналитики данных с точки зрения специалиста по данным
Много лет назад, когда отделилась область аналитики данных, в основном это был статистический анализ данных по небольшим наборам данных. Раньше мы говорили всего о нескольких тысячах точек данных в этих наборах данных. Сегодня наборы данных исчисляются терабайтами. Сегодня специалистам по данным приходится обрабатывать не только такие большие наборы данных, которые являются статическими, но и иметь дело даже с динамическими наборами данных.
Заинтересованные стороны бизнеса ожидают, что специалисты по обработке и анализу данных обнаружат скрытую информацию благодаря потоковой передаче высокочастотных наборов данных, где частота может составлять несколько терабайт данных, собираемых каждый день. Такие данные поступают от миллиардов устройств IoT, которые сегодня работают в мире. Подача данных с таких устройств может быть неравномерной; в некоторых случаях собранные данные могут составлять терабайты, а в других случаях это может быть всего несколько гигабайт. В случае подключенных транспортных средств поток данных будет намного меньше по объему, но распределение будет крайне неравномерным.
Итак, какие методы применяют специалисты по обработке и анализу данных для анализа столь широкого круга требований?
Исторически сложилось так, что анализ данных выполнялся на основе числовых данных. Сегодня в отрасли ожидают, что специалисты по данным будут извлекать значимую информацию из большого массива текстовых данных, изображений и даже потокового видео.
Еще одна проблема, с которой сталкиваются специалисты по данным, — конфиденциальность данных. Конечным пользователям неудобно делиться своими личными данными с облачными централизованными алгоритмами машинного обучения. Во многих странах в настоящее время действуют законы о конфиденциальности данных, GDPR (Общее положение о защите данных).
Исследователи разработали множество новых методов машинного обучения для анализа таких разнообразных наборов данных и соответствия законам управления данными.
Теперь я обобщу подходы, которым современный специалист по данным следует в различных ситуациях.
Классический способ
Это старый подход, основанный на статистике, который мы также называем GOFAI (старый добрый ИИ). Это хорошо зарекомендовавший себя подход с огромным успехом в разработке моделей машинного обучения. В этом пространстве разработаны тысячи алгоритмов, и специалист по данным должен их изучить и понять. Инструменты AutoML автоматизируют процесс выбора алгоритма и даже точно настраивают гиперпараметры выбранного алгоритма. Однако этот подход работает с небольшими и средними наборами данных и не может удовлетворить потребности современной аналитики данных.
ИНС подход
При наличии больших вычислительных ресурсов и памяти технология ИНС доказала свою полезность при разработке моделей машинного обучения на основе больших объемов данных. Скорее, ИНС не будет работать с небольшими наборами данных, и, как правило, чем больше данных, тем лучше модели.
Использование ANN тривиально по сравнению с GOFAI. Вам просто нужно определить простую многослойную сеть, выбрав количество слоев и количество нейронов в каждом. Вы выбираете подходящую функцию для возбуждения нейронов. Для обучения сети вы выбираете функции оптимизации и потерь. Вот и все. Затем вы обучаете свою сеть на протяжении многих эпох в течение многих часов и дней, используя мощные вычислительные ресурсы. В каждую эпоху модель улучшает точность предсказания. Вы продолжаете обучение модели до тех пор, пока она не достигнет установленного вами значения показателя точности.
Предварительно обученные модели
Учитывая ресурсы и время, необходимые для обучения модели, совершенно очевидно, что она находится вне досягаемости отдельного специалиста по данным. Итак, что делает специалист по обработке данных для разработки собственных моделей машинного обучения? К счастью, технологические гиганты вложили значительные средства в создание моделей машинного обучения с высоким уровнем точности прогнозирования. Они предложили эти модели специалистам по данным, которые могут расширить их функциональность для достижения своих конкретных целей. Мы называем это обучение передаче. Такие предварительно обученные модели доступны в основном для наборов данных текста и изображений. Широкая доступность предварительно обученных моделей облегчила специалистам по данным разработку текстовых и графических моделей ИИ.
Высокочастотная аналитика данных
С высокочастотными наборами данных вы не можете следовать стандартной процедуре разработки модели машинного обучения. Стандартный процесс требует, чтобы вы собирали данные как единое целое, на котором вы обучаете модель часами. С высокочастотными данными данные продолжают непрерывно передаваться в больших объемах. К тому времени, когда вы запустите хотя бы одну эпоху обучения, данные изменятся. Итак, что мы делаем, так это создаем окна временных рамок. Мы сохраняем данные в каждом окне как единое целое, а затем обучаем на них нашу модель. Через какой-то период мы захватываем еще одно окно и повторяем на нем тот же процесс обучения. Этот процесс обучения будет непрерывным, что позволит фиксировать даже сезонные изменения в данных. Для вывода мы используем последнюю обученную версию, или вы можете адаптировать некоторую политику усреднения/агрегации. Для специалиста по данным обнаружение закономерностей в таких динамических наборах данных — непростая задача.
Распределенное машинное обучение
Обучение модели машинного обучения на чрезвычайно больших наборах данных требует огромного количества вычислительных ресурсов и времени. Чтобы решить эту проблему, инженеры машинного обучения разработали методику распределенного машинного обучения. Здесь мы разделили весь набор данных на несколько частей и попросили независимые серверы обучить модель на одной части. Другой централизованный сервер агрегирует результаты всех участников.
Поскольку каждый сервер работает независимо со своей частью набора данных, это приводит к лучшему использованию вычислительных ресурсов. Кроме того, этот метод в некоторой степени обеспечивает конфиденциальность данных, так что один сервер не обрабатывает все данные. Обычно мы перемешиваем данные, прежде чем разделить их между участниками.
Поскольку конфиденциальность данных стала серьезной проблемой в современном мире, мы теперь рассмотрим некоторые последние методы в этой области.
Решение проблем конфиденциальности данных
В наши дни потребители хорошо осознают свои законные права и не охотно сотрудничают в разработке модели, хотя в конечном итоге они будут бенефициарами разработанной модели. К счастью, у нас есть решение этой проблемы, и это федеративное обучение.
Федеративное обучение
В моем предыдущем посте я достаточно подробно рассказал о федеративном обучении. Подводя итог, позвольте мне кратко объяснить, как работает федеративное обучение. При федеративном обучении данные потребителя никогда не покидают его устройство. Скорее мы обучаем модель на самом устройстве. Центральный сервер создает базовую модель и раздает ее всем участникам, скажем, клиентским мобильным телефонам. Каждый участник дополнительно обучает эту базовую модель, используя свои локальные данные. Мы передаем изменения модели на сервер, используя гомоморфное шифрование. Сервер периодически собирает результаты обучения всех участников для обновления своей базовой модели. Мы распространяем пересмотренную модель среди всех участников. Весь цикл повторяем непрерывно.
Этот метод обеспечивает огромное преимущество динамически изменяющейся модели, которая была основным ограничением более ранних методов. Во-вторых, данные пользователя остаются абсолютно конфиденциальными, поскольку они никогда не покидают его устройство в соответствии с GDPR.
Существенными проблемами в этом методе являются обеспечение среды машинного обучения, такой как TensorFlow, на каждом устройстве и распространение пересмотренной модели на миллионы разнородных устройств.
Я предоставил вам краткое изложение этой техники здесь; вы можете обратиться к моему предыдущему сообщению для более глубокого обсуждения.
Сплетни
Это еще один метод, который исследователи данных изучают в качестве альтернативы федеративному обучению. В Gossip Learning нет централизованного сервера для агрегации. Все участники сплетничают со своими соседями, делясь своим обучением. Каждый узел (устройство) обучает свою модель на основе выбранных параметров. Затем они делятся обученной моделью со своими соседями. Если сосед посчитает полученную модель лучше своей обученной модели, он откажется от своей модели и будет использовать полученную. Если нет, он обновит свою собственную модель, объединив изменения, предоставленные отправителем. Эти сплетни продолжаются с этого момента, и мы надеемся, что в каждой сплетне будет появляться все лучшая и лучшая модель.
Я хотел бы отослать вас к исследовательской статье, в которой проводится эмпирическое сравнение сплетен и федеративного обучения. Я планирую написать больше об изучении сплетен, так что следите за обновлениями.
Репозиторий моделей ИИ
До сих пор мы видели много методов машинного обучения. Среди всего этого использование предварительно обученных моделей было бы самым простым подходом для специалистов по данным при разработке моделей на основе их собственных наборов данных. Поскольку мы просто расширяем существующую модель для дальнейшей классификации и вывода, ваши данные никогда не выходят за пределы ваших собственных помещений.
К сожалению, на данный момент нет исчерпывающего репозитория предварительно обученных моделей. Все доступные сегодня предварительно обученные модели удовлетворяют узким областям обработки изображений и НЛП (обработки естественного языка). Специалист по данным не находит предварительно обученную модель, скажем, для кластеризации избирателей во время избирательной кампании.
Нам, специалистам по данным, нужен репозиторий моделей, такой как GitHub, который будет охватывать широкий спектр вертикалей. Кто-нибудь работает над этим? Из инсайдерских новостей я понял, что BlobCity работает над таким репозиторием. Хорошая часть этого заключается в том, что это открытый исходный код, и они приглашают специалистов по данным представить свои модели. Надеемся, что вскоре специалисты по обработке и анализу данных смогут позволить себе роскошь использовать предварительно обученную модель для удовлетворения всех своих потребностей в анализе данных.
Заключительные замечания
Аналитика данных, начавшаяся с электронных таблиц Lotus123 и Excel, во многих случаях достигла неожиданного уровня. В этой краткой статье я обсудил этапы его эволюции за последние несколько десятилетий, закончив описанием новейших технологий, отвечающих сегодняшним отраслевым требованиям.
Возможно, вам будет интересно прочитать мою новую книгу — Thinking Data Science, Springer 2023.
Кредиты
Pooja Gramopadhye — Редактирование текстов
