Краткий и приятный прогноз тенденций от руководителя данных, который живет этим.
Фернандо Эскобар, руководитель отдела обработки данных в Loka, Inc.
Привет, я Фер. Большую часть последнего десятилетия я специализировался на анализе данных и разработке данных для стартапов из списка Fortune 500 и Series-A. Вот что я вижу в 2021 году.
Когда я думаю о том, как бы я определил данные, мне приходит на ум многое. Это факты, это наблюдения, это поведение — все это собрано воедино, чтобы потом на него можно было сослаться и проанализировать.
Когда у данных есть причина, цель, и они начинают отвечать на вопросы, тогда они становятся информацией, которую мы можем использовать.
Информация может быть описательной (что произошло?) и прогнозирующей (что произойдет?). Как профессионал в области обработки данных и анализа данных, это фактически строительный блок для всего, что я делаю.
Основываясь на том, что я видел и испытал в работе с различными стартапами, каковы их потребности и что предлагает облачная индустрия, я перечислил некоторые тенденции и темы, которые вы можете ожидать, когда речь заходит об этих важных электрических сигналах.
Машинное обучение
Машинное обучение — то, о чем гудели рыночные аналитики, прогнозируя тенденции данных за последние пять лет или около того.
Несмотря на то, что за последние пару лет этот термин широко использовался многими стартапами в качестве коммерческого предложения, мы приближаемся к моменту, когда преимущества будут не только теоретическими. имеют массу практических применений. Практично — это слово, на котором я хотел бы сосредоточиться.
От разработки вакцины (обнаружение закономерностей у людей заняло бы гораздо больше времени), до земледелия (нахождение правильного баланса питательных веществ в зависимости от различных почвенных и погодных условий), до здоровья (обнаружение закономерностей в жизненном поведении в зависимости от продолжительности жизни), до транспорта (привет автономное вождение!), машинное обучение каким-то образом применяется для ускорения продукта или услуги.
В этих примерах машинное обучение играет значимую роль. Это не просто модное слово для пустых обещаний или несбыточных мечтаний, а функция, встроенная в основной функционал.
Бессерверный
В 2021 году основное внимание в области обработки данных будет уделяться бессерверному подходу. Под бессерверным подходом я подразумеваю отсутствие серверов, которые нужно обслуживать самостоятельно, а скорее серверы, которые обслуживает и масштабирует поставщик решения.
Это означает, что меньше времени нужно уделять основному компьютеру, на котором размещено ваше решение, и больше времени на его собственно разработку.
Из области AWS два основных бессерверных сервиса — Aurora Serverless и Lambda — получили значительные повышения производительности серверной части. Например, у Aurora Serverless больше нет проблемы с холодной загрузкой, а у Lambda больше времени ожидания, чем раньше, благодаря более быстрому масштабированию для тяжелых рабочих нагрузок. Просто назвать несколько.
В этом году большое внимание уделяется бессерверным технологиям, потому что специалистам по данным проще начать внедрять конвейеры без глубоких знаний о devops, что было главной проблемой: наличие серверов, которые нужно обслуживать, а также инфраструктуры, чтобы обновляться, быть работоспособным и быстрым в все время.
Serverless делает это автоматически. И не заблуждайтесь, есть серверы, на которых работает ваш код, ваша база данных, ваш REST API, ваши брокеры сообщений и потоки данных в реальном времени, но это не то, о чем вам нужно беспокоиться.
Им управляет ваш поставщик облачных услуг, который избавляет вас от этих хлопот за небольшую плату. Небольшая надбавка, позволяющая создавать более эффективно, выполнять итерации быстрее и в целом предоставлять более качественный продукт, который также можно адаптировать к более требовательным сценариям.
Короче говоря, есть две основные особенности безсерверных технологий, которые делают его таким заманчивым (и логичным) следующим шагом в моделях выполнения облачных вычислений: практически полное отсутствие обслуживания и возможность масштабирования в соответствии с вашими потребностями. потребности.
Инфраструктура как код
Если вы слышали об инфраструктуре как коде и не уделяли ей достаточно внимания или ресурсов, в этом году самое время вложиться в нее!
Эта практика продолжает развиваться и получает все большее распространение из-за того, насколько она упрощает задачу поддержки всего стека технологий.
Представьте, что весь ваш стек написан простыми шагами в виде кода и вы можете воспроизвести его, просто поместив этот код в другое место.
Нет необходимости отдельно выделять и/или подключать каждый элемент в вашем стеке. Теперь все это можно сделать с помощью строк кода, которые можно легко переносить из одной среды в другую.
Фернандо Эскобар (Fernando Escobar) — руководитель отдела данных в Loka, Inc. Фер, как его называют, обладает обширным опытом в управлении проектами, развитии бизнеса и анализе данных. Клиенты Loka из списка Fortune 500 и стартапов Series-A лучше всего знают его за превосходное управление данными от сбора до анализа, а также полезные рекомендации для руководителей. Товарищи по команде Loka знают Фера за критические обзоры игр и наушников.
Первоначально опубликовано на https://loka.com.
