Что за год… 2020 год подходит к концу, и сейчас самое время воспользоваться моментом и пережить последние 12 месяцев.
Пришло время задуматься о проблемах, которые прошлый год принес нам и нашим собственный опыт, успехи и неудачи.

Пришло время извлечь уроки из прошлого и заглянуть в будущее в личном и профессиональном плане.

В то время как в 2020 году я готовился перейти из академических кругов в промышленность, что включало переход от R к Python и от статистической теории к практическому решению проблем с помощью алгоритмов машинного обучения и статистических выводов, 2021 год будет посвящен более глубокому погружению в темы, которыми я увлечен.

Многие умные люди поделились своими ожиданиями относительно того, какие достижения и прорывы принесет нам 2021 год в области искусственного интеллекта и науки о данных. Далее я хочу поделиться с личной точки зрения четырьмя темами, которые я хочу изучить и над которыми буду работать в течение следующего года.

TinyML

В прошлом многие достижения в области искусственного интеллекта были достигнуты благодаря большему объему памяти и большей вычислительной мощности за счет простого использования большего количества параметров и увеличения размеров моделей. Этот подход привел к впечатляющим результатам, таким как языковая модель OpenAI GPT-3. Однако обучение таких моделей обходится дорого. Учебный GPT-3 с его 175 миллиардами параметров, вероятно, стоил где-то между 4,6 миллиона долларов и 12 миллионов долларов. Эти высокие (финансовые) затраты сопровождаются соответствующим энергопотреблением и его воздействием на окружающую среду.

TinyML идет в другом направлении: это область науки о данных, целью которой является запуск моделей машинного обучения и особенно глубоких нейронных сетей на микроконтроллерах. Эта тема станет более важной в будущем, потому что она позволяет нам использовать модели машинного обучения на устройствах с низким энергопотреблением без подключения к облаку, что помогает защитить конфиденциальность пользователей, переносит машинное обучение в места без (надлежащего) подключения к Интернету и может уменьшить влияние приложений ML на окружающую среду.

Генеративные модели

Поскольку глубокие подделки являются темой в основных СМИ, генерация данных с помощью генеративных моделей (особенно глубоких генеративных моделей) является горячей темой. Достижения в области компьютерного зрения делают генеративно-состязательные сети (GAN) и вариационные автоэнкодеры (VAE) одновременно тревожными и интригующими. Сети с долговременной кратковременной памятью (LSTM) можно использовать для генерации языка (путем предсказания следующих слов), и это, безусловно, заслуживает дальнейшего изучения.

Общий искусственный интеллект

В области искусственного интеллекта мы часто различаем узкий искусственный интеллект, который сосредоточен на решении одной узкой задачи (отсюда и его название), и искусственный общий интеллект (ИИО), который может понять/обучить любую интеллектуальную задачу, которую может освоить и человек. .

В настоящее время даже самые современные модели машинного обучения попадают в первую категорию, но в области обучения с подкреплением такие организации, как DeepMind, добились впечатляющих успехов, которые медленно движутся в сторону ОИИ.

Исследования в области ОИИ касаются не только самой технологии, но также включают темы, связанные с согласованием и этикой ИИ, и в 2021 году может произойти некоторый прорыв.

Интерфейсы мозг-компьютер

Тема интерфейсов мозг-компьютер (BCI) привлекла мое внимание благодаря этой статье на TDS. Данные ЭЭГ являются одним из наиболее ярких примеров функциональных данных, и, поскольку последние были частью моих исследований в академических кругах, мне было интересно увидеть их применение в реальной жизни.

Наличие устройств, которые могут «читать ваши мысли» (или, по крайней мере, интерпретировать электрические сигналы, производимые вашим мозгом), несколько неприятная мысль. Тем не менее, есть важные варианты использования (в частности, в медицине), и сами данные очень интересны, поэтому данные BCI и ЭЭГ — моя последняя цель на 2021 год.

Вывод

Упомянутые четыре темы кажутся увлекательными и активными направлениями исследований. Я считаю, что мы можем увидеть некоторые прорывы в одной или нескольких из этих областей в течение следующего года.

Мне любопытно поработать над проектами по этим темам в будущем, посмотреть, как они взаимосвязаны, и внимательно следить за последними событиями.

При этом я надеюсь, что 2021 год будет годом, полным вызовов, возможностей и знаний для всех нас!

А вы? Какие темы вам интересны? На чем вы собираетесь сосредоточиться в 2021 году (и далее)? Пожалуйста, дай мне знать!