Много интересных событий происходит одновременно

Чтобы помочь мне понять вас, заполните этот опрос (анонимно)

Прошлая неделя была очень интересной для машинного обучения. Было много событий с потенциально долгосрочными последствиями для машинного обучения. В этой статье будут рассмотрены некоторые из них, чтобы вы были более информированы о некоторых важных аспектах машинного обучения и обсуждениях, связанных с ними. Эти события могут показаться разрозненными, но они представляют разные стороны очень важной дискуссии в области машинного обучения.

Microsoft делает огромный шаг вперед в НЛП

GLUE (Общая оценка понимания языка) и SuperGLUE — это тесты для обработки естественного языка. Согласно их веб-сайту, GLUE состоит из:

  • Эталон из девяти заданий на понимание языка в виде предложений или пар предложений, построенных на установленных существующих наборах данных и выбранных для охвата различных размеров наборов данных, текстовых жанров и степеней сложности.
  • Набор диагностических данных, предназначенный для оценки и анализа производительности модели в отношении широкого спектра лингвистических явлений, встречающихся в естественном языке, и
  • Общедоступная таблица лидеров для отслеживания производительности в тесте и панель мониторинга для визуализации производительности моделей в диагностическом наборе.

SuperGLUE — это более сложная версия GLUE с большим количеством тестов и т. д.

Microsoft добилась очень впечатляющих успехов в своей последней публикации «Эффективное и действенное масштабирование предварительной подготовки языковой модели для лучшей модели языкового представления в GLUE и SuperGLUE». Якобы. Почему якобы?

Если вы посмотрите на публикацию, они мало чем делятся. Публикация часто носит расплывчатый характер и использует такие формулировки, как Мы также используем обучающий набор данных и конвейер обработки данных, оптимизированный для разработки предыдущих выпусков T-NLR, включая «DeBERTa и UniLM, а также оптимизацию реализации из другие исследования Microsoft по предварительному обучению, такие как TUPE.”

Это сильно отличается от стандартного протокола. Обычно исследователи делятся своими методами, обработкой и другими этапами. Это гарантирует, что другие могут копировать, критиковать и продвигаться вперед в своей работе.

Однако MS является частной компанией. Их цель — получение прибыли. Судя по тому, как они представили свои выводы, вполне вероятно, что в конечном итоге они также будут продавать модель как платный API/сервис. Таким образом, для них имело бы смысл скрыть многие детали, чтобы сохранить свое конкурентное преимущество. MS компенсирует это тем, что возглавляет общедоступную таблицу лидеров со многими сильными игроками.

«Примечательно, что T-NLRv5 впервые достиг человеческого паритета в MNLI и RTE в тесте GLUE, двух последних задачах GLUE, которые еще не достигли человеческого паритета. Кроме того, T-NLRv5 более эффективен, чем недавние модели предварительного обучения, достигая сопоставимой эффективности с на 50% меньшим количеством параметров и вычислительными затратами перед обучением».

Тимнит Гебру и Big Tech

Тимнит Гебру — американский ученый-компьютерщик эфиопского происхождения, занимающийся алгоритмической предвзятостью и интеллектуальным анализом данных. Она хорошо известна своим стремлением к увеличению разнообразия в ИИ. В прошлом году ее исключили из Google AI из-за конфликта вокруг одной статьи. Гебру сказал, что газета не соответствует нашим требованиям к публикации. Поскольку она была известной фигурой, это вызвало огромную негативную реакцию. Вы можете увидеть огромное онлайн-письмо протеста здесь.

На прошлой неделе она создала собственное учреждение. «Исследовательский институт распределенного ИИ — это пространство для независимых исследований ИИ с участием сообщества, свободное от всепроникающего влияния больших технологий».

Он финансируется за счет пожертвований. На данный момент они смогли собрать деньги. Тем не менее, будет интересно посмотреть, как институт будет распоряжаться финансами, необходимыми для исследований машинного обучения в будущем. Опора на пожертвования поставит их во многие из тех же давлений (и вызовет те же проблемы), что и традиционные академические круги. Эта статья более подробно рассказывает о проблемах, вызванных макетом в рецензировании и поиске грантов.

Переход к коммерческим исследованиям добавит много внешних факторов, которые могут отвлечь внимание от цели учреждения. И получение корпоративного финансирования определенно подвергнет их исследования влиянию и вмешательству.

Такие вопросы являются сложными с большим количеством движущихся частей. Учреждение новое, так что это не обязательно сейчас, но это некоторые из проблем, с которыми им придется иметь дело. И то, как они справляются с этими проблемами, будет иметь последствия для исследований в области машинного обучения.

Как они связаны друг с другом? Что с этим делать?

Так как же они связаны между собой? Движение MS к тому, чтобы не раскрывать свою работу, является довольно четким показателем того, как они планируют действовать. В наши дни это также является частью тенденции, когда крупные технологические компании используют публикации для рекламы, а не для академической проверки. Они делятся результатами, но не сообщают о процессе, что позволяет другим обнаруживать потенциальные проблемы в работе. Это одна из вещей, с которыми Гебру будет бороться.

Как они влияют на область исследований машинного обучения, еще предстоит определить. Есть много вещей, чтобы рассмотреть. Регулирование метода/публикаций Big Tech может улучшить воспроизводимость и работу по контролю качества. Но это также лишает их стимула делиться своими знаниями (которые были ответственны за некоторые из самых крутых открытий за последнее десятилетие). А пока нам придется подождать и посмотреть.

Что вы можете с этим поделать? А пока занимайтесь самообразованием. Недостаточно просто узнать о механике машинного обучения, но также и о том, как работает эта область. Изучение структур стимулирования, обычаев и предубеждений в этой области поможет вам понять нюансы ситуаций. Это позволит вам увидеть ситуации и изменить ситуацию в областях, которые вы считаете важными. Не заблуждайтесь, это то, что затронет всех. И лучше быть готовым.

Если вам понравилась эта статья, посмотрите мой другой контент. Я регулярно публикую сообщения на Medium, YouTube, Twitter и Substack (все ссылки ниже). Я занимаюсь искусственным интеллектом, машинным обучением, технологиями и разработкой программного обеспечения. Если вы готовитесь к собеседованиям по кодированию, ознакомьтесь с моим бесплатным еженедельным информационным бюллетенем Coding Interviews Made Simple.

Для разовой поддержки моей работы следуют мои Venmo и Paypal. Любая сумма приветствуется и очень помогает:

Венмо: https://account.venmo.com/u/FNU-Devansh

Paypal: paypal.me/ISeeThings

Свяжитесь со мной

Если эта статья заставила вас обратиться ко мне, то этот раздел для вас. Вы можете связаться со мной на любой из платформ или ознакомиться с любым другим моим контентом. Если вы хотите обсудить репетиторство, напишите мне в LinkedIn, IG или Twitter. Если вы хотите поддержать мою работу, воспользуйтесь моей бесплатной реферальной ссылкой на Robinhood. Мы оба получаем бесплатный запас, и вы ничем не рискуете. Таким образом, если вы не используете его, вы просто потеряете бесплатные деньги.

Ознакомьтесь с другими моими статьями на Medium. : https://rb.gy/zn1aiu

Мой Ютуб: https://rb.gy/88iwdd

Свяжитесь со мной в LinkedIn. Подключаемся: https://rb.gy/m5ok2y

Мой Инстаграм: https://rb.gy/gmvuy9

Мой Твиттер: https://twitter.com/Machine01776819

Если вы готовитесь к программированию/техническим интервью: https://codinginterviewsmadesimple.substack.com/

Получите бесплатный сток на Robinhood: https://join.robinhood.com/fnud75