Элмо, Берт и Мардж (Симпсон) - не только ваши любимые телевизионные герои, которые растут, но и модели машинного обучения и НЛП.
Барт. Элмо. Берт. Кермит. Мардж. Что они имеют общего?
Все они - любимые вымышленные персонажи телешоу, которые многие из нас смотрели в молодости. Но это еще не все - они тоже все модели искусственного интеллекта.
В 2018 году исследователи из Института Аллена опубликовали языковую модель ELMo. Ведущий автор, Мэтт Петерс, сказал, что команда придумала множество аббревиатур для своей модели, и ELMo сразу же закрепился как причудливый, но запоминающийся выбор.
То, что начиналось как внутренняя шутка, превратилось в полномасштабную тенденцию.
За ним последовал Google AI с BERT, невероятно мощной и широко используемой в настоящее время языковой моделью на основе Transformer. Потом еще много: ERNIE, KERMIT, BART, GROVER и т. Д. OpenAI почти назвал GPT-2 Snuffleupagus, или сокращенно Snuffy. Буквально в прошлом месяце Facebook AI опубликовал MARGE.
В этой статье дается обзор всех этих моделей и, конечно же, их персонажей ниже:
ELMo (2018): вложения из языковых моделей
ELMo, положивший начало этой тенденции, представляет собой глубоко контекстуализированный подход к представлению слов, способный улавливать больше характеристик слов (синтаксис, семантика и т. Д.).
Большой проблемой при представлении слов в виде векторов («встраивания слов») было то, что слово было бы представлено одним и тем же вектором независимо от того, в каком контексте оно использовалось. Однако «текущий» имеет разные значения в «какой у вас текущий» работа? » по сравнению с «это сильное течение реки течение» - мы не можем просто использовать одно фиксированное представление для обоих «течений»!
Таким образом, были созданы контекстные вложения слов, чтобы уловить контекст слова в его представлении. Вместо того, чтобы читать только слово за раз, ELMo считывает все предложение для контекста, прежде чем присваивать каждому слову его вложение, что выполняется с использованием двунаправленного LSTM.
ELMo был большим шагом вперед в исследованиях обработки естественного языка (NLP) с использованием языкового моделирования. Для иллюстрированного объяснения ELMo я бы очень рекомендовал этот ресурс.
Помимо машинного обучения и НЛП, Эльмо - очаровательный пушистый красный Маппет из детского шоу Улица Сезам. Элмо любит сюрпризы, пиццу и пенные ванны, и он получил награду за самый длинный смех на церемонии Golden Grover Awards. Впервые он появился на экране в 1980 году.
BERT (2019): Представления двунаправленного кодера от трансформаторов
Компания Google продолжила преобразование предварительной подготовки в НЛП, представив BERT, новую языковую модель на основе Transformer, которая была первой, которая позволила глубоко двунаправленное и неконтролируемое представление.
Глубоко двунаправленный означает, что при захвате контекстных вложений BERT представляет каждое слово, используя его предыдущий и следующий контекст. (Для сравнения, ELMo неглубоко двунаправлен.) Простое согласование каждого слова с его предыдущим и следующим словами может быть проблематичным, поэтому BERT случайным образом маскирует некоторые слова и обрабатывает каждое слово двунаправленно, чтобы предсказать замаскированные слова.
В своем первоначальном выпуске BERT уже достиг впечатляющих результатов в задачах вопросов-ответов и понимания естественного языка. BERT и другие архитектуры на базе Transformer были краеугольным камнем исследований НЛП в прошлом году.
Помимо машинного обучения и НЛП, Берт - дружелюбный желтый персонаж на Улице Сезам. В свободное время он любит читать Скучные рассказы, есть овсянку и изучать голубей.
ЭРНИ (2019): Двойные проблемы
Невозможно иметь Берта без его лучшего друга Эрни - хорошо, что исследователи разработали ERNIE (Сан и др.), ERNIE (Чжан и др.) И даже ERNIE 2.0!
Первый ERNIE (Расширенное представление через интеграцию знаний) представил языковую модель, которая расширила стратегию маскирования слов BERT до маскирования на уровне сущности и на уровне фразы. При этом ERNIE может неявно изучать предварительные знания фраз, сущностей и отношений между ними в процессе обучения.
Менее чем через два месяца был опубликован второй ERNIE (Расширенное языковое представление с информативными объектами). ERNIE представил языковую модель, которая включает графы знаний для оптимизации получения как можно большего объема информации. Графы знаний - это мощный способ представления точек данных и взаимосвязей, связывающих их вместе.
Помимо машинного обучения и НЛП, Эрни - нарушитель спокойствия, чья жизненная миссия - досадить Берту на Улице Сезам. Он очень любит своего резинового утенка и однажды сказал знаменитую фразу: «Я тебя не слышу, у меня в ухе банан!»
KERMIT (2019): представления кодировщика Kontextuell, созданные преобразованиями вставки
KERMIT - это генеративная архитектура, основанная на вставке, которая моделирует совместное распределение, декомпозицию (то есть ее маргиналы) и условные выражения вместе. Исследователи обнаружили, что KERMIT хорошо справляется с некоторыми задачами, включая машинный перевод.
Если вам интересно, как и мне, «kontextuell» в переводе со шведского означает «контекстуальный». Мы знаем, что исследователи выбрали такое название намеренно, потому что позже в статье они напишут: «Тогда как его друзья ELMo (Peters et al., 2018), BERT (Devlin et al., 2019) , и ERNIE (Sun et al., 2019), мы также можем использовать KERMIT… »
Помимо машинного обучения и НЛП, Кермит - культовая поющая лягушка, которая украшала множество маппетов (Сэм и друзья, Улица Сезам, Маппет-шоу и т. Д.) И мемов (Но это не мое дело , Злой Кермит и др.). Кермит появился на свет в 1955 году и является самым старым героем в этом списке.
BART (2019): Двунаправленные и авторегрессивные трансформаторы
Искусственный интеллект Facebook, основанный на BERT, GPT и предыдущей предварительной работе по НЛП, создал BART, новую предварительно обученную модель для генерации и понимания текста, которая сочетает в себе как двунаправленные, так и авторегрессивные преобразователи.
BERT использовал маскировку в своем двунаправленном кодировщике, что означало, что замаскированные / пропущенные слова предсказывались независимо. В результате BERT нельзя использовать для генерации текста.
Напротив, GPT является авторегрессивным, что означает, что он предсказывает будущее слово из набора слов с учетом контекста в прямом направлении. В результате GPT не может распознавать двунаправленные взаимодействия.
BART объединяет эти фундаментальные идеи вместе: 1) документ со случайными участками текста, замененными масками, кодируется двунаправленно, затем 2) вероятность появления неизмененного документа прогнозируется с помощью авторегрессионного декодера.
Помимо машинного обучения и НЛП, Барт - один из самых известных молодых повстанцев на телевидении. Вы можете найти Барта и его бесконечные розыгрыши в Симпсонах.
ГРОВЕР (2019)
В последние годы область НЛП очень быстро продвинулась вперед и достигла очень правдоподобного обобщения и перевода. Однако эти технологии также могут использоваться в менее чем позитивных целях, например, для создания фальшивых новостей и пропаганды, создаваемых искусственным интеллектом.
Чтобы бороться с этим, исследователи создали GROVER, общедоступный генератор, который может писать реалистичные и контролируемые фейковые новости. Цель GROVER состоит в том, чтобы другие могли практиковать против него, чтобы разработать более совершенные методы для классификации фальшивых новостей, созданных искусственным интеллектом, от настоящих, написанных людьми. В то время лучший дискриминатор мог отличить фальшивые новости, созданные искусственным интеллектом, от реальных новостей с точностью 73%.
(В непонятном решении по названию здесь нет аббревиатуры - он назван GROVER просто потому, что.)
Помимо машинного обучения и НЛП, Гровер - пушистый синий персонаж на Улице Сезам, который любит помогать (или пытается помочь) другим. Надеюсь, ГРОВЕР сможет помочь миру искусственного интеллекта в борьбе с дезинформацией так же, как Гровер помогает своим друзьям.
MARGE (2020): многоязычный автоэнкодер, который извлекает и генерирует
MARGE, опубликованная совсем недавно Facebook AI, представляет собой новую предварительно обученную модель от последовательности к последовательности, изученную с целью неконтролируемого многоязычного перефразирования нескольких документов.
Проще говоря, это предварительно обученная языковая модель, которая генерирует текст путем 1) извлечения связанного текста на других языках, 2) восстановления исходного текста путем поиска в них шаблонов.
Исследователи обнаружили, что MARGE может успешно выполнять задачи перефразирования, перевода, суммирования нескольких документов и поиска информации без какой-либо тонкой настройки. Оценка MARGE составила 35,8 балла по метрике BLEU (двуязычная оценка дублера), метрике языковых переводов, что считается довольно высоким показателем для модели без точной настройки.
Помимо машинного обучения и НЛП, Мардж - вымышленный персонаж Симпсонов. Мать троих детей (включая Барта), Мардж также известна своими высокими голубыми (голубыми?) Волосами.
(И с БАРТ, и с МАРДЖ, возможно, ИИ Facebook очень любит Симпсонов?)
Последние мысли
Довольно здорово, что исследователи отдают дань уважения предыдущим работам таким забавным и безобидным способом. Возможно, будущие современные модели машинного обучения будут называться HERMiONE или ZUKo - я с нетерпением жду того дня, когда исследователи искусственного интеллекта распространятся на другие области фантастики.
Если есть другие модели ИИ, названные в честь вымышленных персонажей, дайте мне знать!
Спасибо за чтение! Подпишитесь, чтобы узнать больше об исследованиях, ресурсах и проблемах, связанных с ИИ.
Кэтрин Йео - студентка факультета компьютерных наук в Гарварде, интересуется искусственным интеллектом / машинным обучением / НЛП, справедливостью и этикой, а также всем, что с этим связано. Не стесняйтесь предлагать идеи или поздороваться с ней в Твиттере.
