Авторы Тим Хван и Джек Кларк

НИПС, как всегда, был безумен. Но мы выжили.

Следуя нашим полевым заметкам о политике из NIPS 2016, мы решили записать некоторые мысли, вдохновленные конференцией этого года, выделив несколько последних технических разработок и впечатлений об их вероятном влиянии на обсуждение государственной политики, касающейся машинного обучения.

Мы надеемся, что подобные обзоры могут помочь сориентироваться в нескончаемых волнах исследований, обрушивающихся на эту область, и соединить исследовательскую работу с более широкими дискуссиями, происходящими вокруг социального воздействия технологии.

—

Могут ли децентрализованные алгоритмы превосходить централизованные алгоритмы? Практический пример децентрализованного параллельного стохастического градиентного спуска » - Lian, Zhang, et al.

Хотя архитектура, на которой проводится обучение, часто упускается из виду в популярном освещении машинного обучения, она имеет важные последствия для социального воздействия технологии. Доминирующая модель, которая требует централизации данных и последующего обучения, означает, что эффективное и оптимальное использование машинного обучения находится в некотором противоречии с требованиями сохранения конфиденциальности (хотя исследования продолжаются, чтобы уменьшить степень этого компромисса. ).

Одна из альтернативных архитектур использует более распределенный подход, уменьшая объем данных, которые должны проходить через централизованную точку. Однако они были признаны менее эффективными. Сосредоточившись на параллельном стохастическом градиентном спуске, авторы находят набор условий, при которых децентрализованные установки на самом деле превосходят централизованные архитектуры. Это отличный результат, даже если предполагается, что все серверы работают по децентрализованному алгоритму в одном центре обработки данных.

Один большой вопрос о противоречии между конфиденциальностью и производительностью машинного обучения - это экономический аспект ситуации: есть ли у компаний, инвестирующих и развертывающих эти системы, стимулы для сохранения того и другого? Чтобы это произошло, потребуется, чтобы производительность централизованных и децентрализованных алгоритмов была хотя бы на уровне паритета, а последний в лучшем случае превосходил первый. Этот документ отмечает вклад в этом направлении.

—

Единый подход к интерпретации предсказаний модели - Лундберг, Ли

Интерес к исследовательским вопросам интерпретируемости моделей продолжает расти. В этом году на семинаре Интерпретируемое машинное обучение было очень много посетителей (по результатам которого была получена тонна потрясающих работ, которые вам стоит проверить).

Одна из основных дискуссий, которая продолжает развиваться, - это конечная цель исследования интерпретируемости и ее практического значения, если оно вообще есть. Как замечает Зак Липтон, утверждения, что врач просто не согласится с этим »остается открытым и малоизученным вопросом, а позиция, занятая в вечерних дебатах по этой теме, утверждает, что полезность интерпретируемости на самом деле весьма значительна. ограничено.

Конечно, основная проблема здесь в том, что интерпретируемость чего-либо во многом зависит от рассматриваемого наблюдателя. Таким образом, его серьезное исследование приведет к появлению методов исследования и экспериментов, которые больше похожи на то, что происходит, скажем, при взаимодействии человека с компьютером, а не на чистую информатику. Будет интересно следить за тем, как будет развиваться область, чтобы адаптировать или отвергнуть эту возможность для перехода между дисциплинами.

Эта статья представляет собой подход, в некотором смысле пересекающий эту дискуссию. Авторы предлагают общий подход к интерпретируемости, который связывает ряд более ранних подходов - LIME, DeepLIFT, Shapely Value Estimation и т. Д. - и оценивает интерпретируемость на основе пользовательского исследования, в котором машинная интерпретация сравнивается с человеческим пониманием модели. Однако неясно, действительно ли это та метрика успеха интерпретируемости, которая должна преобладать, особенно с учетом исследования, показывающего степень, в которой можно манипулировать интерпретируемостью (см., Например, (Не) надежность методов значимости; Интерпретируемость нейронных сетей хрупко »). Возникнет ли консенсус между техническими экспертами - вопрос открытый, но если это произойдет, он может оказаться влиятельным, поскольку правительства всего мира рассматривают варианты стиля GDPR, что потребует объяснений от систем машинного обучения при определенных обстоятельствах.

—

Вручение награды« Испытание временем (Али Рахими)» и Проблема с предвзятостью (Кейт Кроуфорд)

По общему признанию, немного глупо делать резюме статей, основанное на расписании исследовательских конференций. На данный момент большинство статей появляется в arxiv и других местах до самих событий, и это обычная жалоба в NIPS и ICML на то, что все уже было просмотрено раньше.

В этом свете здорово видеть, что в этом году была представлена ​​пара основных выступлений - один от Али Рахими, а другой от Кейт Кроуфорд, - которые стали основой разговора, происходящего в NIPS и вокруг него. И то, и другое, на наш взгляд, являются важными призывами к действию для исследовательского сообщества: Рахими сопротивляется скатыванию ML в сторону «алхимии», а Кроуфорд расширяет границы подхода к справедливости и подчеркивает политику самой работы.

Обе беседы просят и побуждают поля задуматься и решить, кем они хотят стать. Для Рахими это включает в себя более глубокое рассмотрение вопросов почему, а для Кроуфорда - учет сложной классификации социального контекста.

В планах Рахими и Кроуфорда исследовательское сообщество, занимающееся машинным обучением, должно быть вовлечено в более широкую игру, взяв на себя большую ответственность за свою уже продолжающуюся роль в формировании интеграции технологии в общество. Нам нужно будет посмотреть, возьмет ли на себя эту ответственность более широкое сообщество по мере того, как шумиха вокруг поля продолжает закручиваться, или же это будет делегировано по умолчанию другим лицам, находящимся за пределами поля.

—

Однократное обучение визуальной имитации посредством метаобучения (Финн, Ю и др.) и Самоконтролируемое визуальное планирование с временными пропусками связей (Эберт и др.)

Одной из постоянных тем в NIPS было заставить системы ИИ научиться быстро учиться. Это вдохновлено одной из самых замечательных черт интеллекта - способностью людей быстро достигать мастерства в новой задаче. Одна из областей, в которой это исследование особенно активно, находится на пересечении единичного обучения, метаобучения и робототехники. Это потому, что многие исследователи считают, что нам нужно значительно упростить для наших систем ИИ приобретение новых навыков, чтобы их можно было обучить выполнять полезные вещи в реальном мире. Этот тип исследования также основан на предположении, что мы не сможем смоделировать все, и, несмотря на такие методы, как рандомизация, нам может быть трудно адаптироваться к некоторому невидимому аспекту реальности, который плохо смоделирован в нашем симуляторе, если достаточно новый.

One-Shot Visual Imitation Learning via Meta-Learning, исследовательская статья из Калифорнийского университета в Беркли, дает нам ранний взгляд на то, как может выглядеть мир будущего, в котором роботы могут учиться быстрее: метод работает с чистые входные пиксели (хотя также могут принимать другие точки данных, такие как пространство состояний и пространство действий и т. совершенно новая задача (например, толкание нового объекта в новом направлении). Методика хорошо обобщается и проверена на реальном роботе, демонстрирующем реальные видеозаписи. Результаты показывают многообещающие, но также указывают на то, что эта технология все еще далека от производства: вероятность успеха этого подхода при однократном размещении объекта составляет около ~ 70% (90%, если вы дадите ему доступ к состоянию и действиям). Исследователи также провели параллельные исследования по разработке роботов, которые лучше предсказывают особенности своего мира для выполнения действий, и продемонстрировали эту работу в NIPS.

По мере развития этот вид исследований открывает путь к развертыванию мощных, эффективных алгоритмов обучения на реальных физических роботах. Это создает ряд политических проблем, связанных с тем, что происходит, когда злоумышленники получают физический доступ к этим роботам - может ли злоумышленник переобучить мощные промышленные машины для выполнения несколько иного поведения? Можно ли банально перепрофилировать роботов для опасных целей? Сегодня системы в некоторой степени ограничены широтой смоделированных задач, которым был обучен робот и которые были способны выполнять политики метаобучения. В будущем это распределение задач будет намного шире, поэтому реальный вопрос, с которым столкнутся разработчики роботов, будет заключаться в том, на каком подмножестве задач тренировать политику метаобучения, поскольку они будут жертвовать гибкостью робота для объема действий. он мог бы работать, если бы к нему обратились, внедрили и перепрофилировали.

—

Черепаха и танк - Примеры 3D-состязательности @ Мастерская по машинному обучению и компьютерной безопасности

Постоянной темой NIPS 2017 было то, что сообщество ИИ пытается справиться с реальным влиянием своего все более умного и применимого вклада в реальный мир. На семинаре по машинному обучению и компьютерной безопасности множество исследователей занялись некоторыми проблемами безопасности, вызванными широкомасштабным развертыванием ИИ.

Аниш Атали и его сотрудники представили свою работу на надежных примерах противоборства: создание изображений, обманывающих компьютерные системы классификации, устойчивые к преобразованию. Самая яркая демонстрация Атали и его коллег - трехмерная черепаха, покрытая определенным визуальным рисунком, из-за чего ее ошибочно классифицируют как «винтовку», а не как трехмерную черепаху.

Это поднимает ряд потенциальных реальных проблем: означает ли это, что можно, например, перекрасить крупный автомобиль, такой как танк, чтобы при просмотре сверху через дрон и / или спутниковые датчики классифицировали его неправильно. как обычная машина, а может дерево? «Да, я думаю, можно будет использовать тот же метод для нацеливания спутниковых изображений», - сказал Атали нам по электронной почте. «Вы можете использовать несколько спутниковых снимков и смоделировать поверх них свою состязательную картину и найти рисунок, который одновременно является враждебным, независимо от уровня трансляции / масштабирования». Поскольку в странах есть несколько спутников, наблюдающих за миром в разных точках, мы также задались вопросом, можно ли создать трехмерный объект противоборства - как наш пример танка - и сделать его состязательным во всех разрешениях, гарантия неправильной маркировки при произвольном увеличении. «Можно создать что-то противостоящее по разным резолюциям. Вы не делаете этого, тренируясь с дискретным распределением разрешений, например {1, 5, 10, 20, 100}, вы тренируетесь по непрерывному распределению (например, равномерное распределение по [1100]) », - говорит он.

Пример со спутником указывает на более серьезную проблему. Будущим политикам необходимо будет подготовиться к среде, полной синтетических данных, генерируемых системами ИИ, и с некоторыми из этих данных, потенциально содержащих различные ловушки, предназначенные для перехвата алгоритмов классификации или анализа и побудить их делать разные прогнозы. Это может иметь несколько интересных эффектов: во-первых, это, вероятно, повысит интерес к хорошим программным инструментам для обеспечения цепочки поставок «данных» и / или «логических выводов», чтобы было легче определить места, куда злоумышленник может внедриться.

—

« Найдено в переводе : прогнозирование результатов сложных реакций органической химии с использованием моделей нейронная последовательность-последовательность» Шваллера, Годена и др. (Награда за лучшую работу на семинаре Машинное обучение для молекул и материалов »)

За годы, прошедшие с тех пор, как глубокое обучение начало захватывать сектор ИИ, мы видели, как общие инструменты, такие как сверточные нейронные сети и рекуррентные сети, а также подходы, такие как методы преобразования домена от последовательности к последовательности, распространяются в другие области. Это означает, что постепенный прогресс в основных областях исследований, таких как распознавание речи и компьютерное зрение, имеет тенденцию способствовать достижению конкретных предметных областей в других секторах. Одно из самых интересных мест для наблюдения за этим явлением - это область химии, где основные исследовательские методы разработки и анализа лекарств трансформируются с помощью методов глубокого обучения.

В новом документе исследователей IBM показано, как применить некоторые методы искусственного интеллекта, первоначально разработанные Google (и впоследствии использованные в Google Translate и Google Assistant) для прогнозирования реакций органической химии, в частности, при просмотре химических реакций, внесенных в каталог данных SMILES и пытается предсказать, как реагенты и реагенты взаимодействуют, чтобы создать определенную целевую молекулу. Научная цель здесь - «решить проблему прогнозирования прямой реакции, когда исходные материалы известны, а заинтересованность заключается в создании продуктов», как они пишут в статье. Чтобы попытаться сделать это, они разработали сеть, которая может принимать химические рецепты, написанные в формате SMILEs, использовать методы последовательность-последовательность для выполнения многоступенчатого преобразования исходной строки в токенизированную строку и отображать исходную входную строку. к целевой строке, в данном случае к продуктам реакций.

Результаты обнадеживают, поскольку методика обеспечивает точность 80,3% наивысшего уровня по сравнению с 74% для предыдущего уровня техники. У статьи действительно есть несколько ограничений, например, 1,3% прогнозов, входящих в топ-1, грамматически ошибочны и, следовательно, недействительны в формате SMILES. Также, вероятно, должен быть способ создания более крупных наборов данных, и есть некоторые свидетельства переобучения (в наборе данных USPTO Джина тренировка вышла на плато, потому что была достигнута точность 99,9%, и сеть запомнила почти весь обучающий набор. более шумный набор данных, точность обучения составила 94,5%.)

В будущем ученые надеются, что «с помощью этого типа модели химики смогут систематизировать и, возможно, однажды полностью автоматизировать искусство органического синтеза». Хотя это может быть далеко от зарождения статьи, интересно - она ​​почти полностью унаследована из другой, кажущейся совершенно другой области (интернет-сервисы потребительского уровня, основанные на искусственном интеллекте от Google), но при этом использует тот же фундаментальный механизм, чтобы продвигаться в другом направлении. проблема, относящаяся к научным изысканиям. Это подчеркивает, как традиционные представления о технологиях «двойного назначения» борются при анализе ИИ: эти методы настолько универсальны, что попадают в категорию «универсальных» - регулировать их может быть так же сложно, как регулировать отвертки, молотки и пластмассы. Это также предполагает, что существует вероятность того, что разумное финансирование фундаментальных научных исследований в смежных с ИИ дисциплинах может открыть новые пути экспериментирования и развития в других областях экономики.

—

Неконтролируемые сети преобразования изображений в изображения - Лю, Брюэль, Каутц

Исследователи используют комбинацию GAN и VAE для создания набора высококачественных переводов из одной области изображения в другую. Особого внимания заслуживает их демонстрация (изображения, доступные в документе), в которых выбираются уличные сцены и они преобразуются из зимних условий в летние, дождливых в ясные, из дня в ночь и так далее.

С точки зрения политики, это продолжает более широкую пару тенденций, которые мы наблюдаем в этой сфере: качество создания изображений продолжает улучшаться - похоже, что со временем эти методы усложнят отличия реального от созданного мультимедиа. Возможно, что еще более важно, барьер для входа продолжает падать - будь то конкретные требуемые наборы данных, вычислительная мощность или необходимый опыт. Это означает, что для более широкого круга участников будет все более рентабельно использовать эти методы в будущем, во благо или во вред.

—

Вот и все! Как всегда, мы следим за новыми политическими документами по мере приближения к 2018 году. Напишите нам в Twitter (Джек Кларк / Тим Хван) или прокомментируйте здесь, если увидите что-нибудь хорошее.