- Встраивание документа с векторами абзацев(arXiv)
Автор: Эндрю М. Дай, Кристофер Олах, Куок В. Ле
Аннотация: Векторы абзацев недавно были предложены в качестве неконтролируемого метода изучения распределенных представлений фрагментов текстов. В своей работе авторы показали, что метод может изучать встраивание текстов обзоров фильмов, которые можно использовать для анализа настроений. Это доказательство концепции, хотя и обнадеживающее, было довольно узким. Здесь мы рассматриваем задачи, отличные от анализа настроений, обеспечиваем более тщательное сравнение векторов абзацев с другими алгоритмами моделирования документов, такими как скрытое распределение Дирихле, и оцениваем производительность метода по мере изменения размерности изученного представления. Мы сравнили модели с двумя наборами данных о сходстве документов: один из Википедии, другой из arXiv. Мы заметили, что метод вектора абзаца работает значительно лучше, чем другие методы, и предложили простое улучшение для повышения качества встраивания. Как ни странно, мы также показываем, что, подобно встраиванию слов, векторные операции над векторами абзацев могут давать полезные семантические результаты.
2. TensorFlow: крупномасштабное машинное обучение в гетерогенных распределенных системах(arXiv)
Автор: Мартин Абади, Ашиш Агарвал, Пол Бархам, Юджин Бревдо, Жифэн Чен, Крейг Ситро, Грег С. Коррадо, Энди Дэвис. , Джеффри Дин, Матье Девен, Санджай Гемават, Иан Гудфеллоу, Эндрю Харп, Джеффри Ирвинг, Майкл Айсард, Янцин Цзя, Рафал Йозефович, Лукаш Кайзер , Манджунат Кудлур, Джош Левенберг, Дэн Мане, Раджат Монга, Шерри Мур, Дерек Мюррей, Крис Олах и др.
Аннотация: TensorFlow — это интерфейс для выражения алгоритмов машинного обучения и реализация для выполнения таких алгоритмов. Вычисление, выраженное с помощью TensorFlow, может быть выполнено с небольшими изменениями или без изменений в самых разных разнородных системах, начиная от мобильных устройств, таких как телефоны и планшеты, и заканчивая крупномасштабными распределенными системами, состоящими из сотен машин и тысяч вычислительных устройств, таких как карты GPU. . Система является гибкой и может использоваться для выражения широкого спектра алгоритмов, включая алгоритмы обучения и логического вывода для моделей глубоких нейронных сетей, и она использовалась для проведения исследований и развертывания систем машинного обучения в более чем дюжине областей. информатика и другие области, включая распознавание речи, компьютерное зрение, робототехнику, поиск информации, обработку естественного языка, извлечение географической информации и компьютерное открытие лекарств. В этом документе описывается интерфейс TensorFlow и реализация этого интерфейса, которую мы создали в Google. TensorFlow API и эталонная реализация были выпущены в виде пакета с открытым исходным кодом под лицензией Apache 2.0 в ноябре 2015 года и доступны на www.tensorflow.org.
3.Конкретные проблемы безопасности ИИ(arXiv)
Автор: Дарио Амодей, Крис Олах, Джейкоб Стейнхардт, Пол Кристиано, Джон Шульман, Дан Мане.
Аннотация. Быстрый прогресс в области машинного обучения и искусственного интеллекта (ИИ) привлек повышенное внимание к потенциальному влиянию технологий ИИ на общество. В этой статье мы обсуждаем одно такое потенциальное влияние: проблему аварий в системах машинного обучения, определяемую как непреднамеренное и вредоносное поведение, которое может возникнуть из-за плохой конструкции реальных систем ИИ. Мы представляем список из пяти практических исследовательских проблем, связанных с риском несчастных случаев, классифицированных в зависимости от того, возникает ли проблема из-за неправильной целевой функции («предотвращение побочных эффектов» и «предотвращение взлома вознаграждения»), целевой функции, которую слишком дорого оценивать. часто («масштабируемое наблюдение») или нежелательное поведение в процессе обучения («безопасное исследование» и «распределительный сдвиг»). Мы рассматриваем предыдущую работу в этих областях, а также предлагаем направления исследований с упором на актуальность передовых систем искусственного интеллекта. Наконец, мы рассматриваем вопрос высокого уровня о том, как наиболее продуктивно думать о безопасности перспективных приложений ИИ.
