Это перепечатка (более или менее) ежедневного информационного бюллетеня ARCHITECHT за вторник. Зарегистрируйтесь здесь, чтобы получать его в свой почтовый ящик каждое утро.
Это два довольно больших вопроса, и мне есть что сказать, поэтому позвольте мне просто углубиться в каждый из них как можно меньше. Тем не менее, я думаю, что они также более связаны, чем может показаться, и я объясню, почему в конце.
Databricks привлекла 140 млн долларов США, а в настоящее время уже привлекла 247 млн долларов США.
Это большие деньги, независимо от того, кто вы, но, вероятно, они кажутся еще большими для людей, которые следят за пространством больших данных и, возможно, потратили последние несколько лет на сомнения в облачной бизнес-модели Databricks. Признаюсь, я тоже был немного скептичен, но ставка на то, чтобы более или менее не стать компанией поддержки Spark, похоже, окупилась. Я могу ошибаться, но я приму этот крупный инвестиционный раунд, заявление компании о более чем 500 клиентах и облачные сервисы, предлагаемые теперь всеми другими поставщиками больших данных (и, очевидно, поставщиками облачных услуг) как твердое доказательство.
Я думаю, что мы наблюдаем множество специалистов по данным и архитекторов программного обеспечения, стремящихся создавать новые продукты или новые модели, и они не ограничены существующими инфраструктурными решениями и политиками. На это может быть множество причин, в том числе размер/возраст компании, инфраструктура отдела, устоявшиеся варианты использования Hadoop и общее признание облака как безопасного и даже предпочтительного места для работы. Существует ТОННА конкурентов, в том числе сервисы от Cloudera, Hortonworks, AWS, Microsoft и Google, но репутация Databricks как компании, стоящей за Spark, вероятно, имеет большое значение (как и хороший продукт).
Другая вещь, которая действительно очевидна, если вы читали освещение в прессе финансирования Databricks (особенно это статья Bloomberg), заключается в том, что компания начинает позиционировать себя как платформу для запуска рабочих нагрузок искусственного интеллекта. Cloudera, кстати, сделала почти то же самое, хотя больше говорит о машинном обучении, чем об ИИ. Это шаг, который раздражает и, вероятно, необходим.
Я думаю, что люди, которые разбираются в Spark, понимают, какое место он занимает в общей картине, а также понимают различия, например, между классическими заданиями машинного обучения Spark и моделями TensorFlow (которые поддерживает Databricks). Я также подозреваю, что рабочие места ИИ составляют очень небольшой, но растущий процент дохода в большинстве компаний, продвигающих свои платформы как лучшее место для выполнения заданий ИИ (хотя, возможно, более высокий процент в Databricks, учитывая его размер, возраст и продукт). масштаб относительно других в этом пространстве). Но если мир перешел к ИИ как к следующей крупной конкурентной арене, решение остаться позади может быть рискованным маркетинговым решением (даже если фактические обсуждения с клиентами не включают много ИИ).
При этом ИИ достаточно скоро станет обязательной возможностью для всех, кто продвигает технологии аналитики или обработки данных. Если вам нужны дополнительные сведения о том, как Databricks думает о пересечении Spark и ИИ, вы можете ознакомиться с двумя моими недавними интервью подкаста ARCHITECHT Show с его соучредителями:
- Ион Стойка о том, как RISELab расширяет границы работы с данными в реальном времени
- Как создатель Spark пытается демократизировать ИИ с помощью проекта DAWN
На всякий случай (об этом и новостях Microsoft) также ознакомьтесь со следующими интервью в подкастах:
- Технический директор Skymind о реалиях продажи ИИ предприятиям и работе в Азии
- Технический директор IBM Watson Data о том, как развиваются архитектуры данных и наука о данных в эпоху облачных технологий и искусственного интеллекта
- Вице-президент Google Эрик Брюэр по открытому исходному коду, инновациям и экономике облака
- Соучредитель Cloudera о будущем больших данных: AI, IoT и облачные вычисления
- Шоу ИИ и роботов, Эп. 6: Шаран Наранг (Baidu)
Microsoft представляет собственную ПЛИС Brainwave для искусственного интеллекта
Забудьте на мгновение об архитектуре и сосредоточьтесь на общей картине: Brainwave — это прямой ответ на Tensor Processing Units от Google и стратегическое оружие в борьбе за собственные рабочие нагрузки облачного ИИ. Это конец сообщения в блоге Microsoft о BrainWave:
Мы работаем над тем, чтобы эта мощная система искусственного интеллекта, работающая в режиме реального времени, была доступна пользователям Azure, чтобы наши клиенты могли получать преимущества от Project Brainwave напрямую, дополняя непрямой доступ через наши сервисы, такие как Bing. В ближайшем будущем мы подробно расскажем, когда наши клиенты Azure смогут запускать свои самые сложные модели глубокого обучения с рекордной производительностью. Благодаря масштабируемой системе Project Brainwave, доступной для наших клиентов, Microsoft Azure будет обладать лучшими в отрасли возможностями для ИИ в реальном времени.
Вникать в скорости и потоки — бессмысленное занятие, потому что (1) Microsoft признала, что Brainwave был разработан с использованием ПЛИС последнего поколения (и все эти вещи постоянно развиваются), и (2) реальная производительность и опыт пользователя будут сильно зависеть от как продукт Brainwave является частью Azure и реальными рабочими нагрузками клиентов. Но для сравнения вот что Google должен был сказать о своих TPU второго поколения в мае. И вот страница продукта.
Кроме того, Microsoft BrainWave поддерживает несколько сред искусственного интеллекта, включаяTensorFlow. TPU Google только поддерживают TensorFlow.
Вот еще несколько мыслей о влиянии BrainWave и пользовательских чипов ИИ в целом:
1. Где во всем этом Amazon Web Services? Возможно, крупнейший в мире поставщик облачных услуг не думает, что ему нужно специализированное оборудование, чтобы зарабатывать на ИИ, и, возможно, было бы правильно так думать. С другой стороны, не отставать от Джонсов — это своего рода название игры для AWS, Microsoft и Google. Я подозреваю, что AWS объявит о своем собственном оборудовании, оптимизированном для ИИ, до конца года.
2. Насколько значимо нестандартное оборудование для продаж Nvidia и Intel? Графические процессоры Nvidia в настоящее время владеют рынком для выполнения глубокого обучения и других рабочих нагрузок ИИ, но не внутри Google или Microsoft. И, если они добьются своего, вероятно, не для своих облачных клиентов в долгосрочной перспективе. Да, все основные облачные провайдеры теперь предлагают инстансы графических процессоров Nvidia и, несомненно, заработают много денег на их аренде, но смысл создания и предложения собственного оборудования состоит в том, чтобы заставить людей его использовать.
В конечном счете, это будет сводиться к тому, какие ИИ-фреймворки поддерживают эти чипы, какие типы облачных сервисов создают на их основе и как они соотносятся с графическими процессорами с точки зрения цены/производительности. Если мы предположим, что в облаке — включая таких китайских гигантов, как Alibaba и Baidu — со временем будет размещаться значительная часть рабочих нагрузок ИИ, то именно здесь производители чипов будут искать продажи. (Кроме того, майнеры биткойнов…)
Интересным моментом здесь является то, что, хотя часто считается, что Intel упустила лодку с искусственным интеллектом, компания фактически приобрела производителя FPGA Altera еще в 2014 году. Microsoft Brainwave построена на чипах Altera, а FPGA в целом имеют большой потенциал для Нагрузки ИИ.
Однако Intel не одинока: Облако FPGA Baidu работает на оборудовании Xilinx. И, по сути, он также представил сегодня новый ускоритель искусственного интеллекта на базе FPGA, названный XPU.
3. Вот почему такие компании, как Databricks, должны удвоить усилия по обмену сообщениями с помощью ИИ. Потому что хотя такие чипы, как Brainwave и TPU, оптимизированы для рабочих нагрузок ИИ, они не оптимизированы для запуска Spark — по крайней мере, пока. Итак, если вы работаете с Databricks, Cloudera или кем-то еще, вам нужно напомнить людям, что открытые стандартные платформы, работающие на графических процессорах, также могут быть действительно хороши для ИИ. Определенно есть смысл утверждать, что единая платформа данных для обработки ETL, науки о данных, искусственного интеллекта и т. д. — это правильный путь, особенно когда она может работать поверх любого облака.
Будет интересно посмотреть, насколько открытыми станут Brainwave, TensorFlow и все остальное с точки зрения поддерживаемых ими фреймворков. От таких вещей, как Spark, до различных библиотек ИИ, то, что вы можете запускать на этих аппаратных платформах, может иметь серьезные последствия с точки зрения того, насколько широко они используются, и насколько хорошо существующие сторонние сервисы, такие как Databricks, работают с сервисами облачных провайдеров и новыми. услуги, созданные с учетом новых архитектур.
Искусственный интеллект
FTC может глубже взглянуть на искусственный интеллект
Ключевое слово здесь - может.
Versive, урожденная Context Relevant, привлекла 12,7 млн долларов для своего нового направления безопасности на основе ИИ
Безопасность, безусловно, является более целевым приложением, чем компания, занимающаяся машинным обучением общего назначения, но, возможно, она еще более переполнена.
Matterport привлекает 5 миллионов долларов для глубокого обучения трехмерных изображений
Самое интересное здесь то, что Ericsson сделала эти инвестиции (в общей сложности Matterport привлекла 66 миллионов долларов), что может говорить о возможностях, которые компания видит в обеспечении пропускной способности для виртуальной реальности.
Крупнейший в Китае майнер биткойнов переходит на ИИ
Это действительно интересная история. Краткая версия заключается в том, что Bitmain, которая построила свои собственные ASIC для майнинга биткойнов, теперь разрабатывает чипы для глубокого обучения. Теперь просто нужно, чтобы кто-то их купил…
Еще больше достижений ИИ от Microsoft: алгоритмы «контекстного бандита и ИИ в офисе»
Нажмите на заголовок, чтобы прочитать статью о новом подходе к обучению с подкреплением, который, как утверждается, менее привередлив, чем существующие подходы, и более широко применим, чем обучение с учителем. Также стоит прочитать эту статью, посвященную проникновению ИИ в Microsoft Office.
Baidu создала систему для лучшего понимания видео
Это помогло ему выиграть конкурс на конкурсе ActivityNet в этом году, который фокусируется на понимании и классификации видео, а не на классификации изображений.
Краткий обзор по глубокому обучению с подкреплением
Этот документ как раз то, что следует из названия. Прочтите его, если вы думаете: «Я слышал об этом и вроде бы понял, но хотел бы узнать больше». Это относительно легкое чтение.
Облако и инфраструктура
Хорошо, вот еще новости от Microsoft: новые сделки с Halliburton и Red Hat
Главные новости о том, что Microsoft объединилась с Halliburton, чтобы увеличить присутствие Azure в нефтегазовой отрасли, что может иметь смысл, учитывая объем вычислений и данных, которые используют эти компании. Затем есть эта сделка с Red Hat, которая в основном касается OpenShift в Azure и Windows Server в OpenShift.
Компания по управлению облачными данными Druva привлекает $80 млн
Хранилище: это не сексуально, но продолжает оставаться очень прибыльным пространством, отчасти благодаря переходу на облачные вычисления.
Ранняя облачная компания Skytap привлекает $45 млн
Skytap существует уже давно и, похоже, нашел свою нишу, помогая компаниям перемещать устаревшие приложения в облако. Путем создания полных копий своих конфигураций центров обработки данных в облаке.
Генеральный директор GoDaddy Блейк Ирвинг уходит в отставку в конце года
GoDaddy предпринял несколько попыток проникнуть в облачные вычисления, и Ирвинг даже пытался (не знаю, насколько успешно) модернизировать инженерные методы GoDaddy. Он также очень хороший парень.
Кубернетес для высокопроизводительных вычислений
Да, это вещь. Я не уверен, но я полагаю, что в этом направлении у Mesos тоже есть работа. Приобретение Microsoft компании Cycle Computing на прошлой неделе послужило напоминанием о том, что высокопроизводительные вычисления по-прежнему важны, и люди, которые этим занимаются, ищут более современные и гибкие возможности для этого.
Сможет ли облако вытеснить открытый исходный код с предприятия?
Автор утверждает, что будет. спорю не будет. Потому что я думаю, что компании заботятся о привязке и сообществе гораздо больше, чем о стоимости или даже функциях.
Бывший руководитель VMware/Warner Music/Basho теперь вице-президент по разработке программного обеспечения в GE Digital
Если вы знакомы с Дэйвом МакКрори, то знаете, что он был одним из первых и внес существенный вклад в усилия VMware по созданию Cloud Foundry, а также помог перевести Warner Music на платформу Cloud Foundry. Возможно, он также ввел термин «гравитация данных».
Если вам понравился информационный бюллетень, помогите распространить информацию через Twitter или любым другим способом, который вы считаете нужным.
Если вы заинтересованы в спонсорстве информационного бюллетеня и/или подкаста ARCHITECHT Show, напишите мне.
Используете Feedly? Получите ARCHITECT через RSS здесь:
