Мы отлично провели 6-й ежегодный саммит технических директоров с Amii / DeepMind в UofA с 12 нашими техническими директорами еще в ноябре. За прошедшие годы мы обнаружили, что небольшая группа технических директоров, собирающаяся вместе в непринужденной обстановке, дает возможность получить бесценный опыт Aha! моменты и помогает строить прочные отношения в нашем сообществе.
За последние несколько лет, когда машинное обучение стало универсальным компонентом современного стартап-стека, появилось так много интересных вопросов, что мы подумали о том, чтобы обратиться к ним напрямую с некоторыми из ведущих умов в этой области, в том числе с особым участием Рича Саттона и Адам Уайт из DeepMind. Мы также провели время с исследователями Amii / UofA и с трепетом осознали, что некоторые из их алгоритмов развили сверхчеловеческую производительность почти во всех играх Atari, о которых мы только могли подумать… 🤓
Оглядываясь назад на то, что было главным для технических директоров, основные моменты можно разделить на три широких вопроса, на которые мы поделимся ответами ниже:
- Как технические директора преодолевают новые проблемы, связанные с ИИ?
- Как сегодня стартапы могут добиться успеха с помощью машинного обучения?
- Где находятся самые современные исследования?
1. Как технические директора преодолевают новые проблемы, связанные с ИИ?
Одна из проблем, с которой сталкиваются стартапы, использующие ИИ, заключается в том, что для создания продуктов требуются принципиально разные подходы и инфраструктуры. Эндрю Нг приводит отличную цитату, отражающую эту идею:
«Если менеджер по продукту, разрабатывающий чат-бота, идет к инженеру, рисует каркас и говорит:« Пожалуйста, сделайте так, чтобы пузыри речи выглядели так », - инженер скажет:« Мне все равно, что пузыри » похоже, мне нужно знать, что должен сказать мой чат-бот »»
Короче говоря, ИИ меняет то, как внутренние команды организованы и взаимодействуют друг с другом с нуля. В этом состоянии перемены многие технические директора рассказали, как возвращение к основным принципам и эффективному общению может помочь добиться согласованности между их командами и остальной частью организации.
Джорди Хендерсон, старший вице-президент по разработке и производству продуктов в Bench, глубоко подумал об этом, поскольку ранее испытал изменения, необходимые для масштабирования технологических команд в Hootsuite:
Короче говоря, технологические команды должны быть * видимыми * и * предсказуемыми *:
- Видимость: позвольте вашей компании видеть, что делает R&D
- Предсказуемо: развивайте стабильные темпы выпуска новых функций
Чтобы добиться этого, Джорди увидел в действии следующие передовые методы:
- Регулярно собирайте все руки для демонстрации новых функций, приглашайте всех
- Будьте конкретны в том, какие функции могут сделать для управления ожиданиями по сравнению с шумихой об ИИ.
- Определите измеримые KPI, которые будут сообщены организации.
Еще одно интересное обсуждение возникло о том, как интеграция талантов ИИ в архитектуру группы роста помогает соединить технологии с бизнес-целями. В разговоре упоминались некоторые из лучших практик, которые были хорошо освещены нашими друзьями из YC, которые написали отличную статью о том, как создать, укомплектовать и масштабировать программу роста.
2. Как сегодня стартапы могут добиться успеха с помощью машинного обучения?
Джимо Овбиагеле, который является соучредителем Ross Intelligence и в настоящее время руководит технологией и продукцией в качестве технического директора, сделал отличную цитату, в которой резюмировал свой взгляд на ИИ:
«Мы в конце 1800-х годов, Карл Бенц только что изобрел автомобиль, люди называют его машиной для телепортации. Мы просто называем это более быстрым способом добраться из пункта А в пункт Б. »
Джимо также поделился отличными новостями об обучении в Россе. Эти уроки отражают пару общих тенденций, хорошо подчеркивающих, как стартапы получают преимущества с помощью машинного обучения:
Доступ к уникальным и чистым данным - самый большой источник конкурентного преимущества
- Это мнение разделяется в нашем портфолио и основано на убеждении, что алгоритмы с открытым исходным кодом уже стали массовыми.
- Стартапам также требуется достаточно * реальных * данных для разделения наборов данных между обучением, тестированием и проверкой. В противном случае возникнет переоснащение модели.
У показателей эффективности есть компромиссы
- Определение производительности невероятно субъективно. Например, при поиске правильной судебной практики алгоритм может пометить все как неправильное и достичь высокой точности, не создавая никакой ценности для потребителя. Определение того, что следует оптимизировать, требует постоянной доработки.
- Точно так же критически важно, чтобы показатели производительности руководствовались ожиданиями пользователей. Как ни странно, наши друзья из AirBnB поняли, что существует огромный разрыв между тем, как их профессиональные фотографы оценивают фотографии (оптимизация дизайна, эстетика) и тем, что пользователи на самом деле ищут (оптимизация для уюта).
Стартапам следует сосредоточиться на прикладных исследованиях (а не на фундаментальных).
- Сосредоточьтесь на воспроизведении результатов, достигнутых на переднем крае
- Оптимизация скорости тестирования - время, необходимое для создания моделей, со временем должно сократиться с недель до дней.
- Инвестируйте в автоматизацию тестирования, инструменты диагностики и инфраструктуру, чтобы как можно быстрее получать, очищать и анализировать данные
Поиск талантов требует глубоких местных связей в центрах искусственного интеллекта
- Интересно, что в наши дни многие стартапы получают большую рентабельность инвестиций при найме студентов-магистров по информатике или математике (в отличие от докторов наук).
- Глубокие связи с суперкластерами ИИ позволяют установить партнерские отношения с исследовательскими организациями, такими как Росс и Ами только что объявили. Партнерские отношения такого типа являются мощным способом вовлечь сообщество разработчиков открытого исходного кода в творческие способы, такие как создание импульса вокруг конкретных тем исследований или наборов данных.
3. Где сейчас самые современные исследования?
Наши дневные сеансы с Ричем и Адамом, несомненно, были самым ярким событием дня. Стало ясно, что для понимания идей, питающих передний край, требуется более высокий уровень мышления. Чтобы перейти от узкой формы ИИ к более обобщенной, требуется радикально иной подход - тот, который в конечном итоге приближает нас к пониманию того, как работает человеческий разум.
Как любил говорить Рич, методы контролируемого обучения, создающие большую часть коммерческой ценности, сегодня не имеют тенденции к элегантному масштабированию. Узкие места возникают, когда требуется скормить моделям большой объем очищенных, помеченных данных. Собирать, обрабатывать и маркировать данные просто болезненно - показательный пример.
Именно поэтому обучение с подкреплением (и DeepMind) переживает бум - вместо того, чтобы человеческие эксперты передавали маркированные данные в сложную систему, которая уже включает в себя ручные методы обучения, такие алгоритмы, как AlphaZero, смогли достичь сверхчеловеческой производительности за счет обучения с подкреплением из игр про себя. играть - в Го, шахматы, а теперь и сёги (японские шахматы).
AlphaZero не получил никаких предварительных знаний в предметной области, кроме правил игры, и быстро (‹24 часа) научился их овладевать. Это очень важно, поскольку этим программам не требуются помеченные данные - вместо этого они начинают с чистого листа, учатся прямо в операционной среде, и теперь мы начинаем видеть, как они обобщаются для нескольких смежных игр.
Еще одно интересное открытие, появившееся в ходе нашего обсуждения, касалось того, как мировые ассоциации GAFA используют головокружительную скорость инноваций в своих интересах. Например, такие исследовательские центры, как DeepMind, открывают исходный код своей работы, зная, что к тому времени, когда стартапы освоят новейшие методы, они все еще будут на два года впереди.
В целом беседа с Ричем и Адамом укрепила нашу общую веру в то, что стартапам следует сосредоточиться на поиске преимуществ в продукте, а не на попытках конкурировать на передовых технологиях и фундаментальных исследованиях.
Подведение итогов года в искусственном интеллекте выходит за рамки этого поста, но мы обнаружили, что этот один Денни Бритца помогает подвести итог, почему обучение с подкреплением так важно и будет таким огромным.
🎉 Мы хотели бы поблагодарить Кэмерона Шулера из Amii за его потрясающий вклад в мероприятие, а также Рича Саттона и Адама Уайта за то, что они встретились с нашими техническими директорами и вдохновили нас. Оглядываясь на эволюцию ИИ за последние несколько лет, мы чувствуем себя привилегированными, создавая это сообщество и помогая приносить новые идеи в мир. 🎉