В самом простом воплощении камера может быть сделана с отверстием в стенке коробки. Это такая простая концепция, которая дала толчок развитию всей области фотографии. В настоящее время камеры есть во всем - в большинстве смартфонов их как минимум две. То, что они делают, больше не кажется революционным, поскольку мы к этому уже привыкли. Точно так же, как пинхол положил начало современной фотографии, камера смартфона может содержать огромный потенциал для новых технологий. В сочетании с новейшими технологиями, основанными на машинном обучении, с помощью одного изображения можно делать удивительные вещи.
Что такое Project Pinhole
Project Pinhole - это попытка сделать камеру смартфона более полезной за счет использования данных Trade Me и пользовательского устройства для создания удобных продаж. Он прошел путь от создания до реализации в течение нескольких месяцев, и в нем удалось объединить несколько различных методов машинного обучения в одном простом в использовании приложении для Android.
Этот пост не обо всем. Вместо этого в серии сообщений в блоге будет подробно рассказано о разработке Pinhole by Trade Me - приложения для Android, которое позволяет пользователям размещать товары на Trade Me без использования клавиатуры. В этом выпуске основное внимание будет уделено предыстории и тому, как появился Project Pinhole, а затем последуют технические публикации, описывающие путь к созданию окончательного приложения.
Часть 1 - Начало
Сделав шаг назад, Trade Me возникла как платформа, на которой Kiwis могла продавать товары друг другу. С годами изменились и люди, и технологии. В последние годы мы заметили кардинальные улучшения в методах машинного обучения, в результате чего появились довольно интересные возможности, такие как поиск фотографий вашего питомца по имени и медицинское программное обеспечение, которое может предсказывать сердечные заболевания по вашим глазам. Машинное обучение в значительной степени основано на данных, и в Trade Me у нас есть много данных. Вскоре кто-то понял, что данные можно использовать более проактивно, чтобы обеспечить удобство для наших пользователей.
Небольшая команда из нас в области мобильных устройств стремилась найти область Trade Me, которая могла бы извлечь выгоду из нового опыта, основанного на данных, остановившись на идее создания метода размещения товаров на сайте на основе изображений. В течение 4 месяцев мы спроектировали и построили не только приложение, но и весь конвейер машинного обучения, который делает все это возможным. Приложение, которое у нас получилось, позволяет любому сфотографировать то, что он хочет продать, продиктовать описание и заполнить пробелы. Если все пойдет хорошо, вы можете разместить объявление на Trade Me через двадцать секунд после съемки.
Что было первым
Мы опробовали ряд проектов во время исследований и разработок еще до создания Project Pinhole. Эти проекты экспериментировали с имеющимися у нас данными, относящимися к изображениям, пытаясь сделать такие вещи, как вывод категории из продукта в изображении или использовать генеративные модели, чтобы попытаться создать заголовок. Эти однодневные проекты помогли повлиять на решения, которые мы принимали при запуске Pinhole, с точки зрения определения того, что мы должны делать, а что нужно делать лучше.
Один из первых проектов RnD, собранных вместе, демонстрирует, как мы пробовали вывод категорий, чтобы ускорить процесс перечисления элементов. При этом используется простая модель на устройстве и базовая структура предложения цены, чтобы попытаться заполнить информацию о товаре.
Поигравшись с образцом этого проекта выше, мы обнаружили, что он очень помог при продаже вещей, но только тогда, когда модель была правильной. С точки зрения пользователей, явно неправильная категория чувствовала, что либо мы сделали плохой снимок, либо технология, лежащая в основе всего этого, была плохо скомпонована. Это не очень хорошо для пользователя и для нас, поскольку может привести к плохому удержанию. К счастью, мы знаем, насколько модель уверена в том, что она предсказывает, и при грамотном рассмотрении проекта можем решить, хотим ли мы показать пользователю наши прогнозы.
В общем, перед тем, как начать путешествие по пинхолу, мы так или иначе отдельно разработали следующие фреймворки:
- Предложения от изображения к категории
- Изображение в заголовок
- Заголовок и категория к ценовым предложениям
- Изображение для атрибута (например, цвет, бренд и т. Д.)
Начало проекта
У нас было несколько моделей, специализирующихся на создании предложений для различных полей в форме Продай свой товар, и нам нужен был способ их всех объединить. Перед нами стояла задача использовать наши данные для создания приятных впечатлений, и мы решили разработать несколько проектов для приложения, которое экспериментальным образом использует камеру. Метод дизайнерского спринта Crazy 8 хорошо сработал для мозгового штурма, оставив нам массу идей, в том числе продажу вещей без клавиатуры.
Окончательный дизайн, на котором мы остановились, был чем-то похожим на тот однодневный проект вывода категорий. Он позволяет пользователю размещать товар на Trade Me без использования клавиатуры, используя распознавание речи и изображений для заполнения всего списка. Дизайн был амбициозным, и он пытался использовать как можно больше моделей, чтобы предсказать и предложить все необходимое для продажи предмета.
В итоге мы получили приложение для Android, которое могло создавать целые списки из одной фотографии. Встроенный микрофон позволяет вам диктовать свое описание, а наши имиджевые модели сделают все остальное.
Целью Project Pinhole было создать опыт, который помог бы пользователям Trade Me продавать вещи менее напряженным образом. Мы все еще собираем отзывы, но, используя его лично для очистки гаража, я бы сказал, что это успех.
Если вы хотите попробовать, Pinhole от Trade Me доступен в магазине Google Play.
Как все это построено?
Готовится серия сообщений в блогах, в которых обсуждается, как все части работают и как все они сочетаются друг с другом. Все они будут более технически сфокусированы. Если вам интересно узнать, как все это работает, ознакомьтесь со следующими материалами:
- Project Pinhole - Укрощение камеры Android (скоро)
- Project Pinhole - TensorFlow на устройстве (скоро)
- Проект Пинхол - Сервис-путь к спасению (Скоро)
Хотите попробовать?
Если вы являетесь пользователем Android в Новой Зеландии или Австралии, вы можете загрузить и попробовать Pinhole от Trade Me! Чтобы воспользоваться рекомендациями, аккаунт не требуется. Вы можете найти его в Google Play Store.
