Эта статья является частью серии Academic Alibaba и взята из статьи Визуальный поиск в Alibaba Яньхао Чжана, Пан Пана, Юнь Чжэна, Кан Чжао, Инъя Чжана, Сяофэн Рен и Ронг Джин приняты KDD 2018. Полную версию статьи можно прочитать здесь.

От поисковых систем до социальных сетей распространенность онлайн-фотографий за последние годы выросла в геометрической прогрессии. Неудивительно, что поиск визуальных изображений, также известный как «поиск изображений на основе содержания», также стал популярнее. Техническая команда Alibaba воплотила эту концепцию в области, где хорошая фотография может иметь значение между успехом и неудачей: покупки в Интернете.

В сотрудничестве с Лабораторией технологий машинного интеллекта Alibaba разработала Pailitao, приложение, которое применяет принципы визуального поиска изображений к электронной коммерции, позволяя пользователям искать предметы, делая снимки объекта запроса. Одним нажатием кнопки Pailitao автоматически возвращает визуально похожие товары на Taobao. Это делает практически любой товар доступным для клиентов, независимо от того, встречается ли он на улице или в социальных сетях, таких как Facebook и Instagram.

Если вы думаете, что это звучит как полезная функция, миллионы других согласятся. Pailitao мгновенно стал хитом после своего запуска в 2014 году и к 2017 году собрал базу пользователей в 17 миллионов активных пользователей в день (DAU). Пик посещаемости пришелся на Всемирный торговый фестиваль Double 11 в этом году - ежегодную феерию покупок Alibaba в Китае, где учитывается DAU. вырос до более 30 миллионов.

Разработка Пайлитао

Несмотря на то, что было проведено большое количество исследований по поиску визуальных изображений, исследователи столкнулись с рядом уникальных проблем при разработке Pailitao.

В отличие от тщательно продуманных фотографий инвентаря на сайтах электронной коммерции, запросы пользователей на Pailitao берутся из реальной жизни. Изображения запросов часто бывают низкого качества и содержат загруженные фоновые функции, которые могут усложнить локализацию объекта. Кроме того, большинство решений для визуального поиска не работают в масштабе Alibaba. Благодаря большой коллекции изображений Alibaba с множеством детализированных категорий технология визуального поиска изображений требует массивной архитектуры данных, а поддержание обучающих данных для глубоких моделей может быть очень дорогостоящим.

Помня об этих практических задачах, исследователи предложили масштабируемую и эффективную систему визуального поиска. Они представили эффективный метод прогнозирования категорий, который использует объединение на основе модели и поиска для уменьшения пространства поиска. Это обеспечивает лучшую масштабируемость и обеспечивает лучшую производительность для категорий путаницы и ограничений домена по сравнению с традиционными методами.

Исследователи также предложили модель глубокой сверточной нейронной сети (CNN) с ветвями для совместного обнаружения и изучения функций. Эта модель слабо контролируется, что сводит к минимуму расходы на данные, помеченные людьми. Модель одновременно обнаруживает маску обнаружения и точные отличительные признаки без фоновых помех. Затем исследователи внедрили процесс поиска, который использует механизм двоичного индексирования и повторное ранжирование для обучения модели и улучшения взаимодействия с клиентами.

В совокупности эти функции образуют мощную крупномасштабную технологию индексирования и поиска, которая позволяет получать ответы за считанные миллисекунды, а также осуществлять отзыв без потерь.

Далеко от фотофиниша

Исследователи провели обширные эксперименты для оценки производительности каждого модуля в системе, собрав 150 тысяч изображений с наибольшим количеством отзывов вместе с идентичными метками элементов полученных результатов. После этого модель Pailitao и несколько других решений для визуальных образов были протестированы на предмет прогнозирования категорий, релевантности поиска, локализации объектов и индексации / переориентации.

В каждом эксперименте модули Pailitao были конкурентоспособными или превосходили конкурирующие современные сети. Эти данные подтверждают эффективность сквозной архитектуры Pailitao для обслуживания миллионов ежедневно активных пользователей. В дальнейшем исследователи надеются включить эту технологию визуального поиска в большее количество коммерческих приложений.

Полную версию статьи можно прочитать здесь.

Alibaba Tech

Подробная информация о последних технологиях Alibaba из первых рук → Facebook: Alibaba Tech. Twitter: « AlibabaTech ».

Получайте лучшие предложения по программному обеспечению прямо в свой почтовый ящик