Раньше считалось, что если пин никогда раньше не сохранялся в Pinterest, мы не могли предоставить рекомендации по связанным пинам. Это связано с тем, что связанные пины в основном генерировались путем обхода локального «графа курирования», трехстороннего графа «пользователь-доска-изображение», который органически эволюционировал в результате человеческого курирования. В результате пины с «длинным хвостом» или пины, которые лежат на окраинах этого графа курирования, имеют так мало соседей, что подходы на основе графов не дают достаточно релевантных рекомендаций. Расширяя систему рекомендаций, мы теперь можем рекомендовать пины почти для всех пинов на Pinterest, как показано ниже.
Рис. 1. До и после добавления визуального поиска в рекомендации по связанным пинам.
Эксперимент 2. Рекомендации по продукту за счет распознавания объектов.
Этот эксперимент позволил нам показать визуально похожие рекомендации по пинам, основанные на определенных объектах на изображении пина. Мы начинаем с экспериментов со способами использования распознавания объектов на поверхности, которые позволяют пиннерам нажимать на объекты (например, сумки, обувь и т. Д.), Как показано ниже. Мы можем использовать распознавание объектов, чтобы определять такие товары, как сумки, обувь и юбки, по изображению булавки. Из этих обнаруженных объектов мы извлекаем визуальные элементы для создания рекомендаций по продукту («похожие взгляды»). В начальном эксперименте Пиннер обнаруживал рекомендации, если на объекте в Пин была красная точка (см. Ниже). При нажатии на красную точку загружается лента пинов с визуально похожими объектами. Мы разработали эксперимент с красной точкой, чтобы попробовать другие способы создания визуально схожих рекомендаций для конкретных объектов, и в этом году мы расскажем о них еще больше.
Рис. 2. Мы применяем обнаружение объектов для локализации таких товаров, как сумки и обувь. В этом прототипе пиннеры нажимают на интересующие объекты, чтобы просмотреть похожие товары.
Мы надеемся, что, поделившись нашими деталями реализации и опытом запуска продуктов, визуальный поиск можно будет шире внедрить в современные коммерческие приложения.
Благодаря миллиардам пинов в системе, которую курируют отдельные пользователи, у нас есть один из крупнейших и наиболее полно аннотированных наборов данных в Интернете, и эти эксперименты - лишь небольшой пример того, что возможно в Pinterest. Мы создаем команду глубокого обучения мирового уровня и тесно сотрудничаем с членами Berkeley Vision and Learning Center. Нам повезло, что некоторые из них присоединились к нам за последние несколько месяцев.
Если вы заинтересованы в изучении этих наборов данных и помощи в создании технологий визуального обнаружения и поиска, присоединяйтесь к нашей команде!
Кевин Цзин - технический менеджер группы Visual Discovery. Ранее он основал Visual Graph, компанию, приобретенную Pinterest в январе 2014 года.
Благодарности: эта работа является совместной работой членов команды Visual Discovery, Дэвида Лю, Цзяцзин Сю, Дмитрия Кислюка, Эндрю Чжая, Джеффа Донахью и нашего менеджера по продукту Сары Тавел. Мы хотели бы поблагодарить инженеров из нескольких других команд за их помощь в разработке масштабируемых поисковых решений. Мы также хотели бы поблагодарить Джеффа Донахью, Тревора Даррелла и Эрика Ценга из команды Berkeley Caffe.
Для получения технических новостей и обновлений Pinterest следите за нашими техническими новостями Pinterest, Facebook и Twitter. Заинтересованы в присоединении к команде? Посетите наш Сайт вакансий.
