Оказывается, "сезоны" просто не встречаются в данных

Носите одежду подходящего цвета и будьте привлекательнее!

В этом прелесть сезонного анализа цвета. Если правильно поместить вас в один из четырех сезонов - весну, лето, осень и зиму - у каждого будет своя палитра цветов, подходящая для вас.

В этой статье наука о моде используется для изучения простой концепции - действительно ли люди разбиваются на четыре сегмента, которые соответствуют традиционным сезонным заданиям? Наука о моде для моих целей включает обработку изображений, машинное обучение и анализ данных, а также традиционные художественные и психологические концепции.

Используя более 100 000 «портретных селфи», собранных из нашего текущего приложения для iPhone (All Eyes on Hue), мы разбиваем каждое селфи на ключевые части тела - кожу, волосы, глаза и губы. (Под «портретным селфи» я прямо подразумеваю портрет с высоким разрешением - нам нужно много пикселей на радужной оболочке!) Затем мы применяем методы кластерного анализа, чтобы сгруппировать селфи вместе на основе сходства цветов их частей тела. Несмотря на то, что существует четкая кластеризация из двух кластеров и четырех кластеров, они совершенно не коррелируют с сезонными описаниями.

Новая, научно обоснованная сегментация создает прочную основу для лучшего обзора подхода к сегментации рынка, основанного на данных, для дизайна одежды, маркетинга и розничной торговли. Дальнейшая работа также заставляет нас вернуться к личному анализу цвета - созданию персонализированных палитр на основе цветовых гармоний конкретного человека.

Фон

Сезонный анализ цвета (SCA) основан на концепции, согласно которой гармоничные цвета улучшают естественную красоту человека. Сезонный аспект относится к помещению всех людей в один из четырех сегментов, названных в честь времен года. Существует руководство для пользователей по самоидентификации, хотя исторически пользователи были помещены в свой сезон опытными практиками. Интересно, что эти специалисты часто расходятся во мнениях, к какому сезону поместить изображение, особенно в крайних случаях.

Учитывая преобладание смартфонов с камерами, разве это не естественная область для попыток автоматического определения времени года?

Поэтому группа из нас исследовала, спроектировала и развернула приложение для iOS, которое именно это и делает, т. Е. Делает селфи-портрет и определяет сезон этого человека. Кроме того, мы показали этому человеку его сезонную палитру, а также предоставили ему возможности дополненной реальности, такие как прямой видеопоток с камеры телефона, показывающий хорошие и плохие цвета. Это полезно в таких местах, как магазин одежды.

В этой версии приложения есть проблемы, в первую очередь отсутствие повторяемости в сезонных заданиях из-за различий в освещении и композиции портретного селфи. Мы рассмотрели это в приведенном ниже анализе и планируем выпустить более эффективное приложение в ближайшем будущем.

Благодаря использованию нашего приложения у нас есть более 100 тысяч портретных селфи людей. Этот набор не отражает распределение людей по возрасту, полу, географическому положению и расам. Один из полезных способов думать о портретах - это «люди, интересующиеся модой с iPhone». Эти портретные селфи были собраны только для аналитики. Пользователи согласились с этим положением до предоставления своего автопортрета, который недоступен или не отображается на индивидуальном уровне.

Что мы можем узнать, имея этот набор данных о портретных селфи? Давайте проверим гипотезу о том, что действительно есть сезоны для классификации людей в наших данных.

Классификация портрета

Суть оценки портрета заключается в разбиении портретного изображения на части тела - кожу, волосы, глаза и губы. Цвета каждой части тела являются репрезентативными для этого человека и помогают нам определить их цвет. Это очень важное предположение - сезонное назначение цветов основано на цветах основных частей тела.

Короче говоря, этот процесс представляет собой простой конвейер:

  • Отфильтруйте плохие изображения - слишком яркие / темные, с глубокими тенями, в очках / шляпах и т. Д.
  • Автоматический баланс белого изображения - благодаря обширному обучению сети машинного обучения мы добиваемся хороших результатов в изображении «настоящего» человека. В качестве упражнения просмотрите, скажем, серию селфи из Facebook и увидите, как сильно варьируется, по-видимому, человеческий оттенок кожи!

  • Определите части тела - используйте обработку изображений и дополнительное машинное обучение для определения кожи, волос, глаз (радужная оболочка), глаз (склера - белки) и губ.

  • Классифицируйте цвета этих частей тела - как средний цвет, так и ранжирование репрезентативных цветов, чтобы уловить богатство более тонких вторичных цветов.

Вот и все - теперь у нас есть числовое представление селфи-портрета, готового для анализа.

Кластерный анализ

Кластерный анализ предназначен для группирования портретов так, чтобы похожие портреты были в кластерах. Это обычная задача при анализе данных. Для кластерного анализа доступно множество подходов и алгоритмов. Входными данными для нашего кластерного анализа является набор цветов для набора частей тела. Результатом является набор кластеров и отождествление каждого портрета с его кластером.

В следующем результате используются три части тела - кожа, волосы и радужная оболочка. Они были сгруппированы на основе их среднего цвета в цветовом пространстве Lab, а не в RGB. Как говорится в Википедии, Lab «была разработана так, чтобы воспринимать одинаково по отношению к человеческому цветовому зрению, что означает, что одинаковое количество числовых изменений в этих значениях соответствует примерно одинаковому количеству визуально воспринимаемых изменений». Тем не менее, мы оценивали несколько частей тела и разные цветовые пространства, чтобы добиться аналогичных результатов.

Первый подход к идентификации кластеризации известен как подход локтя. Кластеры от 1 до 30 оцениваются на предмет того, насколько хорошо они сгруппированы. Лучшее представление количества кластеров - это изгиб на графике.

Сезонный цветовой анализ заставляет нас поверить в то, что должны быть четкие и отчетливые группы из двух сезонов - теплый / прохладный - и четырех сезонов. На этом графике действительно не видно, где находится «локоть» - 2, 3, 4 или 5 кластеров?

Другой подход - иерархическая кластеризация. Это определяет кластеры на основе расстояний между цветами частей тела каждой модели. Результат показан в виде дендрограммы - древовидной структуры. На диаграмме, следующей за осью Y, показана мера близости портретов. Способ интерпретации этой диаграммы для идентификации кластеров состоит в том, чтобы найти большие отрезки Y, на которых кластеры согласованы.

Используя этот метод, можно увидеть четкую интерпретацию двух кластеров, за которыми следуют четыре кластера. Это соответствует сезонной цветовой интерпретации.

Одна из концепций сезонного цветового анализа заключается в том, что кластеризация на два сегмента может / должна быть основана на теплых / холодных цветах кожи. На цветовом круге теплый цвет часто связан с его верхней частью - красный с желтым - в то время как холодный - с другой стороны - или синий с пурпурным. Традиционно «теплый» относится к весне и осени, а «прохладный» - к лету и зиме.

В репрезентативном наборе наших данных все оттенки кожи кажутся теплыми, то есть (сюрприз!) Телесного цвета, а кластеризация кажется равномерно рассредоточенной при изменении оттенка. Другими словами, модель с двумя кластерами не работает с цветами / оттенками кожи. Однако обратите внимание, что эта связь температуры с оттенком часто считается психологической, а не физической, имея в виду «подтон» для определения температуры. Этот подтекст не отображается в данных.

Четыре кластера - это времена года? Большое испытание

Если мы возьмем модель с четырьмя кластерами из графа кластеризации дендрограммы ранее, мы можем проверить, соответствуют ли они сезонам. Фактические средние цвета для каждого из четырех кластеров графически показаны внизу этой диаграммы.

Чтобы проверить нашу кластеризацию, мы сопоставили наши назначения кластеризации с назначениями популярного сезонного эксперта по цвету. Поскольку мы не знаем, как сезоны соотносятся с этими вновь обнаруженными кластерами, нам нужно попробовать все комбинации, например, попробовать кластер один как Весна, затем кластер один как Лето и т. Д. Всего существует 24 возможных комбинации наших кластеров. к возможным сезонам. Идеальное отображение будет 100%, а полностью случайное отображение - 25%. Исходя из опыта, я надеюсь, что сопоставление 80% -90% заявит об успехе.

Для наилучшего сопоставления наших кластеров с классификациями сезонов экспертов существует процент совпадения 36%. Это не достоверное сопоставление.

Игнорируя общее сопоставление - где каждый сезон сопоставлен с одним кластером, но сосредотачиваясь только на одном сезоне за раз - лучшим сопоставлением является зима для кластера два, что, кстати, выглядит несколько подходящим для глаза. Далее следует Саммер в третий кластер. Однако, хотя идеальное сопоставление снова будет 100%, процент сопоставления все еще составляет только 47% для Зимнего кластера 2 и 45% для Летнего кластера 3 - все еще плохой, не заслуживающий доверия результат.

Резюме

Мы показали, что существует, в лучшем случае, слабая связь между нашими более 100 000 селфи-портретов и моделью сезонного цветового анализа - мы видим выше случайное распределение 25% на класс, но далеко не около ожидаемых 80–90%. Это демонстрируется различными методами кластеризации, применением оценки «тепло / холодно» и применением экспертных оценок сезонных цветов. Может быть несколько способов не согласиться с нашей интерпретацией: от плохого извлечения цветов из селфи-портретов до проблем с нашим набором данных для других. Мы уважаем все вызовы, но оставляем за собой оговорку, что это исследование начинается - но с предписанием науки моды - это сильное предпочтение анализа, основанного на фактах, когда это возможно.

Эта работа имеет серьезные последствия для индустрии моды. При более точном и фактическом определении сегментов рынка, определяемых по их окраске, можно более точно настроить дизайн, маркетинг и даже розничную торговлю.

Мы продолжаем эту работу разными способами. Интересным способом, являющимся ответвлением этой работы, является создание динамических палитр - или палитр, персонализированных индивидуально, в отличие от сезонов или кластеров. Это также дает преимущество настройки палитры для конкретной окраски частей тела, например, оттенков волос, блеска для губ и т. Д., А также различных условий освещения, например, солнце, бальный зал, офис и т. Д.

Следите за обновлениями, поскольку мы продолжаем наши исследования и обмен наборами данных и кодом!