Adobe Photoshop — один из самых популярных продуктов для редактирования фотографий, используемый широким кругом клиентов — создателями поколения Z, студентами университетов, профессиональными фотографами и начинающими иллюстраторами. Как специалисты по данным о продуктах в организации Digital Imaging, мы анализируем интересные данные об использовании от наших клиентов, чтобы получить информацию, построить модели рекомендаций и сделать Photoshop более простым в использовании и обучении. В дополнение к данным об использовании мы часто объединяем качественные отзывы о продукте и количественные данные из наших отчетов о стабильности продукта, чтобы устранить узкие места производительности в наших приложениях.

Выявление проблем с продуктом с помощью науки о данных является сложной задачей из-за широкого спектра реальных проблем. В этом блоге я объясню, как мы используем науку о данных для прогнозирования производительности Photoshop, и основные выводы по глубокой интеграции данных о продуктах с основными рабочими процессами проектирования и повышения производительности.

Проблемы с данными о продуктах

При более тщательном изучении данных мы столкнулись с рядом постоянных проблем при обработке данных о стабильности:

1. Задержка данных: Photoshop — это преимущественно настольное программное обеспечение. Клиенты, использующие Photoshop, имеют длительные сеансы, часто охватывающие несколько дней, что приводит к большим конвейерам обработки данных. Все эти факторы способствуют некоторой задержке данных. Иногда может потребоваться несколько дней, чтобы данные о продукте попали в руки ученых и аналитиков.

2. Шаблоны использования: студенты, представители поколения Z, профессионалы и любители имеют разные шаблоны использования Photoshop.

3. Шаблоны обновления. Не все наши клиенты обновляют наше приложение в первый день выпуска.

Из-за этих неопределенных факторов количество ошибок или отчетов о стабильности, о которых сообщают наши клиенты, может меняться каждый день, что затрудняет оценку производительности Photoshop сразу после выпуска новой версии.

Построение модели прогнозирования нестабильности

Для нас стало критически важным устранить эти неопределенности данных, чтобы сделать наши продукты более стабильными и надежными. Мы исследовали и внедрили новую модель науки о данных, которая изучает прошлые и текущие модели использования и журналы производительности, чтобы прогнозировать уровень стабильности недавно выпущенной версии Photoshop на срок до 4 недель в будущем на основе производительности выпущенной версии в первый день. Эта модель отправляет предупреждения нашим заинтересованным сторонам, чтобы они предприняли соответствующие действия в случае, если наши прогнозируемые уровни нестабильности превышают норму.

Соображения относительно данных и моделей

Данные о продукте, относящиеся к отчетам о стабильности, передаются в структурированном формате с определенной меткой для каждого пользовательского сеанса, указывающей, сталкивался ли пользователь с какими-либо проблемами производительности при использовании Photoshop. Мы создали масштабируемый конвейер обработки данных, который ежедневно собирает эти данные.

После выпуска новой версии Photoshop мы обучаем взвешенную регрессионную модель, которая использует в качестве входных данных исторические данные о стабильности прошлых выпусков Photoshop и ранние сигналы данных (1 день с момента выпуска) недавно выпущенной версии Photoshop. Эта взвешенная регрессионная модель прогнозирует ежедневные уровни нестабильности этой новой версии на срок до 4 недель с учетом динамических шаблонов обновления и переменных задержек данных.

Весь этот модуль прогнозирования сочетается с установленными пороговыми значениями предупреждений, основанными на ключевых показателях эффективности, установленных командой продукта и руководством. Если прогнозы превышают определенный порог, соответствующие группы инженеров получают предупреждение о необходимости исследовать эти ранние сигналы и, при необходимости, предоставить исправление для наших клиентов по всему миру.

Стратегия использования взвешенной регрессии —

Поняв, как наши клиенты используют Photoshop, мы поняли, что не все клиенты сразу же обновляют свои приложения.

Еще один аспект, который мы хотели смоделировать, — это усилия инженеров, стоящих за каждым выпуском. Ошибки из предыдущих выпусков исправлены в следующем выпуске. Этот цикл происходит для каждой новой версии (большинство отзывов/ошибок из предыдущей версии устраняются в следующей версии).

Используя модель взвешенной регрессии, мы можем присвоить соответствующие оценки на основе давности данных и прогнозировать уровень нестабильности на много дней вперед (данным, полученным из последней версии, присваивается наибольший вес, а данные более старой версии автоматически присваиваются). меньший вес для обучения модели).

Какое влияние это оказывает?

Для оценки производительности выпущенной версии Photoshop потребуется много времени из-за задержек данных и динамических моделей использования. Благодаря этой системе прогнозирующих предупреждений наше внутреннее время оценки выпуска Photoshop сократилось более чем на 80%. Мы можем активно реагировать на нестабильные ошибки и быстро рассылать исправления, чтобы обеспечить стабильный продукт для всех. Эта система уже выявила и предупредила о производительности нескольких версий, и она продолжает улучшаться по мере того, как мы собираем больше отзывов клиентов.

Расширение до бета-версии

Бета-версия Photoshop была запущена в прошлом году и обеспечивает обратную связь между подписчиками Adobe Creative Cloud и командой разработчиков Photoshop. Бета-версия также позволила подписчикам опробовать новые интересные функции (например, Генеративное заполнение). Мы расширили подход прогнозирования нестабильности к нашей бета-программе, предоставив нам дополнительный способ прогнозирования стабильности продукта и устранения критических ошибок перед выпуском новых обновлений продукта.

Мы продолжаем прислушиваться к реальным отзывам наших клиентов на различных социальных платформах, чтобы создавать лучшие функции.

Выводы и выводы

  • Работая на стыке управления продуктами и базовой разработки, мы поняли, что науку о данных можно использовать инновационными способами для прогнозирования производительности продукта и предоставления практических идей нашим ключевым заинтересованным сторонам.
  • Ранние отзывы от наших клиентов бета-версии помогли нам протестировать функции в различных реальных сценариях и использовать эти данные для повышения точности нашей модели.
  • Призываем наше сообщество отправлять отчеты о сбоях с указанием адреса электронной почты, чтобы мы могли отслеживать проблемы и принимать меры.

Мы надеемся, что идеи, которыми мы поделились в этом блоге, могут быть применены к широкому кругу приложений и проектов.

Спасибо

Спасибо всем нашим клиентам по всему миру, которые используют Photoshop для создания красивых изображений.