Обратитесь к экспертам в вашей организации, чтобы создать источник правды и обучить модель на его основе.
Работая в бизнес-команде, меня часто просят дать количественную оценку субъективному понятию, для которого не существует общепринятого определения. Типичный вопрос выглядит так: «Сколько наших магазинов успешны?» или «сколько у нас постоянных клиентов?»
Суть проблемы в том, что у каждого есть свое «теоретическое» определение этих субъективных слов (и верят, что их понимание разделяет вся компания). Таким образом, когда задают такой вопрос, основная проблема состоит в том, чтобы на самом деле согласовать все различные точки зрения, чтобы действительно прийти к объективному определению.
Чтобы привести конкретный пример, предположим, что вы работаете в крупной сети супермаркетов, и вас спросили: «Сколько магазинов успешны?»
Вы можете посмотреть на «прибыль» и начать думать о ранжировании различных магазинов на основе прибыльности, но тогда:
- Если предположить, что в вашей отрасли прибыль зависит от размера — будет ли небольшой магазин с небольшой прибылью менее успешным?
- Как насчет магазина, который только что открылся и показывает огромный рост, но не станет прибыльным до следующего года? Или наоборот, что делать магазину с большой прибылью, но отрицательным ростом? Какой из них вы бы отметили как успешный?
- Как насчет очень прибыльного магазина, который собирает все больше негативных отзывов покупателей? Или там очень высокая текучесть кадров?
Внутренний краудсорсинг в помощь
Как мы видим выше, такие субъективные понятия, как «успешный» или «лояльный», могут иметь разные определения в вашей организации. Важно, но может быть довольно сложно привести эти определения в один надежный показатель.
Есть разные способы решить эту проблему, но я нахожу особенно элегантным следующий: создать источник правды в сотрудничестве с несколькими заинтересованными сторонами.
По сути, попросите нескольких внутренних экспертов просмотреть и классифицировать репрезентативную выборку вашей совокупности, а затем подогнать модель к ручной классификации. Это позволит вам понять, какое определение «данных» лучше всего соответствует субъективному понятию, которое вы пытаетесь определить.
- Этот подход обеспечивает согласованность внутри вашей организации, поскольку вы привлекаете заинтересованных лиц из разных команд с разными точками зрения.
- Это также может создать содержательные дискуссии и открыть новые знания, особенно когда два разных эксперта имеют разные классификации одной и той же записи — это поможет вам и им понять обоснование друг друга.
Как конкретно его использовать
- Вытяните список записей, которые представляют все ваше население.
- Попросите нескольких внутренних экспертов помочь вручную классифицировать различные записи и просмотреть классификации вместе с ними, чтобы составить окончательный рейтинг.
- Поздравляем! Теперь у вас есть источник истины для вашей новой метрики, и теперь это гораздо более простая задача классификации. Вы можете начать сопоставлять модель с окончательными рейтингами и корректировать ее в соответствии со своими потребностями (например, как вы балансируете объяснимость и сложность, точность и точность или что-то еще).
- Когда у вас есть первое определение, представьте его своей аудитории и покажите им, что это будет означать для бизнеса (с некоторыми конкретными примерами). Повторяйте по мере необходимости.
Начните работать уже сегодня!
Представленная выше методология является одной из многих, которые вы можете использовать, когда вам задают подобные вопросы. Это не панацея, и вам нужно найти экспертов, готовых потратить время на передачу знаний, которые они усваивали в течение многих лет, но это может сработать довольно хорошо, когда вы работаете над проектами, требующими много согласования и/или над проекты, где вы застряли, и вы даже не знаете, с чего начать.
Спасибо за прочтение!
Если вам было весело, посмотрите другие мои статьи:
