В своем предыдущем блоге Кто следит за качеством вашей аналитики? я рассказывал о том, что значит обеспечить качество работы аналитики. Мы с готовностью говорим об использовании аналитики для улучшения качества других вещей, но редко говорим о качестве самой аналитики. Я также утверждал, что качество можно так или иначе определить с точки зрения дефектов. Это означает, что идеальное качество может быть выражено как отсутствие дефектов.

Ну, одно дело говорить о качестве. Как мы реализуем это в аналитической практике?

Как качество данных связано с качеством аналитической практики

Типичные проблемы с качеством в аналитике часто связаны с качеством входных данных. Как я объяснял в своем предыдущем блоге, качество данных во многом является зависимостью и ограничением для аналитики. Итак, это не то, что мы подразумеваем под качеством аналитики.

Тем не менее, мы можем использовать знания отраслевых стандартов качества данных для обеспечения качества аналитики. В частности, полезно рассмотреть, как управление данными определяет параметры качества. Хотя существуют варианты, они достаточно четко определены (см., например, Свод знаний по управлению данными DAMA, 2-е издание). Затем проблемы с качеством данных, то есть дефекты данных, можно определить по одному или нескольким из следующих параметров:

  • Полнота: насколько она заполнена или полна? Имеются ли все необходимые данные?
  • Валидность. Соответствуют ли значения технически определенному домену?
  • Точность: Есть ли ошибки?
  • Согласованность: согласуются ли ценности внутри и повсюду?
  • Целостность: согласуются ли данные внутри и между объектами данных?
  • Своевременность: Отражает ли это время интереса?
  • Уникальность: есть ли дублирование или фрагментация?
  • Разумность: разумно ли это отражает реальность?

Измерения качества для аналитической практики

Мы можем расширить эту идею, чтобы определить аналогичный набор измерений для аналитики:

  • Соответствие. Соответствуют ли план и проведение анализа вопросу и потребностям?
  • Ясность: все ли ясно и без двусмысленностей?
  • Последовательность. Является ли анализ независимым от инструментов и систем? Выдает ли он один и тот же результат каждый раз, когда вы запускаете одно и то же?
  • Отслеживаемость. Можно ли полностью отследить происхождение анализа от начала до конца?
  • Точность: нет ли ошибок при выполнении?
  • Прозрачность. Можно ли объяснить результат анализа и саму аналитику? Четко ли задокументировано все, что касается анализа, чтобы кто-то, кто не участвовал, мог понять?
  • Полнота. Есть ли в логике пробелы? Все ли важное учтено и учтено?
  • Оправданность. Есть ли у всего оправданная причина? Каковы риски, зависимости и ограничения выбора?

Сбой в воспроизводимости или воспроизводимости должен иметь дефекты по крайней мере в одном из этих аспектов.

Кроме того, важно понимать, что профессия аналитика не существует без клиентов, коллег и сотрудников. Тогда качество аналитической работы обязательно включает в себя соображения реализации проекта, так как они тесно переплетаются с техническими аспектами проекта:

  • Были ли установлены четкие ожидания?
  • Оправдались ли эти ожидания?
  • Все ли, аналитическое и неаналитическое, были обоснованы?
  • Все ли было задокументировано?
  • Есть ли в проекте нерешенные проблемы?
  • Есть ли подтверждение того, что все ожидания и требования выполнены?

Управление качеством аналитических проектов

Теперь, когда у нас есть измерения, мы рассмотрим, что означает управление качеством в аналитике. Менеджмент качества — это жизненный цикл, и хотя существуют вариации, он обычно состоит из следующих компонентов.

  1. Планирование качества: определение требований, задач и действий по внедрению качества в продукт.
  2. Обеспечение качества: создание продукта с использованием методологий, позволяющих уменьшить количество дефектов и максимально увеличить вероятность достижения ожидаемого качества.
  3. Контроль качества: проверка соответствия продуктов требованиям качества.
  4. Поддержание и улучшение качества: выполнение текущих действий для поддержания и улучшения качества продукта.

Таким образом, управление качеством аналитических проектов предполагает применение этих принципов. Следует отметить, что «обеспечение качества» и «контроль качества» часто используются взаимозаменяемо или даже считаются представляющими одну и ту же идею. Однако для нашего обсуждения мы сохраняем указанное выше различие.

Сопоставление управления качеством с аналитикой

Типичный жизненный цикл проекта аналитики, хотя и не всегда явный, состоит из следующих этапов: проектирование, разработка, развертывание и использование. На этапе проектирования аспекты аналитики и проекта планируются и разрабатываются. Аналитика разрабатывается на этапе разработки, а затем становится доступной на этапе развертывания. Наконец, пользователи используют предоставленную им аналитику для принятия деловых или исследовательских решений на этапе использования. Потом:

  • Планирование качества происходит в основном на этапе проектирования, на котором мы определяем, как мы планируем реализовать качество в анализе и проекте.
  • Обеспечение качества — это выполнение проекта и анализа таким образом, чтобы свести к минимуму дефекты и максимально увеличить вероятность достижения ожидаемого качества. Поскольку это относится практически ко всему, что связано с аналитическим проектом, от проектирования и разработки до развертывания. Существуют методологии, стандарты и практики, предназначенные для достижения целей в области качества. Также важно стандартизировать подходы, а не только подпрограммы и макросы. Аналитики-практики часто избегают предварительного определения, но стандартизировать можно гораздо больше, чем принято считать.
  • Контроль качества — это проверка соблюдения требований к качеству в аналитическом проекте. Это часто состоит из контрольных списков, обзоров и аудитов. Даже в дизайне есть аспект действия, который можно проверить. Мы не одобряем концепцию «проверки» в лучших практиках качества и производительности. Однако проверка, особенно независимая проверка того, что проект соответствует ожиданиям в отношении качества, ценна и иногда даже обязательна в аналитике.
  • Поддержание и улучшение качества включают действия после запуска или публикации. Есть две части. Во-первых, это постоянное обслуживание аналитики и ее использование, что в первую очередь касается обеспечения того, чтобы аналитика сохраняла свою внешнюю достоверность с течением времени, и выявления операционных дефектов, таких как системные проблемы и ошибки, изменения в структурах данных и изменения в контекстах и/или поведении. Вторая часть — доработка системы практик качества аналитики для следующего проекта.

Контроль качества в аналитической практике

Любопытно, что традиционные представления о качестве в аналитике сосредоточены на контроле качества, особенно в форме рецензирования. Иногда проверка даже предусмотрена нормативными актами. Это означает, что в аналитике существуют некоторые методы и стандарты контроля качества, хотя и не всегда хорошо реализованные.

Иногда они существуют как системы независимых обзоров. Однако наличие отдельной команды не всегда уместно. Хотя создание независимой команды для этой цели часто поощряется или даже требуется, у него есть недостатки. Кроме того, очевидно, что это более сложно в небольших организациях.

Существуют и другие способы реализации методов контроля качества при сохранении определенного уровня независимости. «Как» зависит от потребностей и обстоятельств.

Однако полезно отделить аудит поставки от экспертной оценки в области контроля качества. Хотя экспертная оценка, возможно, нам более знакома, обе они ставят под сомнение то, что было сделано в проекте.

Цель экспертной оценки состоит в том, чтобы оценить анализ на предмет соответствия надлежащей технической практике. Рецензирование журнальных публикаций — классический пример.

Однако многие дефекты имеют мало общего с технической экспертизой. Чтобы решить эту проблему, аудит доставки буквально превращается в функцию аудита. Он проверяет соответствие требованиям, гарантирует, что аналитики сделали все, что они обещали, проверяет, что каждое решение было обосновано и задокументировано, и подтверждает отсутствие очевидных тактических ошибок.

Это различие имеет важные практические последствия. Хотя эксперт-рецензент должен быть экспертом, отсутствие глубоких знаний является преимуществом для аудитора доставки, поскольку невинные вопросы часто приводят к обнаружению ошибок. Эксперт-рецензент должен ознакомиться с анализом, который он или она рецензирует, но знакомство с проектом может скомпрометировать идею независимого аудита поставки.

Если мы хорошо планируем и обеспечиваем качество, то это несложно. Мы «не можем проверить качество продукта», как сказал Деминг, хотя всегда необходима некоторая проверка, независимая или иная.

Внедрение качественной программы аналитической практики

Одно дело понять, что такое качество и каково его теоретическое применение в аналитике. На самом деле, многие менеджеры и специалисты по аналитике борются за то, чтобы воплотить это в жизнь.

Итак, как мы можем это сделать? Одно можно сказать наверняка: мы не можем говорить о качестве аналитики. Реальность такова, что качество аналитики часто остается несбыточной мечтой. Некоторые ключевые практические соображения по реализации программы качества включают следующее:

  • Первое первым. Создайте список аналитики и аналитических проектов. Знаете ли вы, чем вы управляете качеством?
  • Определить роли и обязанности. Кто что делает? Должна ли быть независимая команда? Кто что подписывает? И самое главное, кому будет принадлежать программа качества?
  • Определить процессы и процедуры. Как выглядит рабочий процесс? Как вы определяете общий поток действий, чтобы все было предсказуемо?
  • Определить стандарты, политики и требования. На что будут выявляться дефекты? Вам нужны контрольные списки, формы и стандарты аудита? Существуют ли нормативные требования? Список можно продолжить.
  • Настройте базовую инфраструктуру. Как минимум, это включает в себя хранилище документов, некоторые возможности ведения журналов, общую вычислительную среду и общие инструменты. Если вы применяете полученную аналитику к производству, вам потребуются среды, инструменты и наборы данных для тестирования, прежде чем переходить к производству. По опыту я знаю, что модульное тестирование не подходит для выявления дефектов в промышленной аналитике.
  • Обучите всех аналитиков основным принципам и методам обеспечения качества. Они должны понимать ожидания в отношении качества, а также методологии и методы обеспечения качества. Поскольку практика хорошего качества часто противоречит тому, что практикующие аналитики считают элегантным и продвинутым, это требует изменения мышления.

Очевидно, что реализация успешной программы обеспечения качества аналитики — это гораздо больше. Требуется способность сбалансировать разнообразные потребности бизнеса без ущерба для принципов качества. Имея прочную структуру, он не так специфичен для методов или типов аналитики, как это обычно считается. Это также требует большой дисциплины, а не столько искусства, как вы думаете!

Хотите узнать больше? "Связаться с нами".

Первоначально опубликовано на https://www.datadriveninvestor.com 1 октября 2021 г.