ИНДЕКС ENPS НЕ МОЖЕТ ИЗМЕРЯТЬ СИЛУ HR БРЕНДА.
Индекс eNPS. В этой статье мы продолжаем изучение вопроса о возможности использования данных, полученных при использовании eNPS. С предыдущей статьей можно познакомиться здесь.
Как мы говорили ранее, некоторые компании используют этот вопрос для оценки бренда компании.
Основным критерием для измерения чего-либо является то, что предмет (вопрос), который вы используете, должен давать вам ответ, непосредственно прямо связанный с вопросом, и не быть слишком открытым для других интерпретаций.
После анализа ответов сотрудников ряда различных организаций на этот конкретный вопрос становится ясно, что существуют пробелы в обоснованности формулировки для оценки бренда.
«Вы бы порекомендовали другу поработать здесь?» не только даст вам ответ на вопрос, хороший вы работодатель или нет. Он также дает такие ответы, как «Я бы не хотел работать в той же компании, что и мой друг», «Мой друг работает в другом бизнесе и не может работать здесь» или «Я бы порекомендовал устроиться на работу здесь, но не в моей команде / отделе / (и т. д.)». И эти ответы появляются время от времени, и они довольно часто противоположны.
Тем не менее, вопрос «готовности порекомендовать» может быть одним из вариантов, если вы хотите измерить лояльность сотрудников. Однако вам следует избегать делать это со шкалой NPS и считать его в одиночку.
ПРОБЛЕМА ОБРАБОТКИ ШКАЛЫ У ENPS
11-балльная шкала уникальна для eNPS, но есть одна огромная проблема. Когда вы разрабатываете шкалу для своих опросов, вы хотите, чтобы она давала вам хороший уровень распределения ответов, а это означает, что вы хотите получить как можно более подробные ответы (а не просто «хорошо» или «плохо»).
В то же время вы, как респондент, должны уметь чувствовать разницу между вариантами — например, в чем на самом деле разница между 2 и 3.
Кроме того, респонденты должны быть последовательными как при ответе, распределенных во времени, так и среди всей генеральной совокупности. Это особенно важно, поскольку существует четкое понимание того, как рассчитывается оценка NPS.
Если респонденты не совсем ясно представляют разницу между 6 и 7, то вы можете получить вариабельность показателя eNPS от -100 до 0 в моменте.
Эти и многие подобные странности, используемые для расчета eNPS, заставляют опытного исследователя усомниться в достоверности самой метрики. Об этих проблемах, а также о методологических и статистических недостатках NPS, которые возникают в результате преобразования 11-балльной шкалы (шкала 0–10) в трех категориальную переменную, уже много написано.
ИНДЕКС ENPS: АНАЛИЗ РЕЗУЛЬТАТОВ ПРИВЕДЕТ ВАС К ОШИБОЧНЫМ ВЫВОДАМ
Проблема шкалы не ограничивается этапом сбора данных, которую мы обсуждали в прошлом пункте (сотрудники могут не видеть большой разницы между значениями). Она будет преследовать вас на этапе анализа данных и выводов, где есть ряд последствий для совершения управленческих ошибок.
Самая большая проблема в том, что полученная метрика eNPS более или менее бесполезна для описания различий в распределениях ответов. Это еще больше усложнит вам жизнь, когда вы захотите проследить тенденцию во времени или сравнить разные группы сотрудников.
Вы можете получить совершенно разные распределения ответов, но они все равно будут иметь одинаковые оценки eNPS — или наоборот. Это означает, что вы можете просто упустить из виду реальные улучшения или ухудшения ситуации в компании, в командах.
Давайте рассмотрим на примере. У трех разных команд, указанных выше в таблице, одинаковый результат eNPS, что станет для вас настоящей проблемой в будущем, поскольку их ответы на самом деле совершенно разные.
Сравнение оценки eNPS со средней оценкой показывает, насколько разные мнения у людей в трех командах.
Распределение ответов для трех вышеуказанных команд, скорее всего, будут требовать от вас создания совершенно различных вариантов действий, которые необходимо предпринять для дальнейшего улучшения их рабочей среды.
Кроме того, есть и другие статистические последствия, такие как большие взлеты и падения по сравнению со средними баллами и проблемы, связанные с выборками.
БЕНЧМАРКИНГ СТАНОВИТСЯ БЕСПОЛЕЗНЫМ С ИНДЕКСОМ eNPS
В результате того что при расчете индекса eNPS часть данных выкидывается, а шкала превращается из 11-балльной в двух категориальную, значимость выводов этого индекса снижается.
Одним из важных показателей для сравнимости индексов между компаниями (бенчмаркинга) является доверительный интервал.
95% доверительный интервал интерпретируется как вероятность получения одних и тех же результатов 95 раз, если вы построите 100 случайных выборок для одних и тех же переменных в пределах погрешности. Доверительный интервал можно считать пределом погрешности измерений.
И результаты расчета доверительного интервала показывают, что в среднем можно ожидать вариацию индекса eNPS на 9,1 балла. Другими словами, компании, которые получили значения индекса 32 и 41 в двух отдельных выборках увидят лишь случайный шум, а не реальную разницу.
Для сравнения, переменная индекса удовлетворенности персонала по методологии EPSI ESI варьируется в среднем всего на 2,3 балла. Нормализуя эти оценки для разных размеров шкал (от -100 до 100 против 0–100), результаты показывают, что, хотя следует ожидать, что переменные в методологии EPSI ESI будут случайным образом варьироваться примерно на 2,2% по своей шкале между выборками, оценка eNPS варьируется примерно на 4,5%, или более чем в 2 раза больше дисперсии.
Такой случайный шум в измерениях следствие именно того, как рассчитывается индекс eNPS.
В результате, если вы захотите провести бенчмаркинг между своим индексом eNPS и другими компаниями, вам крайне важно понимать, на каком объеме выборки получены данные значения, так как при уменьшении выборки меньше 1000 респондентов, доверительный интервал значительно увеличивается и ваши сравнения могут оказаться попросту некорректны.
Вы будете думать, что ваши сотрудники гораздо сильнее ратуют за компанию, а на самом деле из-за высокого доверительного интервала, ваши индексы нисколько не выше, чем у конкурентов. И наоборот.
Использовать индекс eNPS в управлении вовлеченностью персонала вашей компании все равно что лечить COVID-19 чесноком и лимонами. Вокруг говорят, что это помогает, но, к сожалению, может стать только хуже.
Используйте проверенные методологии измерения вовлеченности персонала. Исследования EPSI проверены 20-летним опытом и описаны в международных научных рецензируемых журналах.
Наши клиенты получают не только надежное описание, что происходит в организации сейчас, что может произойти в будущем, если не предпринимать осознанных действий, но и адресные рекомендации как изменить ситуацию, чтобы сотрудники заметили проводимые вами мероприятия для создания вовлеченной организации.
