Плохое маркетинговое исследование редко выглядит плохим. Обычно всё вполне убедительно: несколько сотен или тысяч респондентов, аккуратные диаграммы, проценты до десятых, сегменты с красивыми названиями, NPS и презентация на сто слайдов. Проблемы начинаются позже — когда компания меняет цену, запускает продукт или переделывает клиентский путь, а ожидаемого результата не получает.
Причина не обязательно в самих данных. Часто данные собраны честно и обработаны правильно. Ошибка возникает раньше: спросили не тех людей, задали вопрос так, что подсказали ответ, приняли мнение за поведение или построили исследование вокруг гипотезы, которую руководство уже считает верной.
У исследования есть неприятное свойство: чем профессиональнее выглядит результат, тем легче поверить в неправильный вывод. Разберём семь ситуаций, в которых это происходит чаще всего.
Фраза «мы опросили 2 000 человек» производит впечатление. Но сама по себе она почти ничего не говорит о качестве исследования.
Представим, что банк хочет понять отношение клиентов к отделениям и дистанционному обслуживанию. Опрос размещают в мобильном приложении. Ответов много, статистическая погрешность небольшая, графики выглядят отлично.
Только есть проблема: люди, которые почти не пользуются приложением, имеют старые телефоны, предпочитают наличные или чаще приходят в отделение, будут представлены в такой выборке хуже. Можно опросить не две тысячи, а двадцать тысяч человек — смещение никуда не исчезнет.
Поэтому профессиональные исследователи смотрят не только на объём выборки. Pew Research Center, например, описывает качество опроса через целый набор потенциальных ошибок: coverage error, sampling error, nonresponse error, measurement error и ошибки обработки данных. Размер выборки — лишь одна часть этой системы.
Для коммерческого исследования вопрос должен звучать не «сколько человек нам нужно опросить?», а «чьё поведение мы собираемся описывать по этим данным?».
Если решение касается всей клиентской базы, выборка должна отражать клиентскую базу. Если речь идёт о национальном рынке — рынок. Если компания изучает покупателей конкретной категории, случайные жители страны не становятся нужной аудиторией только потому, что их получилось много набрать.
Большая неправильная выборка — это просто очень точное измерение не того, что вам было нужно.
В исследованиях легко забыть, насколько чувствителен человек к формулировке вопроса.
Pew Research Center приводит хороший пример из опроса 2003 года. На вопрос о поддержке военной операции в Ираке положительно ответили 68% респондентов. Когда в формулировку того же вопроса добавили уточнение о возможных тысячах потерь среди американских военнослужащих, доля поддержки снизилась до 43%.
Для маркетинговых исследований вывод здесь важнее самой темы опроса: несколько слов могут заметно изменить то, о чём человек думает перед ответом.
Возьмём обычный продуктовый вопрос:
«Насколько удобен новый интерфейс нашего приложения?»
В нём уже есть подсказка: интерфейс новый, и его предлагают оценивать именно с точки зрения удобства.
Если перед этим респондента десять минут спрашивали о стоимости продукта, а потом задали вопрос «почему вы его не покупаете?», цена с большой вероятностью окажется у него в голове. Компания затем получает отчёт о высокой ценовой чувствительности и начинает работать со скидками.
Хотя без такого контекста главным барьером могла оказаться совсем другая вещь.
Есть и более простые ошибки: два вопроса в одном, непонятные термины, слишком длинные формулировки, варианты ответа, которые не покрывают реальные ситуации. Иногда респондент выбирает не тот вариант, который точнее описывает его мнение, а просто ближайший из предложенных.
Анкета в этом смысле похожа на измерительный прибор. Если он настроен неправильно, дополнительная точность в расчётах уже не поможет.
Допустим, продажи продукта замедлились. Коммерческий директор уверен, что проблема в цене. Маркетинг подозревает слабую рекламу. Продуктовая команда считает, что покупателю не хватает определённой функции.
На встрече побеждает версия самого влиятельного человека, после чего под неё строится исследование.
В анкете появляются подробные вопросы о цене. Покупателей просят сравнивать стоимость с конкурентами. Обсуждают скидки, акции и воспринимаемую дороговизну. Через несколько недель приходит отчёт: цена действительно важна.
Гипотеза подтверждена.
Только из исследования так и не удалось узнать, была ли она главной причиной снижения продаж.
Так работает confirmation bias. Мы гораздо охотнее ищем подтверждение собственной версии, чем условия, при которых она окажется неверной.
Это одна из причин, почему хороший исследователь иногда раздражает заказчика ещё до начала поля. Он спрашивает: а откуда мы знаем, что дело в цене? Что ещё могло измениться? Дистрибуция? Конкуренты? Знание продукта? Сервис? Ассортимент? Сам рынок?
Исследование не обязано начинаться без гипотез. Наоборот, гипотезы помогают построить дизайн. Но наряду с основной версией должны оставаться альтернативные объяснения.
Иначе исследование превращается в дорогостоящий способ обосновать решение, которое компания и так собиралась принять.
С NPS есть странный парадокс. Метрика хороша своей простотой — и именно поэтому от неё начинают требовать слишком многого.
Показатель удобно отслеживать по месяцам, филиалам, продуктам или группам клиентов. Если он меняется, это полезный сигнал.
Но число само по себе не говорит, что произошло.
В материалах Bain есть довольно показательный B2B-кейс. Компания собирала NPS через исследовательские агентства, но результаты оказались нестабильными: response rate был низким, а компания даже не знала точно, кто внутри организаций-клиентов отвечал на вопросы. Позже выяснилось, что среди участников было мало ключевых decision makers и influencers.
Там же Bain приводит ещё более наглядный пример того, насколько чувствителен NPS к способу измерения. Для одной ресторанной сети опрос клиентов на выходе из ресторанов дал показатель почти +40, а последующий email-опрос более широкой группы клиентов — −39. Это не небольшая статистическая погрешность. Это практически противоположные картины одного бизнеса, полученные разными методами.
Это не делает NPS бесполезным. Скорее наоборот: показывает, почему метрику нужно измерять последовательно и разбираться в том, кто именно попал в выборку.
Основная проблема начинается, когда руководитель видит: «NPS снизился с 48 до 39» — и пытается сразу сделать из этого управленческий вывод.
Что ухудшилось? У какого сегмента? После какого взаимодействия? За счёт какого этапа customer journey? Изменился опыт или состав отвечающих?
На эти вопросы число 39 не отвечает.
NPS способен показать, где стоит искать проблему. Найти саму проблему обычно приходится другими способами.
Сегментационные исследования особенно легко превращаются в театр аналитики.
Берётся массив данных, запускается кластерный анализ, на выходе получается пять групп. Им дают названия вроде «осознанные новаторы», «рациональные прагматики» и «традиционные ценители качества». Для каждой рисуют персонажа, подбирают фотографию и пишут небольшой портрет.
На презентации это выглядит великолепно.
Через полгода никто в компании этими сегментами не пользуется.
Причина обычно проста: сегменты существуют в отчёте, но не существуют в операционной системе бизнеса.
Маркетолог не может определить, кому показать какую рекламу. CRM не знает, к какому сегменту относится клиент. Продуктовая команда не видит достаточных различий в потребностях. Коммерческий директор не может изменить предложение для конкретной группы.
В результате компания продолжает работать точно так же, как до исследования.
Полезная сегментация должна выдерживать очень практичный вопрос: что мы сделаем по-разному, если узнаем, что перед нами клиент сегмента А, а не сегмента B?
Изменим продукт? Канал коммуникации? Цену? Сервис? Оффер? Ассортимент? Способ привлечения?
Если ответа нет, вероятно, сегментация описывает аудиторию, но плохо помогает управлять ею.
Иногда четыре простых сегмента, которые можно найти в CRM и использовать в кампаниях, ценнее восьми статистически изящных кластеров.
В аналитике это случается постоянно.
Компания обнаруживает, что пользователи мобильного приложения покупают больше продуктов. Наиболее активные участники программы лояльности чаще возвращаются. Клиенты, которые общались с персональным менеджером, имеют более высокий средний чек.
Следующий шаг кажется очевидным: нужно заставить больше людей пользоваться приложением, вступать в программу или общаться с менеджером.
Но данные пока показали только связь.
Возможно, наиболее ценные клиенты изначально чаще скачивают приложение. Возможно, люди с высоким средним чеком активнее пользуются программой лояльности именно потому, что часто покупают. Возможно, персональных менеджеров просто назначают наиболее прибыльным клиентам.
Harvard Business Review отдельно разбирал эту проблему: менеджеры регулярно интерпретируют корреляционные зависимости как причинные и затем используют их для принятия решений.
Для прогноза корреляции иногда вполне достаточно. Если определённое поведение хорошо предсказывает отток, компании необязательно знать точную психологическую причину, чтобы построить churn model.
Но если задача звучит «что произойдёт, если мы изменим X?», это уже вопрос причинности.
И здесь полезнее эксперимент, A/B-тест, контрольная группа или другой дизайн, позволяющий отделить эффект нашего действия от особенностей самой аудитории.
Разница кажется академической ровно до того момента, пока на ложную причинность не начинают тратить маркетинговый бюджет.
Это не значит, что респонденты лгут.
Большую часть времени человек действительно старается ответить честно. Просто собственное поведение мы знаем хуже, чем нам кажется.
Классическая ситуация в product research: пользователям показывают новую функцию. Большинство говорит, что она полезна и обязательно будет использоваться. Функцию разрабатывают. Через три месяца usage оказывается минимальным.
То же происходит с ценой. Человек может искренне сказать, что готов заплатить определённую сумму. Когда перед ним появляется реальный товар и нужно достать банковскую карту, решение меняется.
Есть ещё память. Исследования Pew показывают, что ретроспективные вопросы заставляют респондентов восстанавливать детали прошлого поведения, а это далеко не всегда происходит точно. Именно поэтому там, где возможно, исследователи сопоставляют заявленные ответы с наблюдаемым поведением. Например, Pew отдельно сравнивал то, как пользователи Twitter описывали частоту своих публикаций, с их фактической активностью.
Добавляется и социальная желательность. Люди склонны занижать некоторые виды поведения и завышать другие — особенно там, где есть представление о «правильном» ответе. Pew отмечает такие эффекты, например, для голосования, благотворительности, употребления алкоголя и ряда чувствительных тем.
В коммерческих исследованиях эффект обычно менее заметен, но принцип тот же.
Поэтому фразу клиента «я выбираю этот магазин из-за цены» полезно проверить данными покупок. Заявление «мне важнее всего качество» — реальным выбором между двумя предложениями. А ответ «я полностью удовлетворён» — историей обращений, повторными покупками и оттоком.
Опрос показывает одну часть реальности. Поведение — другую. Хорошее исследование знает разницу между ними.
Не из анкеты. Анкета появляется позже.
Сначала нужно понять, какое решение компания собирается принять после исследования. Причём максимально конкретно.
Не «понять молодую аудиторию», а решить, стоит ли запускать для неё отдельный тариф.
Не «изучить отношение к бренду», а определить, какое позиционирование выбрать перед новой рекламной кампанией.
Не «узнать причины оттока», а понять, какие изменения способны удержать клиентов и для каких групп они экономически оправданы.
После этого становится значительно проще понять, кого исследовать, что спрашивать и где вообще опрос не нужен.
Иногда достаточно анализа существующей базы. Иногда сначала нужны десять хороших глубинных интервью, а уже потом национальный количественный этап. Иногда вопрос можно быстрее и надёжнее проверить экспериментом.
Именно здесь проходит граница между исследованием как сбором информации и исследованием как частью управленческого решения.
Компаниям редко не хватает данных. Гораздо чаще им не хватает уверенности в том, каким данным можно доверять и какой вывод из них действительно следует.
Поэтому хороший исследовательский проект заканчивается не словами «63% респондентов ответили…».
Он заканчивается пониманием того, что теперь имеет смысл делать бизнесу — и насколько надёжны основания для этого решения.
