Как спрогнозировать изменения и эффекты от внедрения новых функций и постоянно совершенствовать продукт с помощью данных? Или как вообще все посчитать в вашем продукте? Рассказываем о роли и преимуществах количественных исследований.

Что такое количественные исследования?

Если сложно, то количественные исследования — это сбор и изучение множества наблюдений (данных), выраженных в числовой форме, статистическими и математическими методами. 

Проще говоря, количественные исследования — это информация о вашем продукте в виде цифр (например, данные метрик или анкет), которую вы  анализируете: считаете статистику, стараетесь обнаружить закономерности, тренды, вычисляете средние значения, медианы. 

Зачем нужны количественные исследования

Представьте, что в интервью пользователь поделился тем, что у него есть какая-то проблема при работе с вашим продуктом. Как узнать, это единичный случай или с тем же самым сталкиваются многие ваши клиенты? Сколько еще человек испытывают аналогичные трудности и мешает ли это продукту развиваться на самом деле? С помощью количественных методов исследователь может найти ответы на эти вопросы.

Когда ваш цифровой проект запущен в жизнь, на нем собирается трафик, посетители активно используют ресурс. Все это — количественные данные, которые вы можете изучать. В отличие от качественных исследований, где вы получаете сведения из ограниченного числа интервью или фокус-групп, количественные работают с сотнями, тысячами и миллионами ответов или действий. Их анализ позволяет объективно оценить ситуацию или протестировать гипотезы и лучше понять связи между событиями.

И применимо это не только в цифре. Также можно собирать количественные данные про поведение людей в офлайн-супермаркетах и анализировать любые продукты — и булочки, и маркетплейсы.

Продуктологи обрабатывают данные, собранные при А/В-тестах, и следят за ключевыми метриками, такими как NPS (Net Promoter Score, англ. — индекс потребительской лояльности), именно с помощью количественных методов анализа. 

В рамках комплексных исследований можно сочетать количественные методы с качественными для более полного понимания проблемы. Например, фокус-группы и интервью дают информацию по частным случаям, на основе которых можно формировать гипотезы, а количественные методы используются для их проверки.

Вот несколько распространенных задач, в которых применяют количественные методы исследований: 

• Поиск лучшего уникального торгового предложения на этапе формулирования концепции продукта.

Например, вы проектируете маркетплейс для продажи автомобилей онлайн и ваше исследование поведения покупателей на других площадках показывает, что каждый третий клиент запрашивал дополнительную консультацию у дилера, прежде чем принять решение о покупке. Значит, вы можете сразу проектировать интерфейс, в котором коммуникация между покупателем и продавцом будет удобной, а в качестве уникального торгового предложения указать, что ваш маркетплейс помогает получать оперативные ответы от дилеров 24/7 и оказывает полную консультационную поддержку.

• Оценка промежуточных и финальной версий, например, интерфейса сайта или мобильного приложения.

В продуктовом подходе вы внедряете изменения постепенно, одно за другим. Например, на стадии MVP (minimum value product) вы проектировали только карточку товара для вашего маркетплейса и корзину, а в следующих версиях вы уже добавили возможность сравнения нескольких автомобилей, фильтрации по маркам и классам, это привело к усложнению интерфейса. Анализируя количественные данные о поведении пользователей, вы можете понять, не привели ли изменения к росту отказов от покупок, не усложнился ли пользовательский путь к корзине и целевому действию — нажатию заветной кнопки «Купить». 

• Ранжирование проблем или задач для разработки.

Как мы отмечали выше, качественные и количественные исследования часто дополняют друг друга. В ситуации, когда в интервью респонденты указали на несколько проблем, возникает необходимость определить, какие барьеры стоит устранять приоритетно, а какие – менее оперативно. К примеру, есть такие сложности: при оплате покупки картой долго не приходит код подтверждения, картинки товара в маркетплейсе открываются на весь экран и перекрывают характеристики, описанные текстом в карточке. Какую из этих задач стоит решить в первую очередь? Чтобы ответить на этот вопрос, можно проанализировать данные по отказам или онлайн-опрос и найти, как часто эти проблемы встречаются у ваших пользователей. Может оказаться, что код подтверждения не приходит быстро всего у 1% клиентов, а сложность с картинками испытывает каждый пятый. Так можно поднять в приоритете задачу по исправлению отображения фото товара.

• Поиск проблем в созданном продукте.

Обнаружить, что какие-то процессы в вашем продукте работают неправильно, можно и без непосредственного общения с пользователями. Анализируя данные из метрик о поведении пользователей, вы можете заметить скрытые проблемы, например неожиданные скачки в посещении нецелевых страниц сайта или высокий процент отказов от покупки в мобильном приложении. Это станет поводом выяснить, что идет не так, найти и устранить причину.

• Проверка востребованности продукта или фичи, улучшений в дизайне интерфейса, тестирование тарифов и цен.

Как правило, это делается с помощью A/B-тестов. Перед внедрением каких-либо изменений проверяем гипотезы об их целесообразности на определенной выборке. Например, выбираем 10% посетителей вашего маркетплейса и демонстрируем им будущую фичу, новый интерфейс или предлагаем новый тариф, а для других пользователей оставляем все как было. Потом смотрим на поведение покупателей из выборки и определяем, как оно изменилось, пользовались ли они нововведением и насколько успешно. На основе полученных результатов можно принимать решение, стоит ли внедрять изменения на всю аудиторию. 

Методы сбора данных в количественных исследованиях

Процесс исследования можно разделить на два этапа: 

1. сбор,
2. анализ данных.

На этапе сбора в количественных исследованиях применяют методы опросов, наблюдений и экспериментов. 

Опросы

Опросы в количественных исследованиях должны охватывать действительно много респондентов. Тогда они могут помочь составить портрет реальной аудитории продукта, выделить паттерны поведения, собрать данные для продуктовых метрик. 

Опросы можно проводить на любой стадии проекта. Но наиболее эффективны они будут на этапах:

• прототипирования,
• теста,
• сбора обратной связи после разработки.

Опросы можно проводить однократно или регулярно. Разовые опросы позволяют получить сведения о том, что пользователи думают о продукте на определенный момент времени. Они не предполагают изучения динамики и тенденций.

Существуют еще повторяющиеся опросы и даже панели потребителей (когда постоянная группа людей участвует в регулярном опросе или заполняет дневник наблюдений через равные промежутки времени на протяжении заданного периода). Данные из таких опросов помогают отследить, к примеру, предпочтительный уровень цен, анализировать в динамике эффективность маркетинговых акций, долю основных игроков рынка.

Опросы бывают стандартизированными и нестандартизированными

Стандартизированные 

Такие опросы фокусируются на изучении конкретной темы или проблемы. Предполагают четкую последовательность преимущественно закрытых вопросов. Они удобны тем, что их результаты можно сравнивать между собой и со средними отраслевыми значениями благодаря устоявшейся методологии. Они подходят для оценочных исследований и сбора данных для метрик. 

Примеры метрик, для которых данные собираются опросами и анализируются количественными методами.

• Индекс готовности рекомендовать продукт — NPS-индекс 

NPS (Net Promoter Score, англ. — индекс потребительской лояльности) чаще состоит из двух вопросов: в первом пользователя просят поставить оценку, насколько он готов рекомендовать ваш сервис или продукт другим по заданной шкале, а во втором — назвать причины своего решения. После проведения опроса у вас будут числовые данные — оценки пользователей. Среди них будет некоторое количество высоких оценок (9–10 баллов) и некоторое — наоборот низких. Тогда анализ данных будет выполняться по формуле подсчета NPS:

NPS = % промоутеров (9–10) – % критиков (0–6)

• Индекс удовлетворенности взаимодействием CSAT
  
  CSAT (Customer Satisfaction Score, англ. — оценка удовлетворенности клиентов) помогает понять, довольны ли клиенты взаимодействием с продуктом в определенных ситуациях. Например, оформлением покупки в личном кабинете. Измерения важно проводить как можно раньше после завершения контакта. 

Оптимально для CSAT задавать не более пяти вопросов. Сначала вопрос об оценке конкретного процесса. При сниженных оценках — вопрос о причинах такой оценки. Далее можно задать несколько дополнительных вопросов про удобство или особенности процесса. С помощью CSAT можно находить проблемы и работать на повышение лояльности с клиентами, которые поставили оценку ниже 5.

CSAT = положительные оценки (5) / количество ответов * 100%

Также с помощью опросов собирают данные для многих других метрик. Например, CSI-индекс (англ. — Customer Satisfaction Index) поможет изучить удовлетворенность клиента продуктом в целом и насколько для клиента ценны отдельные его характеристики.  CES-индекс  (англ. — Customer Effort Score), в свою очередь,  показывает, насколько удобно пользователю взаимодействовать с продуктом. Шкала SUS (англ. — System Usability Scale) — это анкета из 10 вопросов, которая используется вместе с юзабилити-тестированием, чтобы количественно оценить удобство пользовательского интерфейса.

Нестандартизированные

Нестандартизированные опросы менее строги и немного похожи на интервью, а исследователь может корректировать последовательность и формулировки вопросов в зависимости от ответов и реакции респондента. Они предполагают больше открытых вопросов, подходят для исследований, направленных на поиск проблем. 

Опросы могут проводится лично (face-to-faсe), по телефону или в виде онлайн-анкет

Личный опрос проводится в форме личной беседы (можно даже удаленно). Это хороший метод изучения потребительских предпочтений, который незаменим, когда важно предоставить респонденту большое количество наглядной информации.

Телефонный опрос проводится в форме короткого интервью во время звонка. С его помощью можно определить уровень узнаваемости или потребления продукта, а также лояльности потребителей относительно продукта. 

Онлайн-анкетирование — это опрос, который проводится с помощью заготовленных форм и распространяется через интернет. Этот метод часто обеспечивает обратную связь для клиентов и дает возможность узнать степень удовлетворенности клиентов, нужно ли вводить новые услуги, помогает выявлять проблемы или узкие места.

Наблюдение

Наблюдение в количественных исследованиях чаще всего представлено мониторингом. Мониторинг — это систематическое и плановое наблюдение за интересующими показателями на данных. Как правило, данные собираются в разных информационных системах.

Источниками данных для наблюдений могут быть регулярные опросы, CRM, системы аналитики, такие как Google Ananlitics, Яндекс Метрика и государственная статистика (Росстат, Центробанк). С помощью регулярного мониторинга можно предвидеть изменения на рынке, действия пользователей, изучать динамику рыночных процессов, контролировать продажи.

Эксперимент

Один из самых распространенных экспериментов в количественных исследованиях — это A/B-тестирование. Суть метода заключается в том, чтобы разделить пользователей на тестовую и контрольную группы и провести эксперимент, например, показать им разные версии продукта и пронаблюдать их поведение, а затем сравнить. Наблюдать можно за изменениями трафика, поведенческими метриками. В широком смысле метод используют для проверки любых гипотез, связанных с продуктом. 

A/B-тесты проводят на больших выборках — только так можно обеспечить надежность и точность выводов. Благодаря этому метод считается объективным. Поэтому для A/B-тестов необходим большой трафик.

Всеми вышеперечисленными способами в процессе вашего исследования вы собираете данные, после чего наступает этап их обработки и систематизации. В количественных исследованиях данные анализируют с помощью следующих методов. 

Методы анализа данных в количественных исследованиях 

После того как данные собраны, их можно изучать и анализировать. Поскольку количество наблюдений и объем информации значительный, для их обработки нужны специальные методы и инструменты. К ним относят описательную статистику, корреляции, регрессию, математическое моделирование и другие.

Описательная статистика фокусируется на анализе основных особенностей и характеристик собранных данных без обобщений и выводов для основной совокупности. К примеру, вы собрали 600 ответов в анкетах. Описательной статистикой будет то, что из 600 респондентов 400 были женщинами, а 200 — мужчинами, в среднем все респонденты ответили больше чем на половину вопросов.

Корреляции помогают увидеть взаимосвязь между разными показателями. Например, когда один показатель увеличивается, допустим, возраст респондентов, другой — уменьшается, например, частота покупки нового автомобиля. То есть чем старше респондент, тем реже он меняет машину. Корреляцию используют, чтобы оценить зависимость переменных друг от друга.

Регрессионный анализ используют, чтобы выявить, какая независимая переменная связана с зависимой, понять, какое между ними отношение, и предсказать неизвестные значения зависимой (исследуемой) переменной. Например, независимой переменной может быть цена автомобиля, а зависимой — число покупок в месяц. С помощью регрессии можно увидеть, влияет ли цена и ее изменение на число покупок, насколько сильно это влияние и что будет, если поднять цену в два раза. 

Математическое моделирование позволяет абстрагироваться от несущественных характеристик выборки и выделить наиболее значимые. Математическая модель — это, например, уравнение или неравенство, то есть компактное описание ситуации математическим языком. Представить поведение покупателя в виде отношения Х и Y  полезно для более глубокого и четкого понимания происходящего, это позволяет сформулировать новые гипотезы.

Представление результатов количественных исследований

Для удобства работы с результатами количественных исследований есть последний важный этап — визуализация выводов с помощью графиков, таблиц или дашбордов. Он подразумевает представление полученных результатов в удобном виде, понятном даже неподготовленной аудитории. 

Графики являются неотъемлемой частью количественных исследований, так как, по сути, переводят сложный язык цифр в простой визуальный контент. 

Распространенные ошибки при проведении количественных исследований

В количественных исследованиях важна тщательность. Если взять слишком мало ответов на опрос и на основе их анализа сделать вывод о поведении всех пользователей, это приведет к необъективности и ошибкам. Использование неподходящих методов для анализа также может ввести в заблуждение и привести к неверным результатам. 

Поэтому важно избегать следующих ошибок: 

• Ошибки при формировании выборки. Ошибочно экстраполировать выводы о потребительских предпочтениях узкого сегмента целевой аудитории на всех пользователей продукта. И наоборот.

Например, вы решили показать новый интерфейс маркетплейса автомобилей 10% случайных пользователей и так оказалось, что во время теста на сайт заходили только молодые мужчины. В выборку не попали мужчины старше 40, женщины разного возраста, и вы, таким образом, не знаете, как бы они восприняли изменения. Например, вы сделали кнопки меньше и перенесли их в другую часть экрана. Выборка из молодых мужчин легко адаптировалась к этим изменениям, и данные теста показывают вам, что это привело к росту конверсии. Однако если вы внедрите изменения для всех пользователей, то может выясниться, что основные ваши покупатели вовсе не молодые мужчины, в основном сайт чаще посещают женщины 40+, и они не замечают переноса кнопок, в результате чего станут реже совершать покупки. 

Для корректного определения выборки существуют специальные калькуляторы.

• Использование устаревших или недостоверных статистических данных. При работе с внешними информационными системами, системами аналитики, данными государственной статистики важно отслеживать актуальность данных, достоверность, полноту. Иначе они могут исказить выводы.

Например, вы хотите проанализировать рынок и берете данные статистики двухлетней давности, так как других вы не нашли. На этом вы делаете расчеты и проверяете гипотезы. Но за два года экономическая ситуация могла сильно измениться, и значит, ваши выводы могут получится недостоверными.

• Методические ошибки в логике и структуре опросников и шкал, формулировок вопросов. 

Это в первую очередь относится к стандартизированным опросам. Если вы замеряете конкретные метрики с помощью конкретной шкалы, вы не можете вносить в них изменения. Например, шкала SUS, которую используют для оценки пользовательского интерфейса, содержит 10 вопросов. Если исключить некоторые или собрать ответы не на все, то результаты получатся ненадежными.

• Разница в шкалах и формулировках разных замеров в режиме мониторинга, в результате чего теряется возможность сравнить данные нескольких замеров.

Если, к примеру, вы решили сравнить эффективность работы подразделения бизнеса, которое занимается разработкой продуктов, 5 лет назад и сейчас, но с тех пор из него в отдельную структуру вывели отдел, который занимается аналитикой, то вы не сможете просто взять общие финансовые показатели разработки тогда и сейчас и сравнить, вам придется убрать из расчетов пятилетней давности все, что приходилось на аналитическую службу.

Преимущества и ограничения количественных исследований

Несмотря на свои преимущества — возможность сбора большого объема данных за короткий период времени, объективность, воспроизводимость и статистическую значимость по сравнению с качественными исследованиями — они имеют ряд ограничений.

• Ограниченность в глубине: количественные исследования часто не могут предоставить глубокое понимание мотиваций и причин поведения пользователей.
• Зависимость от правильной методологии: неправильный выбор инструментов или методов может привести к искажению результатов.
• Высокая стоимость и временные затраты: сбор и анализ больших объемов данных требуют значительных вычислительных ресурсов и квалифицированных кадров.
• Требуют статистического программного обеспечения: SPSS, R или Python используются для анализа собранных данных.

Выводы

Количественные исследования играют важную роль в разработке и улучшении продуктов. Они применяются на каждом этапе и, по сути, представляют собой анализ цифровых данных. Именно количественные методы позволяют собирать и отслеживать ключевые продуктовые метрики, на них основаны данные, которые предоставляют аналитические системы поисковиков. 

Благодаря объективности и статистической значимости количественные исследования помогают выбирать наиболее эффективные стратегии развития продуктов.  

Однако результаты анализа сильно зависят от качества и объема собранных данных. Поэтому для проведения количественных исследований важны налаженные процессы сбора, разметки и выгрузки данных, наличие инструментов проверки их полноты и актуальности.

Комплексное обучение по продакт-менеджменту по методологии Product Focus

Курс доступен как в индивидуальном, так и в корпоративном формате.

На курсе вы или ваша команда:

• Научитесь запускать внутренние и внешние продукты и управлять ими
• Улучшите метрики существующего продукта
• На практике систематизируете свои знания и освоите все аспекты продакт-менеджмента

Что ждать от курса:

• 30 уроков в записи
• 17 лайв-уроков с экспертами
• 21 домашнее задание
• 9 практических заданий
• 2 DEMO-записи: JTBD и глубинного интервью
• 12 бонусных уроков
• 20+ топ-спикеров из Product Lab, Яндекс, Сбер, VK, Ростелеком
• 10 индивидуальных встреч с экспертом-трекером
• 20+ полезных шаблонов для управления продуктом

Тулбокс 

Сервисы для расчета размера выборки: 

https://questionstar.ru/statiy/calculator-razmera-viborki

https://socioline.ru/rv.php

Что почитать по теме? 

«Голая статистика», Чарльз Уилиан

«Роман с Data Science. Как монетизировать большие данные», Роман Зыков

«Данные: визуализируй, расскажи, используй», Коул Нассбаумер Нафлик

«Графики, которые убеждают всех», Александр Богачёв

«Количественные исследования: виды, методы, анализ результатов», https://habr.com/ru/companies/agima/articles/710042/