Канал про системный анализ и управление IT-проектами. Обзоры книг по тематике, истории про IT-компании и полезная информация для аналитиков и менеджеров.
Ответ на задачу второй недели: утверждать, что вторая версия попапа хуже, нельзя.
Даже без знания статистики понятно, что выборки в 10 человек недостаточно, чтобы сделать выводы - наблюдаемая разница вполне может быть случайной. Чтобы понять, какой выборки было бы достаточно, надо знать о том, что такое статистическая значимость.
Статистическая значимость - это мера уверенности в том, что результат, который вы получили, не является случайным. Такой результат называется статистически значимым.
Зная формулы, можно посчитать: —сколько человек нам нужно в выборках, на которых мы тестируем попапы, чтобы утверждать, что разница в конверсиях не случайна. — можем ли мы по результатам текущей выборки утверждать, что результат статистически значим
Здесь вот чуть подробнее простым языком, а вот тут и тут онлайн-калькуляторы для расчетов.
Скидка второй недели на курс GoPractice – 7%, доступно 30 купонов действием до 1 июня. Чтобы активировать купон, надо оплатить курс по вот этой ссылке
Задача второй недели
Представьте, что вы тестируете два попапа, предлагающих подписаться на ваш блог. В каждую тестовую версию попало по 10 пользователей. В первой версии вы получили конверсию 30%, а во второй – 10%. Можно ли утверждать, что вторая версия попапа конвертирует пользователей в подписчиков хуже?
Кого-то запутали номера дней, но в этот раз большинство ответили правильно. Давайте разбираться:
Retention - показатель, какой % пользователей после первого запуска вернулся в приложение. Дневной Retention, в частности, показывает, какая часть новых пользователей вернется в приложение на следующий день после первого запуска (Retention 1-го дня), на 2-й день после первого запуска (Retention 2-го дня), на день N после первого запуска (Retention N-го дня).
Пользователи пришли в приложение 1 мая. Retention 1 дня - показатель возврата пользователей на следующий день, т.е 2 мая. Retention 2 дня - 3 мая. Здесь как раз был подвох: 3 мая - retention второго дня, а не третьего. Retention 3 дня - 4 мая.
А дальше все просто: retention N-го дня не зависит от того, как пользователи вели себя в промежутке от старта до дня N. То есть, если 1 мая в приложение зашло 2000 пользователей, а 4 мая из них зашло 400, то retention третьего дня = 400/2000 * 100% = 20%
"Как общаться с клиентами и подтвердить правоту своей бизнес-идеи, если все кругом врут?"
Про то, как правильно проводить интервью с клиентами, какие вопросы являются хорошими, а какими плохими, как понять, что разговор ушел не туда и вернуть его в правильное русло.
Названием обыграли то, что мамы поддерживают и верят в нас больше всего, и на любое "мам, как тебе эта идея?" говорят "просто класс" :) Так и клиенты могут говорить вам не правду, а "просто класс", если видят, что это именно то, что вы хотите услышать. В этой книге примеры, как задавать вопросы, чтобы получать правдивые ответы даже от вашей мамы
"Любой скажет, что ваша идея великолепна, если вы будете настойчиво говорить о ней".
Концепция разговора "с мамой":
1. Говорите с клиентами об их жизни, а не о вашей идее 2. Спрашивайте о конкретных вещах, которые происходили в прошлом, а не о взглядах или мнениях на перспективу 3. Меньше говорите, больше слушайте.
Можете сказать, что это известные вещи, но в книге разбираются детали: примеры вопросов и диалогов, и это самое ценное: мало где встречаются примеры, а не только теория.
Не делайте встречи слишком формальными. Поместите фокус на клиента и не пытайтесь "продать" ему вашу идею или добиться одобрения. Задавайте те вопросы, ответы на которые вам страшно услышать. Докапывайтесь до сути проблемы и до того, действительно ли эта проблема и готов ли клиент заплатить за ее решение. И главное: полюбите плохие новости - лучше сразу понять, что идея не взлетит, чем потратить силы, деньги, время и потом разочароваться
И все это всего за 125 страниц и она очень легкая, читается за 2-3 часа. Из них большая часть про само интервью и немного про то, где искать клиентов, как готовиться к встрече, как записывать ответы и т.д. Тут даже краткое содержание не нужно - можно идти и читать.
"Неудавшийся разговор с клиентом не просто бесполезен. Гораздо хуже то, что он убеждает вас: вы на правильном пути"
Скидка первой недели на курс GoPractice – 10%, доступно 30 купонов действием до 25 мая. Чтобы активировать купон, надо оплатить курс по вот этой ссылке
Задача первой недели — расчет Retention
— 1 мая в приложение пришли 2000 новых пользователей. — 2 мая 800 из них зашли в приложение. — 3 мая его запустили 600 из 2000 новых пользователей, которые пришли 1 мая. 300 пользователей из этих 600 были в приложении 2 мая, а 300 не были. — 4 мая приложение запустили 400 пользователей. 100 из них запускали приложение и 2 мая, и 3 мая.
Вопрос: чему равен Retention 3-го дня для пользователей, которые пришли 1 мая?
Завтра мы с GoPractice в третий раз стартуем марафон с решениями простых, но базовых задач по продуктовой аналитике: в этот раз начинаем с retention (как обычно) и продолжаем статистической значимостью.
По вторникам буду выкладывать задачу с вариантами ответа, по воскресеньям — ответ. Как проходили прошлые марафоны, можно посмотреть тут и тут.
Как обычно, во время марафона действуют скидки на курс — симулятор работы в продуктовой компании: в первую неделю самая большая, затем поменьше. Курс я проходила, мой отзыв на него (уже полтора года прошло, оказывается), можно посмотреть здесь. Cпойлер: курс хороший.
Недавно спросила мою коллегу, продуктового редактора Сашу, о том, как выбрать стиль общения с пользователем - на "ты" или на "вы"? Мне вот вроде хочется написать по-дружески "Поздравляю, ты перешел на следующий уровень!", но стандартные фразы "Выбери уровнь" на "ты" выглядят плохо.
Cаша сначала мне ответила, а потом целую статью написала на этот счет - почитайте, там интересно и с примерами.
Цитата: - Выбирая общаться на «ты», вы сразу задаете очень высокую планку. Либо вы ее вытянете стилистически цельными коммуникациями, либо оступитесь и будет топорно. Если вытянете — может получиться круто. Если редактора у вас нет, не вытянете — времени и сил не хватит.
В нашем приложении с тренировками задумана авторизация через соцсети. Не сколько для того, чтобы собирать какие-то данные, сколько для того, чтобы не терялся прогресс: например, если пользователь сменит или потеряет телефон.
Сначала было непонятно, делать ли привязку к соцсетям обязательной? Я провела мини-опрос и результаты были в целом ожидаемыми: — если авторизация обязательна, не большинство, но многие подумают много раз, прежде чем оставлять соцсеть. — если авторизация необязательна, то многие ее просто пропустят, так как сначала хотят посмотреть приложение и решить, стоит ли отдавать ему данные, мало ли что.
Наверняка, конечно, если это какое-то приложение, о котором ты наслышан и скачиваешь с конкретной целью пользоваться долго (Headspace, например), % оставивших соцсеть будет сильно больше, но мы решили так не рисковать - нам важнее пользователи.
Думали-думали и нашли какой-то компромисс: пусть сначала пользователь пройдет онбординг, посмотрит приложение, а когда он нажмет "редактировать профиль", там мы ему и предложим привязать соцсеть. И вроде как под лозунгом "заполни профиль быстрее", раз уж показываем именно в этом месте.
Но что-то не клеилось: на самом-то деле ценность привязки в сохранении прогресса, а не в автоматическом заполнении профиля, в котором полторы штуки полей. А объяснять на экране все профиты: "привяжи, чтобы заполнить профиль быстрее, а еще для сохранения прогресса..." тоже плохо: как-то долго, непонятно, без акцентов.
А потом я рассказала про эту проблему продуктовому дизайнеру и она сказала "если основной смысл привязки соцсети в том, чтобы сохранить прогресс, то предлагайте это сделать после пятой тренировки — в этот момент ему уже есть что терять и он с большей вероятностью согласится"
И это настолько очевидно лучше (хотя по-хорошему надо бы АБ-тестить), что даже стыдно, что этот вариант никому не пришел в голову раньше.
Оцениваем идею продукта: методы пресс-релиза и письма клиента
В Amazon каждый человек, подающий идею продукта, должен написать пресс-релиз, который выйдет после его выпуска: какую проблему клиентов он решил? как его воспринял рынок?
Компания NordStorm улучшила этот метод и назвала его "письмо клиента". Вы также представляете, что продукт уже выпущен, но теперь вы пишете письмо клиента - благодарного клиента - где он рассказывает о том, как улучшилась его жизнь благодаря вам.
Например, продукты стали доставляться не за 3 дня, а за 15 минут, и он смог успеть испечь тортик на день рождения бабушке, или настройка чего-то стала занимать не день, а всего лишь час, и в свободное время он научился играть на пианино.
А после вы пишете реакцию CEO на это письмо: поздравления команде с объяснениями, как здорово все поработали.
Оба способа позволяют сосредоточиться не на процессе - перечислении фич, а на результате: на ценности для клиентов. А также мотивируют команду решать поставленную задачу. Или дают повод задуматься, а ту ли проблему мы решаем, если пресс-релиз или письмо не вызывают энтузиазма?
Откуда пользователь может прийти к вам? Каким будет его первое прикосновение к продукту, первое впечатление от бренда - хорошим или плохим? Недавно у меня было два показательных примера про первый контакт с продуктом компании:
1. Apple
Чтобы иметь возможность разместить приложение в AppStore, да и вообще передавать приложение в стадии разработки другим людям, нужно купить Apple Developer Membership за 99 долларов в год. И я не могу его купить уже три недели вместо указанных на сайте 48 часов. Мало того, я даже вторую попытку оплатить на одном аккаунте не могу сделать - нужно создавать новый, и их у меня уже три. Техподдержка отвечает стандартной отбивкой и игнорит после третьего письма.
Проблема известна, кажется, около года, на платежи с американских карт не распространяется, иногда с переменным успехом чинится. В телеграме есть даже чат собратьев по несчастью, которые написали огромную инструкцию, смысл которой сводится к "пробуйте разные карты разных банков, эскалируйте и в итоге поддержка даст вам реквизиты, по которым перевести деньги напрямую". Такая большая компания, такой важный кейс - покупка членства - и такой стыд.
2. Яндекс.Облако
Здесь менее однозначная ситуация - мы переносили приложение с локального сервера в облако. У Яндекса есть бесплатный период, чтобы распробовать, а дальше уже платить соответственно используемым мощностям и т.д., и у нас как раз идет этот период.
Все настроили, переключили и через 2 часа Яндекс без предупреждения нас блокирует, только приходит письмо на почту со смыслом "либо вы нарушили пользовательское соглашение, либо что-то майнили". Часы работы поддержки - с 10 до 19, время - 19-10, "хотите 24/7 - платите". А у нас хоть и 1,5 пользователя, но все же есть, и у них в этот момент все перестает работать. Хорошо, что там работает друг и нас разблочили через 15 минут.
Оказалось, посчитали фродом - наверняка из-за того, что в акк входили я из Москвы и разработчик из Екатеринбурга. Но он ответил на все вопросы о подозрительности и даже код от смсок моих вводил. Разве это не частый кейс для таких сервисов, что аккаунт заводит менеджер, а настраивает разработчик/девопс и он может быть в другом регионе?
Не понимаю, как сервис, который по идее предназначен для бесперебойной работы, может без звонков и предупреждений заблочить клиента, оставив поддержку вне зоны доступа, даже если это пробный период, тем более если это пробный период. После разблокировки, кстати, виртуалка не включилась автоматически - пришлось еще покопаться, чтобы все исправить.
Еще одна хорошая возможность начать прокачивать себя, оставаясь дома: курс по продакт-менеджменту от онлайн-университета Skillbox
Программа длится 18 месяцев, за это время вы научитесь: — исследовать рынок и конкурентов; — проводить UX-исследования; — выстраивать roadmap продукта; — проводить custdev; — создавать классные презентации и выступать и еще многим вещам
Обучение проходит онлайн, доступ к курсу бессрочный, много практики и постоянная связь с преподавателями. В конце - дипломная работа.
Первым 20 участникам курса - скидка в 40%! Подробности и запись по ссылке
После обучения Skillbox гарантирует всем студентам трудоустройство.
С удовольствием поддержу организаторов конференции Go Analytics!, которые открыли доступы к записям выступлений за 4 года - всего 105 докладов по аналитике и продуктовому маркетингу, которые помогут с пользой провести время дома. Нужно оставить почту вот здесь и вам придут ссылки, разбитые по годам выступлений.
Говорят, самые популярные доклады - эти: 1. Андрей Зайко, Adventum: "Внедряем аналитику Самое важное на старте за 30 минут" 2. Simo Ahava, 8-bit-sheep: "In the war between tactics and strategy, communication wins the game" 3. Владимир Баяндин и Надежда Меньшикова, Skyeng: "Как data driven подход в операционных процессах помогает расти в три раза каждый год"
Лайфхак, как можно удаленно проводить исследования, как люди используют ваш продукт:
— Если это мобильное приложение - звоните по зуму или скайпу с включенным видео, шарите их экран телефона себе через приложения TeamViewer и QuickSupport.
— Если пользователю нужно что-то делать на компьютере, то можно просто видеосвязь с демонстрацией экрана.
И эмоции видно, и действия человека - сделала так с первыми пользователями своего приложения, вышло отлично, собрала несколько доработок и заметок "на подумать"
У меня есть в канале правило - я не размещаю вакансии. Как обычно это бывает, это не распространяется на вакансии, которые нужны мне 🙂
Мы в Тинькофф в команду мобильного банка (лучшего в мире, кстати!) ищем ребят, которых называем "технологи" - это системные аналитики и проджекты в одном лице. Это вакансия, где можно круто прокачаться как в коммуникациях, так и технически, а также это вакансия, из которой в продакта выросла я.
Внутри у нас много продуктовых команд - вы будете работать в одной из них. Вы станете связующим звеном между заказчиком и командой - дизайнерами, разработчиками и тестировщиками, будете ставить им задачи, координировать процесс, помогать решать возникающие проблемы. А еще можете предлагать идеи для новых фич и продуктов.
Что мы хотим от вас: техническое образование, опыт постановки задач и написания ТЗ (обязательно - придется работать с API, разбираться в методах, описывать параметры), опыт ведения проектов или большое желание научиться. Если вы каким-то образом участвовали в разработке мобильных приложений, то это будет большим плюсом. А еще нужно проникнуться тем, что у наших технологов слов "это не моя обязанность" не существует, нужно будет делать много разного и интересного.
Рабочие плюшки обычные для классных компаний - тренинги, столовая, спортзал, любящие настолки коллеги и т.д. Работа в Москве, в офисе, выход после окончания самоизоляции.
Ищем и мидлов, и сеньоров. Очень классных джунов тоже посмотрим. Если интересуетесь или хотите что-то уточнить, напишите мне - @shenzzzi
Некоторое время назад мы с моим другом-тренером из школы Real Capoeira решили сделать приложение для онлайн-тренировок по капоэйре. Я собрала отличную команду, и в этот понедельник мы запустили альфа-версию для владельцев андроида и уже собрали немного довольных отзывов и доработок 🎉
Что могу сказать: свой проект, конечно, очень отличается от всего, что делаешь в большой компании. Ресурсы ограничены, по некоторым вопросам не с кем посоветоваться, а главное - можно набить почти все шишки, которые возможны при разработке продукта и многому научиться.
Расскажу об этом попозже, а пока я просто довольна, как слон)
Кстати, слушаю курс про UX на одной из платформ онлайн-обучения, и у них в видео нажатие на любую область, кроме кнопки "продолжить просмотр" воспроизводит видео с самого начала. Что достаточно забавно для курса по UX, хоть и понятно, что сама площадка на нем не специализируется.