Growth Lab

На днях прошёл второй курс от GoPractice — «Симулятор управления ростом продукта». Курс вышел совсем недавно, и мало кто делился опытом прохождения. Расскажу о своём. Когда курс анонсировали, и появилась возможность ознакомиться с его программой, я засомневался, а нужно ли мне его проходить. В программе я не увидел чего-то нового для себя. Но по опыту прохождения первого курса (а первый курс мне очень понравился) понимал, что второй будет не хуже, и что-то полезное точно смогу получить. В общем, решил его пройти. И ничуть не пожалел. Во-первых, узнал куда больше нового, чем ожидал. По-другому взглянул на JTBD и product/market fit. Закрыл слепые зоны в моделях и циклах роста. Даже в максимально изученных мною областях, как product/channels fit, всё равно было что почерпнуть. Во-вторых, структурировал накопленные знания. Отдельные методологии, фреймворки соединились в единую картину. В-третьих, стал смотреть на рост продуктов шире — за рамками метрик и воронок. Команда GoPractice большие молодцы, второй курс, как по мне, оказался даже лучше первого.

P.S. Хоть Дуров и писал, что реклама в телеграм будет показываться только в больших каналах, которые и так размещают рекламу, но на деле это не так. Если видите здесь телеграмовскую рекламу, — знайте, я к ней отношения не имею. И будьте осторожны, т.к. реклама ведёт порой на сомнительные каналы.

Поделюсь правилами, которых я придерживаюсь в экспериментах над посадочными страницами. На самом деле, в них нет ничего новаторского – они логичны и просты, но почему-то про них мало кто вспоминает, когда дело доходит до экспериментов. 1. Все эксперименты должны идти последовательно, в виде древовидной структуры, т.е. новый эксперимент наследует результативность предыдущего, а не ломает его. И запускается он после того, как предыдущий уже в проде. 2. Несколько экспериментов можно запускать параллельно, если они не пересекаются -> находятся на разных этапах воронки и имеют разные метрики для оценки. 3. Не делаем выводы по эксперименту и не катим его в прод, пока данные не будут статистически значимыми. 4. Чтобы избежать ошибки преждевременных выводов (peeking problem), перед каждым экспериментом нужно производить расчет. Расчет поможет определить количество пользователей в выборке и продолжительность эксперимента. Продолжаем придерживаться этого расчета до выявления победителя. 5. Данные для выводов должны быть «чистыми» – очищены от фрода, асимметрии в выборках (должны быть репрезентативными), сезонных и недельных перекосов. Также чтобы принять или отвергнуть нулевую гипотезу, выборки в тестовой и контрольной группах не должны отличаться, т.е должны быть одинаковые источники трафика, аудитории/таргетинги, креативы и т.д.

Продолжаю разгребать свои черновики и публиковать заметки. И сегодня мы поговорим про коэффициент конверсии (в дальнейшем CR), а точнее — очевидное заблуждение при её интерпретации. Итак. Жизненная ситуация. Представим, что вы пришли работать продактом или маркетологом в небольшой стартап. На второй месяц работы вы с ужасом наблюдаете, что CR из перехода в лид упал с 10% до 8%. Начинаете проверять все факторы, которые могли бы повлиять на столь резкое падение, и не находите. Что тут не так? Проблема кроется в неправильном понимании значения CR. CR (как и любое другое историческое значение метрики) — не является абсолютным/истинным, это лишь оценка значения в прошлом. А реальное значение лежит в «некоем интервале», которое нужно ещё рассчитать. То есть коэффициент конверсии может «плавать» от месяца к месяцу без изменения продукта или рекламных кампаний, но в заданном интервале. А поможет нам в более точном понимании реального CR — доверительный интервал. Доверительный интервал с заданной вероятностью (уровнем доверия обычно равном 95%) показывает, что действительный показатель конверсии с вероятностью 95% находится в этом интервале значений. В нашем же примере реальная конверсия могла лежать в интервале от 8% до 12%. И падение до 8% не связано с какими-либо изменениями. Я не буду расписывать, как считается доверительный интервал, т.к. в сети огромное количество статей на эту тему и уже готовых калькуляторов (пример бесплатного калькулятора). В общем: если бы все при указании коэффициента конверсии указывали еще и его доверительный интервал — жить стало бы легче) Хороших выходных и увидимся на следующей неделе

Решил возобновить серию еженедельных постов, а точнее заметок. Так что не удивляйтесь, моему частому появлению 😊 учитывая, что это мой пятый пост за год. И первая заметка, о которой сегодня поговорим – альтернативный способ поиска точек роста в продукте при анализе пользовательского пути. Говоря о пользовательском пути, мы часто представляем его в виде воронки, где пользователи двигаются последовательно от шага 1 к шагу 2 и т.д., пока не дойдут до ключевой цели (или не отвалятся по пути). Воронки хорошо описывают путь и помогают верхнеуровнево увидеть проблему на каждом шаге. Но, если детально проанализировать пути пользователей в продукте (от ивента к ивенту), то можно заметить, что он, зачастую, нелинейный и не вписывается в стандартную воронку. И чем сложнее и многосценарнее продукт, тем это заметнее. Нелинейность пути подталкивает нас к поиску нового метода анализа проблемных участков. И один из них – анализ траекторий пользователей на графах. Графы при правильном использовании помогают увидеть проблемы (точки роста) там, где не справляются стандартные методы. Основные проблемы, которые можно найти при анализе траекторий: 1. Петли – повторение одного события в траектории пользователя. 2. Циклы – замкнутые траектории, как и петли, но включающие в себя больше одного события. 3. Точки торможения – точки, препятствующие быстрому прохождению до ключевой цели. 4. Точки отвлечения – лишние действия, которые уводят/отвлекают от целевого действия. Но с графами не так всё просто. Нельзя взять и построить граф на всех данных, что у нас есть, так мы рискуем ничего не увидеть и потеряться в огромном количестве вершин и рёбер. Вначале нужно отходить от гипотез или кластерного анализа и далее переходить к построению и поиску аномалий. Если хотите разобраться в теме подробнее, то копайте в сторону retentioneering. Также есть бесплатная open-source библиотека на GitHub. До встречи на следующей неделе.

Сделал подборку курсов, для тех, кто делает первые шаги в Data Science. Делал изначально для себя, чтобы структурировать и упорядочить знания, но решил, что подборка будет полезна кому-то ещё. Структура курсов: 1. Линейная алгебра и дискретная математика. 2. Статистика и теория вероятностей. 3. Python, SQL, R. 4. Машинное обучение. 5. Алгоритмы и структуры данных. 6. Нейронные сети и Deep learning. Курсы упорядочил по степени необходимости, начиная с базовых знаний, без которых будет тяжело даваться дальнейшее изучение (линейная алгебра, статистика, базовое знание python и т.д.), переходя к более сложным. Старался избавиться от избыточности, оставляя только самые ценные, на мой взгляд, курсы. Эти бесплатные курсы легко заменят вам платные. https://habr.com/ru/post/584964/ Не забудьте поделится статьей с теми, кому она может быть важной.

Начинать изучение новой области (особенно с нуля) всегда трудно. Слишком много вопросов и неопределённостей: с чего начать, в правильную ли сторону двигаюсь и как не выгореть по пути. Под «областью» я понимаю любой большой предмет, к примеру: python, статистика и т.д. Сегодня расскажу о своём подходе к обучению. Америку не открою, но может, что-то полезное, а главное, применимое в подходе найдёте. Дисклеймер: Сжатие большой темы до одного поста естественно привело к n-количеству нераскрытых пунктов. 0. До того как приступить к изучению, стоит задаться вопросом: почему нужно потратить ресурсы на эту область, а не на другую? Сколько времени потребуется, и какой ожидаемый результат от изучения получу. Для меня область должна быть применимой, и, в идеале, применить её можно было уже по ходу обучения. Если нужно выбрать из нескольких областей, то на помощь приходит ICE score. 1. Определившись с областью, перехожу к исследованию. На первом этапе собираю как можно больше информации из всевозможных (проверенных) источников. Максимально широко охватываю область, насколько в изначальном понимании могу охватить. И первый этап переходит во второй. 2. Собрав предельный массив данных, начинаю чистить и валидировать информацию, структурируя её в основные, большие блоки mind map (использую сервисы Miro или Mindmeister). На выходе получается черновой план обучения, но пока без детальной проработки. 3. На третьем этапе выбираю источники получения информации: книги, курсы и т.д. 4. Выбрав источники, определяюсь с дедлайном и распределяю ресурсы — сколько часов могу выделить в день/неделю, и какие временные слоты подходят под это. Далее перехожу непосредственно к обучению. 5. Начинаю изучение с логического понимания области. Стараюсь понять в общих чертах, как всё устроено и работает, пока без погружения в детали, формулы и т.д. Когда логически всё становится понятно — перехожу к деталям. 6. Логическое понимание области перетекает в углубленное изучение. И mind map из этапа 2 декомпозируется на мелкие пункты, те в свою очередь на ещё более мелкие — подпункты. После всех итераций получаю готовый, проработанный план и осмысленный на логическом уровне. Конечно, план ещё будет дополняться с расширением знания в области. Как вы могли заметить, я осознанно исключил поддержание уже изученных областей — это тема для отдельной статьи. Хорошего дня!

Апрель в этом году прекрасен по двум причинам: во-первых — исполняется два года каналу «Growth Lab», и лучшее поздравление — рассказать о канале знакомым, тем, кому он будет полезен; во-вторых — уже год, как я работаю в Геосервисах Яндекса. И с удивлением обнаружил, что ничего о работе в Яндексе вам не говорил. Кем работаю? Что делаю? Просто исчез на год). Пришло время рассказать. Работаю я на позиции Growth Manager. Возможно вы ничего и не слышали о такой профессии, т.к она еще достаточно новая, и обязанности сильно различаются в зависимости от компании. Если объединить Product Growth (сотрудник отвечает за рост продуктовых метрик) и Growth Marketing (отвечает за развитие каналов привлечения и поиск новых) — получится то, чем я занимаюсь. Нахожусь на стыке диджитал-маркетинга и разработки продукта — ращу ключевые метрики через процесс исследований и постоянных экспериментов. Работаю с выделенными под проекты кросс-функциональными командами, разработкой, продактами, продюсерами, аналитиками и еще много кем. Как-то так, если вкратце. В статье (https://t.me/proroas/91) я раскрываю, как работаю по growth-процессу и детально описываю фреймворк. Почитайте, если ещё этого не сделали. Но это всего лишь часть моей работы, есть еще большой пласт аналитики, планирования, менеджерской работы с командами и т.д. Как-нибудь соберусь и напишу статью по росту продуктов и работе growth-команд, ну, или сделаю курс — почему бы и нет)

Сегодня я расскажу про возможности бесплатного обучения в Яндексе, о которых вы могли не знать. В этом году Академия Яндекса открывает бесплатный набор в четыре школы: разработки интерфейсов, бэкенд-разработки, мобильной разработки и дизайна. Ещё есть школа продакт-менеджеров, но набора в нее я пока не вижу. Так что, если интересно изучить новую профессию, или вы только начинаете свой путь в IT-индустрии — вэлкам. Очень хороший старт и возможность поработать с реальными продуктами Яндекса. Набор скоро откроется, тут можете подробнее изучить: https://academy.yandex.ru/schools Также Академия ведёт крутейший YouTube канал: https://www.youtube.com/c/АкадемияЯндекса. Ребята выкладывают записи с прошедших потоков школ и многое другое. Лично я посмотрел всё, что связанно с управлением проектами и продуктом, а также дизайном. Как по мне, из этого YouTube-канала можно почерпнуть гораздо больше, чем из многих платных курсах. Ну и конечно я не могу не упомянуть Школу анализа данных (ШАД) — это бесплатная (если пройдете вступительные испытания) двухгодичная программа для тех, кто хочет стать продвинутым Data Scientist. Следующий набор начнётся в апреле, так что ещё есть время подготовиться. Я поступать в ШАД пока не планирую, но точно буду проходить весь материал, как зритель. Подробнее тут: https://yandexdataschool.ru Как видите, Яндекс предоставляет массу возможностей для бесплатного обучения, было бы желание, а время найдется. 😉 Не забудьте поделится с теми, кому эта информация может быть важной.

Впереди новогодние праздники, а значит будет немного времени (я на это надеюсь) для изучения чего-то нового. Как насчет погружения в индустрию мобильных игр? Сделал для вас подборку бесплатных курсов от devtodev. Разработка, дизайн, аналитика и маркетинг мобильных игр, всё на одной платформе и в удобном формате. Приятного изучения 😉 1. Маркетинг мобильных игр: базовый курс. 2. Игровая аналитика: от основ к продвинутым методам. 3. Введение в геймдев: Первый системный онлайн‑курс об игровой индустрии. 4. App Store Optimization: от простого к сложному. 5. Гиперказуальные игры: просто - не значит легко. 6. Разработка инди-игры: от идеи до релиза. 7. Геймдизайн: как делать игры, которые нравятся и приносят деньги. Это не все курсы от devtodev, посмотрите на сайте, там их немного больше, чем я указал. Изучайте сами и делитесь с коллегами. Всем знаний и увидимся в следующем году.

Я немного запоздал с публикацией статьи, да и вообще давно ничего не писал — исправляюсь. Прежде чем перейдем к новой статье, небольшое объявление. Я переименую канал, т.к. всё больше пишу не о маркетинге, а, в целом, о росте продуктов. А теперь статья) Сегодня поговорим про инкрементальность (как не купить свою органику). Каждый день компании теряют значимую часть бюджета на пользователей, которых получили бы и так, бесплатно. Представьте, что вы могли бы знать, какая часть маркетингового бюджета расходуется впустую, и сэкономить её. Статья в этом поможет. Что вы узнаете из статьи: - Что такое инкрементальность и фундаментальный принцип расчета, который применим ко всем каналам, источникам и нужным вам ключевым показателям (как revenue и т.д.) - Поймете, как инкрементальность пересекается с атрибуцией. - И главное — как с помощью этих данных сделать маркетинговую стратегию эффективнее. Поехали. Как не купить свою органику — гайд по инкрементальности в маркетинге.