Как делать аналитику в стартапе - Илья Володарский, Segment

Оригинал видео на английском без субтитров

Всем привет. Меня зовут Илья. Я один из сооснователей компании Segment. Я здесь, чтобы поговорить с вами о том, как настроить аналитику и как на основе аналитики построить ваш MVP, и измерить первичные и вторичные метрики. Это будет тактическое руководство о том, какие инструменты существуют в плане аналитики, маркетинга, какие инструменты нам лучше использовать, как их настроить.

Отлично. Прежде чем я начну, многие из вас могут не знать компанию Segment. Это API аналитики, куда вы можете отправить аналитические данные, а затем подключить разные инструменты анализа данных. Мы занимаем крутое место на рынке, и мы реально видим, какие инструменты используют стартапы. И мы можем донести эту информацию до вас. Во-вторых, мы существуем около шести лет.

У нас есть информация о множестве разных стартапов; как они росли и какими инструментами пользовались. И мы сегодня поделимся этим с вами. Здорово. Итак, почему мы говорим о... Зачем вообще обращать внимание на аналитику? Очевидно, что первичные и вторичные метрики движут развитие MVP и процессом подгонки продукта под рынок. Вы пользуетесь ими, чтобы проверить, насколько продукт вписывается в рынок.

Вы также пользуетесь этим, когда уже не занимаетесь подгонкой продукта к рынку, но вам нужно выявлять приоритеты для команды. Могут возникнуть проблемы с привлечением пользователей, которые мешают росту. Может быть ваши пользователи не так вовлечены, или у вас есть проблемы с монетизацией. И поэтому воронка является важной функцией для понимания вашего бизнеса и того, на что сооснователям необходимо тратить своё время.

И, наконец, начиная от команды из двух-трех человек до компании уровня Google с миллионом сотрудников, вы используете метрики для работы и управления командой. В конечном итоге у вас будут инженеры и маркетологи. И какую цель нужно поставить перед маркетологами? Чтобы понять это, используйте аналитику. Сегодня мы рассмотрим несколько разных вещей. Вы всегда начинаете с воронки, когда задумываетесь об аналитике.

Это серия последовательных шагов, которые проходят ваши пользователи, чтобы получить выгоду от вашего продукта, а затем заплатить вам. Мы поговорим о сборе данных для ваших аналитических инструментов. Мы также поговорим о трех главных метриках. Это главная и вторичные метрики, которые годятся для большинства продуктов. А затем о методологии соответствия продукта рынку, которую вы можете применить затем.

И, наконец, мы дадим рекомендации о том, какие инструменты в данный момент – лучшие на рынке, которые помогут на вашем пути по подгонке продукта под рынок. Итак, чтобы начать, начинаем всегда с воронки. Приведем пример воронки для Netflix, это компания, с которой мы все хорошо знакомы. Любой B2B или B2C продукт имеет похожую воронку, вы приобретаете пользователя, вы вовлекаете его на некоторое время.

Этот цикл называется удержанием (ретеншеном). И, наконец, вы монетизируете пользователя. Первичные и вторичные метрики, являются показателями эффективности каждой стадии в воронке. После привлечения клиента вы можете спросить себя: "Сколько новых пользователей я получил на этой неделе по сравнению с прошлой неделей? Каков мой показатель роста?" Для оценки вовлечённости, вы берете когорту пользователей.

Например, с воскресенья по следующий понедельник у вас 16 человек зарегистрировались. И тогда вы можете отслеживать эту группу пользователей нескольких недель. Вы увидите, какая их доля продолжает пользоваться продуктом четыре недели спустя. Это – хороший пример того, как отслеживать ретеншен. А потом мы говорим о монетизации, а именно: "Сколько выручки я получил на этой неделе по сравнению с прошлой неделей?" А потом вы применяете свою собственную воронку для этого.

Если вы – Netflix, нам знакомо, как пользователи регистрируются на Netflix, чтобы смотреть видео. К Netflix быстро привыкаешь, я его много смотрю. А когда заканчивается бесплатный период, вы подписываетесь платно и получаете доступ к большему количеству контента. Так как же собирать данные когда у вас есть эта воронка? Существуют аналитические API. Как пример, я использую Segment.

Один, два, три пользователя зарегистрировались и они оказались пользователями, на приобретение которых не было потрачено ничего, и никто не приглашал, сами пришли. Если вы – Netflix, вы можете сказать, что пользователи смотрели видео, и в конце концов подписались за деньги. Так вот так вы отслеживаете ваше мобильное приложение или веб-приложение. Затем вы думаете о свойствах события.

Представьте, что вы Netflix, и у вас в руках данные о событии, что видео было проиграно. Вы задаете себе вопросы. Какие видео пользователь сейчас смотрит? Какое оно по продолжительности? Как долго человек его смотрел? Равнозначно, если событие – апгрейд подписки, то метрику по монетизации вы хотите сделать главной (north star metric). Если у вас подписная бизнес-модель, то вам следует анализировать ваш ежемесячный доход (MRR).

Если ваш бизнес транзакционный, как ecommerce или розница, то следует анализировать величину транзакции. Затем вы сбрасываете данные в своё приложение. Вы начинаете видеть поступающие данные Вы смотрите на отладчик. Вы видите: "Хорошо, регистрация пользователя здесь. Все выглядит нормально." Вы добавляете первый инструмент аналитики. Мы возьмём Amplitude в качестве примера.

Amplitude и Mixpanel – довольно крутые аналитические инструменты, их тех, что есть сейчас на рынке. Вы видите поток данных внутри одного из этих аналитических инструментов. Это Amplitude. Вы видите рост числа регистраций сразу после запуска вашего реального приложения. Хорошо. Итак, теперь аналитика установлена, теперь следует сосредоточиться на трех разных показателях.

Первый – это показатель привлечения клиентов, количество регистраций в неделю. Если вы бизнес B2B, то было бы неплохо разделить их по типу инвайтов, чтобы видеть органические регистрации через ваш сайт, и видеть пользователей, приглашённых другими пользователями. Вот по типам инвайтов. Когда вы рассуждаете о росте, важно понимать об "органических пользователях".

Ещё один пример того, почему параметры события так важны. Как вы это делаете. Вы заходите в Amplitude, вы говорите: "Отчет о сегментации событий, регистрации. Далее." Вот ваш график, верно? Это так просто. Обычный сайт, отправляете данные в Amplitude. И тогда вы можете увидеть количество органических регистраций еженедельно. И тогда, если вы работаете по поглощения в качестве вторичной метрики, вы можете в принципе сказать: "За последнюю неделю зарегистрировались 218 органических пользователей.

" Но к концу месяца мы хотим, чтобы это было на уровне 300." В этом месяце мы собираемся сделать в этом месяце A, B и C. Мы будем наблюдать за графиком каждый день на табло у себя на телевизоре в офисе или в квартире, где бы мы ни работали. Мы посмотрим, способствуют ли А, B и C тому, чтобы цифра росла. В этом смысл управления командой на основе полученных данных. Вы устанавливаете метрику и цель, а затем двигаетесь к ним каждый день.

Окей. Второй – это удержания пользовательских когорт. Кто-то спрашивал об удержании, вот об этом поговорим. Когда вы думаете об удержании, принимайте во внимание когорту пользователей. Берём с понедельника по воскресенье, скажем с 10 по 17 декабря, зарегистрировалось 16 пользователей. Вы наблюдаете за этими 16 пользователями, когда они используют ваш продукт на нулевой неделе, которая является неделей их регистрации, на 1-й неделе, на 2-й неделе, на третьей и четвертой неделях.

И смысл здесь в том, что вы можете убедить вашу маму или бабушку использовать ваш продукт один раз. Но даже ваша мама или бабушка не будут пользоваться вашим продуктом каждую божью неделю, верно? И поэтому, если вы видите пользователей, которые втянулись, которые возвращаются неделя за неделей, это действительно хороший знак соответствия продукта рынку.

Так что этот бизнес может увидеть, что из когорты 10 декабря лишь 6,25% пользователей всё ещё работают с продуктом на 4-й неделе. И это довольно мало, верно? Вы же хотите, чтобы чтобы эта цифра была где-то между 20 или 30 по крайней мере. И вы можете установить такую цель: "Я поговорю этими целевыми пользователями и попытаюсь выяснить, почему продукт не имеет для них ценности.

А затем внесу некоторые изменения." Окей. Так какой показатель выбирать? Это с одного из слайдов Густава. Довольно круто. Вы думаете о том, какую ценность приносит ваша компания пользователям. Например, ценность Airbnb в том, что позволяет вам арендовать жилье по всему миру, верно? Они хотят, чтобы вы делали это хотя бы раз в год, в противном случае они считают вас перегоревшим (ушедшим) пользователем.

Facebook дает вам позволяя вам просматривать новостную ленту и общаться с друзьями. Они хотят чтобы вы делали это, по крайней мере, ежедневно или раз в месяц. И вот, когда вы думаете о соответствии продукта рынку, у вас есть две эти кривые. У нас есть когорта из 16 пользователей, которые зарегистрировались в течение одной недели, и мы отслеживаем во времени. В конечном итоге, количество пользователей продукта, который не вписан в рынок, снижается до нуля, потому то людям этот продукт просто по барабану, верно? И это и есть определение соответствия продукта рынку.

Для этих инструментов и продуктов, которые достигли состояния вписывания в рынок, вы увидите что-то вроде плато. Не обращайте внимания на оси. Должно быть где-то между 20 и 30 % по крайней мере. Так. Как мы создаём этот график? Выглядит немного сложновато. К счастью, и Mixpanel, и Amplitude делают крутые отчёты по этой метрике. В Amplitude это отчёт по ретеншену. Вы говорите, пользователи формируют когорты по регистрации.

А потом она возвращаются по событию проигрывания видео или апгрейда подписки, это – целевое событие. Потом жмём "Дальше" и получаем график. И теперь вы можете взглянуть на удержание в когортах за 4 недели, улучшить свой продукт и снова посмотреть на уже новые когорты. У них 4 недели прошли лучше или хуже, так? И это показывает вам, ваши изменения неделю за неделей на самом деле помогли? Ладно.

Наконец о выручке. Это первичная метрика, о которой вам нужно думать. Для бизнеса по подписке вы будете использовать событие апгрейда подписки. Суммируем по новому свойству – регулярный месячный доход (MRR) Жмём "Дальше" и получаем график чистого еженедельного дохода. Теперь вы можете устанавливать цели на месяц на этой основе и убеждаться, что вы растёте в соответствии с теми показателями, с которыми должны расти.

Если у вас несколько основателей, то очень полезно все эти показатели вывести на табло и показывать их на экране ТВ в вашем офисе. Это невероятно, невероятно важно. В этом разница между компанией, которая развивается на основе собранных данных и обычной компанией. Многие основатели настраивают свою аналитику, но потом не смотрят на неё, потому что это же больно и горько, да? В то же время команды, которые работают на основе данных помещают метрики на экран ТВ.

И говоря об изменениях, мы говорим о том, насколько эти изменения влияют на метрики. И в конце концов, вы начинаете понимать свой бизнес каждый божий день. И именно такая компания и такой основатель могут без труда масштабироваться чтобы построить высокоэффективные компании, потому что те, кого они наймут позже, тоже будут смотреть на экран ТВ с цифрами и руководствоваться теми же метриками.

Так что, обзаведитесь телевизором! Что вам дальше будет нужно – некий социальный смысл привязать к своим метрикам. У вас есть друзья, родители, менторы, вам надо сообщать своим инвесторам по имейл, как идут дела. Эта картинка помогает вам собрать в одно целое, что на самом деле происходит. А потом отправляйте свои менторам и скажите, за что именно борется сейчас ваш бизнес, и как вы планируете это преодолеть.

Это позволит вашим менторам быстро понять, в чём дело и ответить с более годным советом. Круто. А теперь мы займёмся инструментарием для стартапа. Эти инструменты мы рекомендуем, потому что они помогают регулярному процессу установки тех самых метрик. Я собираюсь немного рассказать, как организовать процесс по созданию MVP, об этом Майкл уже говорил прежде.

Итак, сначала мы строили MVP для Segment. Мы построили семь разных MVP, до того, как мы на самом деле нащупали Segment. И всё они провалились. Но постепенно мы добрались до того, который заработал. И вот процесс создания MVP он на самом деле очень важен. После того, как вы закончили свой маленький эксперимент, вы хотите запустить закрытую бету. Практически, это означает 10, 20, 30 клиентов, которые пользуются продуктом, и у них есть с вами прямая связь.

Что сегодня делает Segment – с каждой копией продукта, который мы поставляем, у нас каналы в Slack с каждым клиентом. И наши продакт-менеджеры сидят в этих каналах и разговаривают с клиентами. Потому что если продукт не вписывается в рынок, клиенты просто перестают отвечать, и мы спрашиваем, спрашиваем, а от них нет ответа, так? А если продукт вписывается в рынок, то клиенты ведут себя типа: "О, а это вы почему не прикрутили? Это не работает.

Я пытался разослать инвайты своей команде. Чувак, это не пашет". Таким образом, вместо того, чтобы вы дёргали клиента, клиент сам начинает вас дёргать. Когда продукт вписан в рынок, у вас совсем другие ощущения. Окей, в определённый момент закрытая бета показывает хорошие результаты. Вы ощущаете, что людям она по душе. Вы понимаете свою целевую аудиторию.

Потом вы хотите получить бОльший рыночный сегмент. И это релиз, то, о чём мы говорили выше. Постарайтесь сделать это как можно скорее. Релиз означает больше пользователей, для проверки соответствия продукта рынку. И если вы почувствовали, что попали в свою нишу, вы начинаете масштабировать компанию, правильно? И вы нанимаете сейлзов и запускаете маркетинговую компанию за деньги и всё такое.

Различные инструменты направляют вас в этом процессе. Пока вы строите MVP и собираетесь дать продукт первым пользователям, подключите Google Analytics и Amplitude. Google Analytics расскажет вам, кто к вам пришёл из интернета. А потом Amplitude расскажет вам, какой функционал они используют, насколько они вовлечены в работу с этим функционалом. Если вы не можете посмотреть из-за плеча пользователя на то, что он делает 100 % времени, тогда Analytics приемлемая альтернатива.

Мы также встраиваем чат в реальном времени на сайте. Ну, либо Slack c клиентами. Ну, если так не можете, тогда чат на сайте. В начале работы с Segment, клиенты дёргали нас круглосуточно. И именно в этой фазе мы получили наиболее ценную обратную связь. Так что, чем больше открыто каналов коммуникации, тем лучше. Дальше, хранилище данных. Это то, что мы рекомендуем. Раньше это обходилось дорого.

Но сейчас уже нет. Если у вас в команде есть сооснователь, который не технарь, он будет задавать много вопросов по поводу данных. И он будет спрашивать основателя-инженера, и тому надо будет находить ответы. Хранилище данных "демократизирует" накопленные данные, и не только для не технарей, но и для всех остальных, кого вы нанимаете потом. Доски (канбан), очевидно это надо поставить сюда.

Уведомления по имейл и пуш-уведомления. Как только пользователь зарегистрировался, вам нужно прислать ему имейл. Через секунду к этому вернёмся. И потом поддержка. В какой-то момент у вас будет очень много тикетов в техподдержке, и тогда вы почувствуете, что вписали продукт в рынок. И если всё это свалится на один аккаунт Gmail основателя, вы не сможете на всё это оперативно отвечать.

Так что вам нужен общий почтовый ящик, где может отвечать любой из основателей. Теперь я коснусь нескольких разных рецептов, как пользоваться разными инструментами, которые для нас оказались очень полезными при вписывании продукта в рынок. Первое – юзабилити. Почти каждый продукт, который выпущен на рынок, в первые три месяца едва пригоден для использования, пока вы справляетесь со своими затыками.

И мы это видим буквально в каждом проекте, неважно, сколько сил было потрачено до этого. Как только приходят пользователи в количестве, начинают его эксплуатировать, они всегда это делают не так, как ожидалось. И есть такой инструмент Fullstory, который помогает вам посмотреть на пользовательские сеансы на вашем сайте. Я сейчас это вкратце опишу. Есть такая новая функция в Personas, одном из компонентов Segment.

Когда мы её зарелизили, метрики были ужасные. Но клиенты шли, и они на самом деле не могли воспользоваться этим. Они не пользовались продуктом, и мы подумали, боже, это не соответствует рынку. Нам нужно вернуться к наброскам. Потом у одного из дизайнеров в команде возникла потрясающая идея. Давайте посмотрим, как это происходит. И вот мы видим, как пользователь собирается создать себе план-график.

Он находит нужную кнопку. Он не понимает, что на самом деле эта кнопка делает. Он теряется и в состоянии стресса закрывает страницу. И это же поведение мы обнаружили и у других пользователей, которые приходили. И мы типа: "Ладно, нам надо всего лишь разобраться с этой кнопкой". Мы починили кнопку, и метрики мгновенно улучшились. Вот почему так важно иметь возможность заглянуть пользователю через плечо, это великолепный инструмент.

Это создано основателями Stripe. Или установите Fullstory, она легче масштабируется. Теперь поговорим об имейле от основателя на 42-й минуте. Когда мы запустили Segment, мы ждали 43 минуты, а потом отправляли имейл клиенту и говорили: "Привет. Меня зовут Илья. Спасибо, что зарегистрировался в Segment. Твой следующий шаг – добавить источник [данных]. И если у тебя есть какие-либо вопросы, пожалуйста пиши или звони мне в любое время.

С тех пор, как мы ввели такие имейлы в 2013 году, у нас были сотни тысяч ответов на них. Это та связь, между вами и пользователями по имейл, которая, если они в окажутся в тупике она сработает, они ответят. Вы можете воспользоваться таким инструментом как CustomerIO. Это инструмент рассылки имейлов, срабатывающий по регистрации пользователя. Скажем, можно отправить сообщение через 30, 40, 50 минут после регистрации, когда угодно, и настроить контент.

Потом вы в шаблоне настраиваете поля: имя, название компании и так далее – на основе своей аналитики. Рекомендуется делать детальную инструкцию. Ну, и, наконец, упрощение (демократизация) доступа к данным. Это более сложная процедура. Она проводится, на стадии MVP. Вы уже удовлетворены тем, как продукт вписан в рынок. Вам уже хочется создать хранилище данных типа Google BigQuery.

Потом вы захотите Mode Analytics – инструмент бизнес-аналитики, который работает на её основе. Это позволит вам на основе сырых данных формировать вопросы в Amplitude или Mixpanel. Практически любые вопросы, которые можно задать, используя SQL. И даже сооснователь не технарь со временем разберётся с SQL и начнёт формировать такие вопросы сам. Есть один общий момент, на котором спотыкаются наши клиенты, пытаясь выбрать идеальный инструмент, Mixpanel или Amplitude, BigQuery или Redshift.

И они столько времени гробят, сравнивая их. Правда в том, что вам не нужно заранее беспокоиться о том, чтобы выбрать идеальный инструмент. На вашей стадии развития проекта и Amplitude и Mixpanel дадут вам один и тот же результат. Вместо этого вы должны пройти это решение как можно быстрее, но быть готовым к тому, что впоследствии его нужно будет поменять. Вот пример, который показывает клиента Segment.

Они пользовались разными инструментами в течение трёх лет. И вы видите, что с 2015-го по 2017-й они попробовали 8 разных приложений. Потом они либо кого-то наняли себе, либо просто решили, что эти инструменты больше не решают то, что должны. И они переключились на другой набор инструментов. Лучшие в своём классе инструменты меняются каждые два года. Будьте готовы к переменам и не тратьте чересчур много времени на то, чтобы сделать идеальный выбор.

Так. Это моя рекомендация, какие инструменты лучшие для стадии MVP. Пройдёмся по ним сейчас. Google Analytics помогает понять, какие пользователи приходят на ваш сайт. Amplitude для более серьёзной аналитики. Google BigQuery для упрощения доступа к хранилищу данных, по сути просто большая база данных. Mode – инструмент, который используется на их основе, чтобы ставить вопросы поверх BigQuery.

Intercom – что-то вроде списка всех ваших клиентов. Это неплохая система CRM для тех, кто на ранних этапах. Fullstory – для улучшения юзабилити. И CustomerIO – для клиентских рассылок. Когда вы подрастёте достаточно, вы начнёте пользоваться Google Ads, Facebook Ads и работать над платным привлечением пользователей. Ладно, перейдём к другому слайду. Когда мы молоды... В 2011, 2012 годах у нас не было достаточно денег.

Так что мы не пользовались всеми этими разными инструментами. Так что мы использовали Google Таблицы для CRM. Вы пользовались Asana и Trello, потому что они были не слишком дорогими. Мы пользовались имейлами. И единственное, за что мы платили – Github и AWS, где лежал наш продукт. И сегодня я счастлив сказать, что мы сделали Segment бесплатным для стартапов ранних стадий. Так что для вас всех, ребята, будет короткая ссылка, которую мы вам потом пришлём, и вы получите отличную сделку.

Когда мы выпустили Segment, у нас была куча сделок с нашими клиентами, поэтому сейчас на ранней стадии вы можете получить все эти инструменты бесплатно. Наслаждайтесь, и пользуйтесь ими, чтобы ускорить свой процесс вписывания продукта в рынок. Спасибо. Да, я отвечу на несколько вопросов. Итак, в смысле количества, с каких цифр начинается значимая клиентская база.

Я имею в виду, 10 % от 100 это 10 клиентов. 10 % от 10 это один. Я не [неразборчиво]. Вы спрашиваете о показателе роста? Да, типа [неразборчиво]. Ага, вы спрашиваете, если вы начинаете с очень маленькой клиентской базы, какой должен быть показатель роста, чтобы этот рост имел какое-либо значение? Что нужно обнаружить, чтобы у этого роста появился смысл? Должны ли это быть 10 000 пользователей до того, как… Да.

Это целиком зависит от того, какой у вас продукт. Если вы промышленная B2B компания, вы закрываете сделки по 10, 15, 20 тысяч долларов, вам нужно всего несколько клиентов… Можете направить достаточно денег, чтобы нанять больше людей в маркетинг, большой отдел продаж. Если вы продаёте футболки и штаны, то вам, вероятно, нужны более высокие цифры. Так что это целиком зависит от того, какую компанию вы строите.

У меня тут есть вопрос о ретеншене (удержании пользователей) и всяком таком. Каждую неделю вы на диаграмме смотрите на свой ретеншн. Мой продукт больше похож на Airbnb. У него динамика годовая или даже двухлетняя, может сам этот продукт меняет тренды. Да. Но в реальной жизни это двухлетние циклы. Ага. Так что вопрос в том, на каком периоде рассматривать ретеншн, если у вы сдаёте недвижимость как Airbnb? Хороший вопрос.

На самом деле этот период целиком зависит от того, какую компанию вы строите. Вот я даю презентацию, но каждой из сотни компаний придётся использовать информацию из неё немного по-разному. Если вы Airbnb, вы вероятно, ожидаете, что люди по крайней мере будут возвращаться в ваше приложение. Как часто люди путешествуют? Так? Раз в месяц, раз в квартал, так? И это и будет тот период, на котором вы должны убедиться, что они возвращаются.

Проверяете например ежеквартально, и… Да.Так что горизонт в одну неделю не обязательно подходит всем. Но для большинства компаний он подходит. Да. Правильно. Просто держите темп.