Терминология google аналитики и яндекс.метрики: как не запутаться во всех этих данных

Как определить свою NSM

Метрика «полярной звезды» определяется с опорой на текущую стратегию стартапа — для этого необходимо:

• понимать ценность, которую получает лояльный потребитель от продукта, коррелируя ее с доходом компании;
• провести количественную оценку в одной метрике (NSM);
• выявить переменные, влияющие на ключевой показатель, — в результате прояснятся потенциальные возможности для роста NSM.

Определить, правильно ли выбрана North Star, помогут вопросы:

1. Отражает ли метрика ценность продукта для целевого потребителя?
2. Демонстрирует ли показатель взаимодействие клиента с продуктом?
3. Является ли параметр лучшим для определения верного движения бизнеса?
4. Проста ли метрика для понимания командой, задействованы ли участники проекта в обеспечении ее роста? 
5. Поможет ли показатель в принятии управленческих решений?
6. Связана ли NSM с долгосрочной ценностью продукта?

Рассмотрим пошагово алгоритм определения North Star.

Выявление ключевой ценности продукта

На первом этапе поиска «полярной звезды» необходимо выделить ключевую ценность продукта, которая устраняет «боль» потребителя, приносит прибыль и определяет прогресс. Поможет в этом выбор модели взаимодействия с клиентом:

1. Привлечение — сколько времени потребитель проводит в продукте.
2. Транзакции — объем коммерческих операций, проходящих через платформу.
3. Продуктивность — число задач, которые решаются в сервисе.

Несмотря на то что все три структуры важны для бизнеса, для формирования NSM нужно сосредоточиться только на одной — решающей для стартапа в текущий момент времени. Теперь с опорой на ценность продукта и модель взаимодействия уже можно выдвинуть гипотезы North Star. Например, для модели привлечения это может быть время просмотра контента, для транзакций — число покупок на одного пользователя, для продуктивности — объем данных, хранимых в сервисе.

Входные и выходные метрики

На данном этапе требуется выявить переменные, которые влияют на метрику «полярной звезды». Понимая взаимодействие показателей, можно увидеть потенциал продукта, разработать эффективную стратегию развития.

North Star — всегда выходная метрика, которая демонстрирует результат от проделанной работы, устанавливает долгосрочные цели для стабильного роста стартапа. То есть задача параметра заключается в том, чтобы показать не текущее состояние бизнеса, а итог деятельности компании.

Входные метрики (KPI) выступают действиями, которые оказывают прямое влияние на целевую NSM (300 переходов на платную версию продукта, 700 регистраций и так далее). Именно они отражают текущее положение бизнеса, помогают увидеть слабые места и выработать правильную стратегию для увеличения North Star.

Пирамида (дерево) North Star

Определившись с выходной и входными метриками, целесообразно изобразить их иерархию — во главе ставится ключевой показатель (NSM), к которому ведут влияющие на него KPI.

Перед составлением пирамиды North Star важно учесть, что метрики эффективности соответствуют одной из четырех плоскостей (измерений):

• ширине;
• глубине;
• частоте;
• эффективности.

То есть каждый KPI работает над одной из плоскостей. Пирамида также демонстрирует, какие продуктовые инициативы дают возможность улучшить входящую метрику и, соответственно, NSM.

Для увеличения KPI глубины (количества выбранных товаров) могут применяться рекомендации продукции пользователю, предложения акционных товаров, промокодов, купонов, а также бесплатная доставка при переходе определенного порога стоимости заказа.

Эффективность отражает доля вовремя доставленных заказов, на которую влияют организация логистики в компании, возможности быстрой обратной связи, предложения потребителю аналогичного товара при отсутствии выбранного им.

Количественно выразить NSM в данном случае можно по формуле:

NSM = (N + RE) × P × O × EF, где:

• NSM — метрика «полярной звезды» (число ежемесячно доставленных заказов);
• N — новые пользователи;
• RE — вернувшиеся клиенты;
• P — число товаров в заказе;
• O — количество заказов в месяц на пользователя;
• EF — доля вовремя доставленных заказов.

Пошаговая инструкция по обнаружению фрода с помощью Fraud Scanner

Шаг 2: Установите SDK myTracker. 

Для мобильного приложения — подключить библиотеку myTracker, установить разрешения и настроить конфигурацию трекера. Подробнее: для iOS, для Android, для Unity. Решение для веб-платформы в данный момент находится в разработке. Зайдите на tracker.my.com, чтобы посмотреть собираемые данные.

Шаг 3: Откройте Конструктор отчетов или Шаблоны

Откройте Конструктор отчетов или, что быстрее, откройте Шаблоны и выберите последний пункт: “Комплексные метрики фрода”.

Шаг 4: Выберите период отчета.

В правом верхнем углу выберите период отчета. Метрики будут показаны по тем пользователям, которые пришли к вам в указанный период после подключения SDK (если хочется проверить сведения по проекту еще быстрее — можно загрузить их в myTracker через наше S2S API).

Шаг 5: Добавьте метрик фрода. 

Для этого в Конструкторе отчетов нажмите: Выбрать из списка → Метрики по устройствам / Метрики по пользователям → Fraud Scanner → Строгая / Уверенная / Мягкая метрики фрода. Нажмите серую кнопку “Посчитать”. Перед вами отобразится таблица с данными.

Шаг 6: Добавьте дополнительные разрезы, чтобы определить источник фродового трафика.

Если система обнаружила превышение по уверенному и, тем более, строгому фроду, то эти цифры в таблице отобразятся красным. В таком случае добавьте дополнительные разрезы, чтобы определить источник фродового трафика: Выбрать из списка → Разрезы → Источник трафика → Кампания или Партнёр.

Шаг 7: Подключите к отчету конкретные метрики

Подключите к отчету конкретные кликовые или поведенческие метрики, чтобы глубже разобраться в причинах фрода. Например, гиперактивные установки в поведенческих метриках покажут, что в один из дней к вам пришло аномальное количество устройств, все из которых были атрибутированы одному партнеру. Для проверки следует выбирать показатели, которые входят в ту комплексную метрику, по которой был отслежен фрод.

Что такое HR-метрики?

Метрики человеческих ресурсов (Human Resource metrics) – это измерения, которые помогают организациям отслеживать ключевые области в своих HR-данных. Простыми словами, эти показатели помогают отследить и измерить эффективность сотрудников, их инициативность, проактивность и вовлеченность. 

Выделяют три основные категории HR-метрик:

1. Организационная эффективность

• Процент текучести кадров
• Статистика причин ухода сотрудников
• Процент отсутствия сотрудников
• Статистика подбора и найма персонала (время для поиска кандидатов, количество претендентов, затраты на поиск специалистов и наем)

 3. Оптимизация процесса

Изменения в эффективности и результативности работы HR-команды за какой-то период времени. Сюда относится оптимизация HR-процессов, разработка стратегии, переосмысление роли HR в компании.

Как оценивать свой Retention

Чтобы понимать, насколько хорошо ваше приложение удерживает пользователей, важно видеть не цифры, а тренды. Спросите себя:

• Динамика Retention вашего приложения стремится вверх или вниз?
• Стали ли пользователи задерживаться с вами дольше?
• Возвращаются ли они чаще после вашего последнего апдейта?

Чтобы получить более полную картину качества маркетинга и эффективности приложения, чаще всего измеряют три вида классического Retention Rate: 1-дневный, 7-дневный и 28-дневный.

1-day Retention. Доля пользователей (в %), открывших приложение на следующий день после установки.

Низкое значение этой метрики может говорить о том, что приложение производит плохое первое впечатление. Пользователей в нём определенно что-то не устраивает. Это могут быть, например:

• проблемы с интерфейсом: он может быть непонятен или неудобен с первого раза;
• наличие очевидных багов (старый, лояльный пользователь их стерпит, новый — скорее всего нет);
• плохой UX для начинающего пользователя: чересчур много рекламы, форм для заполнения, назойливые просьбы совершить оплату.
• приложение не решает заявленную задачу: пользователи ожидают одного, а видят другое.

В первой сессии нужно постараться «зацепить» пользователя. Сделать так, чтобы он разобрался в продукте и понял его ценность для себя

Первое впечатление — самое важное. Ведь после первого дня всегда происходит самый большой отток пользователей

Если сократить 1-day Retention, можно значительно повысить количество аудитории в приложении.

Чтобы проверить, что именно отталкивает пользователей в первый же день, можно поставить кастомное событие на прохождение туториала. Или на каждый из этапов туториала. И посмотреть, на каком из них «отваливается» большинство пользователей.

7-day Retention. Доля пользователей, вернувшихся спустя неделю после установки.

Если этот показатель существенно ниже, чем 1-day Retention, и падение у вас больше, чем в среднем по индустрии, то нужно проанализировать, что людей не устраивает после недельного знакомства с приложением. Чаще всего это:

• недостаток контента (слишком мало уровней в игре, мало функций в приложении итп);
• недостаток разнообразия (для игры): пользователи быстро понимают, что их больше не ждет ничего нового;
• повторяющиеся баги;
• ваше приложение требуется пользователям только один раз.

28-day Retention. Доля тех, кто воспользовался приложением на 28-й день после установки. Если даже месяц спустя люди возвращаются к вашему продукту, это говорит о том, что он их «зацепил». Сильное уменьшение значения этой метрики может свидетельствовать о каких-то неявных, но глубоких и стратегических недостатках проекта. Хотя чаще всего проблема банальна:

• последний апдейт разочаровал пользователей;
• вышло приложение-конкурент, которое переняло на себя часть ваших функций;
• вы долго не выпускали обновлений и не улучшали контент, пользователи не видят смысла возвращаться.

Помните, что лояльность важна и верные клиенты — гигантское преимущество вашего бизнеса, позволяющее удерживаться на плаву и выстраивать долгосрочную стратегию. Но даже самые лояльные клиенты когда-нибудь уйдут

Поэтому важно работать над привлечением новых пользователей и не забывать про повышение 1-day Retention, поскольку именно там мы все теряем большую часть клиентов

Этап 3. Отвечаем на ключевые вопросы бизнеса

Разберём ещё одну — финальную — метрику.

Contribution Margin (CM) — маржинальная прибыль. Показатель демонстрирует, сколько бизнес заработал в целом. Он учитывает и переменные затраты на ваш продукт, и затраты на продвижение. Чтобы рассчитать маржинальную прибыль, сначала нужно отнять от среднего дохода на пользователя среднюю стоимость его привлечения. Результат нужно умножить на количество привлечённых пользователей. Формула выглядит так: CM = (ARPU − CPA) ∗ UA.

Как рассчитать маржинальную прибыль

CM = (ARPU − CPA) ∗ UA 

Маржинальная прибыль = (доход от одного пользователя − стоимость привлечения одного пользователя) ∗ число привлечённых пользователей

Благодаря Contribution Margin вы видите, сколько зарабатываете на реализации своего продукта или услуги.

Фото: Leon / Unsplash

Однако если бизнес приносит прибыль, это не значит, что свободные деньги лежат в кассе прямо сейчас. Почитайте статью «Как рассчитать экономику проекта и избежать кассового разрыва», чтобы разобраться, когда проект может уйти в минус даже при позитивных показателях.

Как понять, выгодна ли рекламная кампания? Сравните ARPU и CPA: средний доход с одного пользователя и стоимость его привлечения. Если вы платите за посетителя больше, чем зарабатываете с него, то вы теряете деньги. Если вы платите за переход пользователя на сайт рубль, а ARPU составляет 10 рублей, то с каждого вложенного рубля вы зарабатываете девять.

Другой вариант — сравнить средний доход с одного клиента (ARPC) и средние затраты на его привлечение (CAC). Если CAC больше ARPC, то бизнес теряет на рекламе, если меньше — напротив, зарабатывает. Это работает так же, как и сравнение ARPU и CPA, поскольку группы показателей различаются только шагом конверсии.

Что делать, если компания не зарабатывает денег? Допустим, CAC превышает ARPC, CPA превышает ARPU. Либо компания зарабатывает, но не столько, сколько хотелось бы менеджменту. В таком случае можно экспериментировать с метриками юнит-экономики:

• повысить средний чек, но это может сказаться и на конверсии;
• уменьшить COGS, если это возможно;
• увеличить число покупок на одного клиента;
• отказаться от прямой рекламы в невыгодных каналах.

До того как делать какие-либо выводы и экспериментировать с показателями, важно помнить: такие эксперименты требуют времени. Например, если опираться на фактические данные за небольшой период, то фактический APC может быть меньше предполагаемого

Возможно, клиенты просто не успели совершить повторные покупки.

В таких случаях лучше либо смотреть на конкурентов, либо опираться на исторические данные компании о других продуктах. Либо нужно дать больше времени на сбор данных.

Давайте посмотрим на показатели нашего примера — онлайн-школы по физике. Маркетинговый бюджет составил 200 000 рублей в месяц, а цена клика — 50 рублей. Средняя конверсия по отрасли из трафика в покупку — 2,4%. Средний чек составляет 27 000 рублей. Когда у нас что-то покупают, мы тратим на реализацию наших обязательств 3 000 рублей (это COGS). Дополнительных расходов на первую продажу нет. В среднем каждый клиент совершает две покупки.

Вот как будет выглядеть расчёт метрик:

• UA (количество привлечённых пользователей) = маркетинговый бюджет (AC) / стоимость клика (CPA) = 200 000 рублей / 50 рублей = 4000 привлечённых пользователей.
• B (число клиентов) = конверсия (С) ∗ количество привлечённых пользователей (UA) = 2,4% ∗ 4000 = 96 покупателей.
• CPA (стоимость привлечения пользователя) = маркетинговый бюджет (AC) / количество привлечённых пользователей (UA) = 200 000 рублей / 4000 = 50 рублей.
• ARPC (средний доход с клиента) = (средний чек продукта − себестоимость проданных товаров) ∗ среднее число платежей = (27 000 рублей − 3000 рублей) ∗ 2 = 48 000 рублей.
• ARPU (средний доход с пользователя) = чистая прибыль от одного клиента (ARPC) ∗ конверсия (С) = 48 000 рублей ∗ 2,4% = 1152 рубля.
• CM (маржинальная прибыль) = (средний доход от одного клиента — стоимость привлечения одного клиента) ∗ количество привлечённых пользователей = (1152 рублей − 50 рублей) ∗ 4000 = 4 400 000 рублей.

4,4 млн рублей — это маржинальная прибыль за изученный период. Бизнес зарабатывает, а не теряет деньги.

3- Точность

Во многих случаях точность классификации не является хорошим показателем эффективности вашей модели. Один из этих сценариев — это когда ваше распределение классов не сбалансировано (один класс встречается чаще, чем другие). В этом случае, даже если вы прогнозируете все выборки как наиболее частый класс, вы получите высокую степень точности, которая вообще не имеет смысла (поскольку ваша модель ничего не изучает, а просто все предсказывает как высший класс). Например, в нашей классификации «кошка против кошки», приведенной выше, если модель предсказывает, что все выборки не принадлежат кошке, это приведет к 1000/1100 = 90,9%.

Поэтому нам также необходимо взглянуть на показатели производительности, специфичные для каждого класса. Точность является одной из таких метрик, которая определяется как:

Точность = True_Positive / (True_Positive + False_Positive)

Точность классов Cat и Non-Cat в приведенном выше примере может быть рассчитана как:

Precision_cat= # образцы правильно предсказали кошку / # образцы предсказали как кошка =90 / (90 + 60) = 60%

Precision_NonCat = 940/950 = 98,9%

Как мы видим, модель имеет гораздо более высокую точность в прогнозировании выборок, не относящихся к кошкам, по сравнению с кошками. Это не удивительно, так как модель видела больше примеров изображений, отличных от кошек, во время тренировок, что улучшает классификацию этого класса.

Контрметрики

Контрметрики существуют для того, чтобы снизить риск гиперфокуса — когда вся команда работает на один-два показателя, от которых зависит успех продукта. При этом из вида упускаются сопутствующие процессы — а практика показывает, что именно с белых пятен начинаются проблемы в продукте.

Чтобы этого не было, необходимо связать каждую метрику с соответствующей контрметрикой: количество платного и органического трафика, число регистраций и последующих активаций аккаунта, количество покупок и возвратов. Если вы видите, что заказов становится больше, не забывайте контролировать, чтобы количество оплат не снижалось, а возвраты не увеличивались. Тогда рост заказов действительно будет для вас сигналом о росте или даже кратном росте продукта — значит, вы нашли свою аудиторию.

API

Консультант раздела: Дмитрий Антипов, менеджер продукта OMNICOMM

«Продуктовые метрики необходимо выбирать так, чтобы повысить ценность от использования сервиса для клиента. Для продуктов API клиентом является разработчик

Но важно помнить, что предоставляемые данные предназначены для конечного пользователя. 

Выбор метрик зависит от задач бизнеса. Например, ключевая метрика в транзакционном бизнесе (онлайн-платежи) — скорость отклика. Для банковских переводов важна безопасность, в телематике — скорость сбора данных с транспортных средств и выгрузка отчетов. При разработке API нужно уточнить у заказчика, как планируется монетизировать API, и согласовать, какие метрики следует отслеживать в первую очередь. 

Ключевые критерии любого качественного сервиса API — это скорость предоставления данных, простота интеграции для сторонних разработчиков и невысокая стоимость владения».1. API calls — общее количество вызовов API за заданный период времени. Необходимо понимать количество вызовов по каждому методу для планирования нагрузки на инфраструктуру.2. Failure rate — количество неудачных вызовов API. Метрика даёт понимание, насколько выросло число неудачных вызовов одного из микросервисов. Возможно, появился баг, или микросервис почему-то стал слишком популярным. На примере OMNICOMM: после добавления информации о температурном режиме в рефрижераторе пользователи из ритейла стали запрашивать метод «Состояние ТС» каждый час. Другой пример: после того, как службы, управляющие автопарком в аэропорту, подключились к API, количество вызовов метода «Местоположение ТС» кратно возросло.  

Как рассчитать: Failure rate = количество неудачных вызовов / общее количество вызовов  

3

Support tickets — количество обращений в службу поддержки, возникших в результате проблем с API. Обращения важно разделять на консультации и инциденты. Все ошибки на продуктовой площадке должны отлавливать автотесты и мониторинг

Количество багов, точнее, их отсутствие, также считается показателем бизнеса в целом и может быть использовано в KPI.

4. Response time — время ответа сервиса на запрос клиента. Изменения в сервисе могут ухудшить качество его работы. Кроме того, разработчик может написать неоптимальный запрос к базе данных или перегрузить микросервис.

Как рассчитать: разница между временем вызова и временем получения ответа. Эталонное время можно получить при нагрузочном тестировании.

5. Количество запросов в единицу времени. 

Преимущества «Яндекс.Метрики»

О преимуществах сервиса «Яндекс.Метрика» стоит говорить в контексте сравнения с другой системой веб-аналитики. Ее наиболее явным конкурентом среди русскоязычных вебмастеров является Google Analytics (GA). Именно с ним и будет проводиться сравнение. Итак, преимущества ЯМ следующие.

• Более широкие возможности сегментации аудитории по различным параметрам.
• Настройка целей осуществляется проще.
• ЯМ обладает вебвизором, что позволяет гораздо эффективнее анализировать поведение посетителей.
• «Метрика» лучше анализирует трафик из «Яндекса»: данные более точные (хотя GA лучше анализирует гугловский трафик).

Последний пункт будет являться преимуществом только для тех веб-ресурсов, которые получают основную долю трафика именно из поисковой системы «Яндекс». Но, несмотря на преимущества «Метрики» над Analytics, назвать ее однозначно лучшей нельзя. У GA есть и свои достоинства. В итоге плюсы одного сервиса компенсируют минусы другого, и наоборот. Большинство же специалистов сходятся во мнении, что наилучший вариант – это использование обоих сервисов сразу. Это позволяет получить более точную картину происходящего.

Виды метрик

Сформировано несколько основных видов, необходимых любому предпринимателю независимо от типа бизнеса.

Цена привлечения пользователя (Customer Acquisition Cost – CAC) отображает, сколько денег тратится на привлечение одного полноценного клиента. Чтобы бизнес приносил выгоду, нужно создать продукт и покупать пользователей, рекламируя собственный сервис, товар, услугу. CAC – число, равное потраченной на одного клиента сумме.

Формула расчета:

CAC = потраченный рекламный бюджет / число новых полноценных клиентов.

Коэффициент удержания (Retention Rate) показывает количество пользователей, продолжающих применять продукт в течение определённого промежутка времени. От данного показателя напрямую зависит показатель пожизненной ценности пользователя LTV.

Формула расчета:

RR = число активных юзеров в конце срока / число активных юзеров в начале срока * 100.

Приведем пример: пусть из 100 юзеров в 1-й день активировались 50, на 8-й — 20. Получим RR = 20/50 * 100 = 40%: коэффициент удержания за 8 суток равен 40% всех привлеченных юзеров.

Коэффициент оттока (Churn Rate) показывает процент оттока клиентов. Как правило, кривая Churn Rate круто идет вверх 1-й месяц работы и выходит на плато к 4-5-му месяцу. Это объясняется тем, что в начале работы клиенты, не оценившие товар или подписавшиеся ошибочно, часто отписываются. Далее бизнес взаимодействует с “удержанными” клиентами. На данном этапе компании нужно заработать благодаря им столько, чтобы окупить 100% расходов на привлечение когорты юзеров.

Также бизнесу потребуется понижать значение Churn Rate путем обеспечения безупречности продукта.

Формула расчета:

CR = (1 – число юзеров в конце срока / число юзеров в начале срока) * 100.

Рассмотрим пример: допустим, в мае было 50 платящих юзеров, в июне – 20. Вычислим CR = (1 – 20/50) * 100 = 60: отток клиентов за выбранный промежуток времени составил 60%.

Пожизненная ценность клиента (Lifetime Value — LTV) дает величину прибыли, принесенную клиентом за время применения продукта.

Метрика предоставляет данные для анализа эффективности потраченных средств на рекламу. Причем CAC обязательно должен составлять значение, меньшее LTV, чтобы бизнес выжил и принес доход.

Формулы расчета могут отличаться у разных бизнесов:

Приведем пример: в мае было получено 100 платящих юзеров. Допустим, месячный отток равен 30%. Следовательно, к следующему маю останется 1% этих юзеров. Сложив помесячно числа платящих юзеров, умножив сумму на величину платежа и поделив на 100, получится LTV, равное 330рублям.

Индекс потребительской лояльности (Net Promoter Score — NPS) отображает готовность клиентов поделиться мнением о продукте.

Получив приятное впечатление, пользователь непременно выскажет собственное мнение в соцсетях, расскажет друзьям. Некоторые заинтересуются продуктом. Таким образом, довольный пользователь приведет новых юзеров. Бизнес при этом ощутимо выигрывает: приглашенные клиенты достаются бесплатно.

Формула расчета:

Провести опрос пользователей по шкале 0 – 10 с вопросом , насколько вероятно, что они порекомендуют продукт. Ответы разделят опрашиваемыхна 3 группы: критик (0 — 6), нейтралы (7 – 8), промоутеры ( 9-10 ).

Получаем NPS = количество промоутеров (%) — количество критиков (%).

50% считается отличным результатом.

NPS коррелирует с метрикой суммы, заработанной с помощью рекомендаций (Customer’s Referral Value — CRV).

• Число уникальных юзеров (Daily Active Users, Monthly Active User – DAU, MAU) показывает, сколько пользователей использовал товар за сутки & за месяц, не учитывая вторичных сессий.
• Длительность сессии (Session duration) выражает количество времени, проведенное пользователем в продукте.

7- РПЦ Кривая

кривая рабочих характеристик приемникаявляется графиком, который показывает производительность двоичного классификатора как функцию его порога отсечки.По сути, он показывает истинную положительную скорость (TPR) по сравнению с ложной положительной скоростью (FPR) для различных пороговых значений. Давайте объясним больше.

Многие из классификационных моделей являются вероятностными, то есть они предсказывают вероятность того, что образец является кошкой. Затем они сравнивают эту выходную вероятность с некоторым порогом отсечки и, если он превышает пороговое значение, предсказывают его метку как кошку, в противном случае как некатчик. В качестве примера ваша модель может предсказать приведенные ниже вероятности для 4 образцов изображений:, Тогда в зависимости от пороговых значений ниже вы получите разные метки:

отсечка = 0,5: прогнозируемые метки = (порог по умолчанию)отсечка = 0,2: прогнозируемые метки = отсечка = 0,8: прогнозируемые метки =

Как вы можете видеть, изменяя пороговые значения, мы получим совершенно разные метки. И, как вы можете себе представить, каждый из этих сценариев приведет к разной точности и скорости отзыва (а также TPR, FPR).

Кривая ROC по существу обнаруживает TPR и FPR для различных пороговых значений и строит графики TPR против FPR. Пример кривой ROC показан на рисунке 2.

Рисунок 2. Пример кривой ROC

Как видно из этого примера, чем ниже порог отсечения для положительного класса, тем больше выборок прогнозируется как положительный класс, т. Е. Чем выше истинный положительный показатель (напомним), а также тем выше ложный положительный показатель (соответствующий правой стороне этой кривой ). Следовательно, существует компромисс между тем, насколько высоким может быть отзыв, и тем, насколько сильно мы хотим связать ошибку (FPR).

Кривая ROC — это популярная кривая для оценки общей производительности модели и выбора хорошего порогового значения для модели.

Доля неподтвержденных (отклоненных) дефектов

Назначение метрики: показать сколько дефектов были заведены «вхолостую».

Если доля дефектов, которые были отклонены превышает 20%, то в команде может наблюдаться рассинхронизация в понимании, что является дефектом, а что нет

Группа 5 — Обратная связь и удовлетворенность пользователей

И в заключение, группа метрик, показывающая, как продукт был принят конечными пользователями, насколько он соответствовал их ожиданиям. Но важна не только обратная связь о ПО: еще одна важная задача этой группы метрик — показать, удовлетворены ли пользователи процессом взаимодействия с командой ИТ в целом и QA в частности.

Почему нужно вычислять ботов комплексно

Индикаторов, опосредованно указывающих на фрод, очень много

Поэтому важно иметь под рукой комплексный инструмент, объединяющий разносторонние метрики и быстро показывающий реальную ситуацию

Таковым является Fraud Scanner от myTracker. 

Все метрики в нем разделены на 3 группы (кликовые, аппаратные и поведенческие) и в зависимости от уровня уверенности системы в том, что это фрод (строгий фрод, уверенный фрод и мягкий фрод). 

Строгий фрод — это самые заметные виды мошенничества, в которых практически не может быть сомнений. Совпадающие клики, виртуальные устройства, слишком короткие установки. Система выявила аномальные показания у этих метрик. Значит, тому проценту фрода, который она показывает, точно можно доверять.
Уверенный фрод — это аномально короткие сессии, установки без запусков, подозрительно низкий CCR. Он требует большего погружения в тему

Здесь важно учитывать контекст. Есть ли у вас другие подозрения? Надежна ли рекламная площадка, с которой вы сотрудничаете? При желании, можно погрузиться глубже и изучать аналитику в деталях на уровне одной из 16 метрик.
Мягкий фрод — это проверка по длинным установкам или слишком низкому CVR

Система видит нечто нестандартное, но не уверена в том, что это именно мошенническая активность. Если мягкий фрод на нуле — это повод для радости. Но даже если он равен 100% — не стоит отчаиваться. Данные по некоторым метрикам кажутся подозрительными, но причиной может быть специфический канал привлечения пользователей или другие нестандартные рекламные параметры. Чтобы разобраться в этом, надо глубже погрузиться в показатели, и понять причину возникающих аномалий.

Такая группировка метрик облегчает работу с ними. Почему?

• Легче понимать, на какие показатели стоит обращать больше внимания.
• Становится удобно бороться не со всем фродом, а только с той его частью, в определении которой есть большая уверенность.
• Мягкие метрики позволяют найти даже сильно растворенный в общем трафике и хорошо скрытый фрод.
• Если нет времени разбираться со фродом,то можно смотреть только на строгую метрику. Если время и желание есть, можно изучать остальные.
• Удобно отталкиваться от общей маркетинговой стратегии: если проект готов терять 20-30% рекламного бюджета на фрод, можно проверять только строгую метрику. Если на счету каждая копейка, можно погружаться в уверенные и мягкие показатели фрода, и детальнее проверять каждый из показателей.

Вариации и обобщения

• Для данного множества , функция называется псевдометрикой или полуметрикой на если для любых точек из она удовлетворяет следующим условиям:
  1. (симметрия);
  2. (неравенство треугольника).

То есть, в отличие от метрики, различные точки в могут находиться на нулевом расстоянии. Псевдометрика естественно определяет метрику на факторпространстве , где .

• Для данного множества , функция называется квазиметрикой если для любых точек из она удовлетворяет следующим условиям:
  1. (квази симметрия);
  2. (обобщённое неравенство треугольника).
• Метрика на пространстве называется ультраметрикой, если она удовлетворяет сильному неравенству треугольника:

  Для всех , и в .

• Иногда удобно рассматривать -метрики, то есть метрики со значениями . Для любой -метрики можно построить конечную метрику которая определяет ту же топологию. Например

  или

Также, для любой точки такого пространства, множество точек находящихся от неё на конечном расстоянии образует обычное метрическое пространство называемое метрической компонентой . В частности, любое пространство с -метрикой можно рассматривать как набор обычных метрических пространств и определить расстояние между любой парой точек в разных пространствах равным .

Метрика внутреннего коэффициента:

Существует также другая метрика для оценки регрессионных моделей, называемая отношением внутренних значений, которая, по сути, представляет собой процент точек данных, которые прогнозируются с ошибкой, меньшей предельной. Этот показатель в основном используется в модели RANSAC⁴ и ее расширениях (семейство надежных моделей оценки)

Резюме

В этой статье мы представили введение в 10 популярных метрик ML, используемых для оценки эффективности моделей классификации и регрессии. В следующей части этого поста мы собираемся представить введение в10 более продвинутых показателей, используемых для оценки эффективности моделей ранжирования, статистики, компьютерного зрения, НЛП и глубокого обучения.

Ссылки

Ян Гудфеллоу, Йошуа Бенжио и Аарон Курвилль. «Глубокое обучение »,MIT press, 2016.

Кристофер М. Бишоп, «Распознавание образов и машинное обучение »,Спрингер, 2006.

Джером Фридман, Тревор Хасти и Роберт Тибширани. «Элементы статистического обучения »,Серия Springer по статистике, 2001.

Тило Струц, «Подбор данных и неопределенность: практическое введение в взвешенные наименьшие квадраты и далее »,Vieweg and Teubner, 2010.

Итог

Для каждого этапа развития вашего SaaS бизнеса используйте следующие метрики:

1. Соответствие продукта/рынка: Глубинное интервью и вопрос на соответствие продукта/рынка;
2. Начало роста: MRR и отток
3. Рост и масштабирование: LTV и CPA

Следует помнить о том, что этапы не изолированы друг от друга. Давайте представим следующую ситуацию: вы нашли соответствие продукт/рынок и начинаете развитие (рост)

Если я буду использовать AdWords для привлечения клиентов, я точно буду обращаться внимание на мой CPA. Но и отток для меня будет важен! Я же не знаю, как долго эти клиенты будут слоняться вокруг да около

Пойду-ка я проверю свой CPA для того, чтобы убедиться в полезности. В противном случае я так и буду улучшать показатели MRR и оттока.

Что насчет воронок?А как же метрики вовлеченности пользователей, ARPU (Average Revenue Per User), учет активных пользователей, количества заходов пользователя на сайт до оформления подписки? Любыми средствами старайтесь найти именно те метрики, в которых вы нуждаетесь. Те метрики, которые я упомянул – лишь джентельменский набор необходимых метрик. Сначала разберитесь с ними, c MRR, с оттоком, а потом переходите на дополнительные.

P.S.

С удовольствием, команда сервиса Carrot quest — сервис, который показывает информацию о каждом вашем пользователе (что он делал, откуда пришел, что спрашивал и т.д.) и на основе этой информации позволяет лучше активировать пользователя и увеличить конверсию в покупку.

Подписывайтесь на блог, мы постоянно пишем про развитие бизнеса в интернете от привлечения клиентов до возвращения и управления командой.

Похожие записи:

Что такое код окпо, расшифрока и как его узнать Duolingo Технопарк «сколково»: как появился, как живёт сейчас и как туда попасть? Healbe gobe2: российский умный браслет, который сам считает калории Подтверждение основного вида деятельности в фсс Сроки уплаты налогов и взносов в 2021 году