Data driven-подход

Why Should We Care About Data-Driven Design?

Failing to consider data (or using data in an ineffective way) can have serious implications for the success of a project. If you rely solely on instinct or best practices to make decisions without performing any data-driven investigation, you risk wasting money on changes to design choices that are ineffective (or even harmful).

Using data effectively can lead directly to improved business outcomes. Research by MIT’s Center for Digital Business found that “companies in the top third of their industry in the use of data-driven decision making were, on average, 5 percent more productive and 6 percent more profitable than their competitors.”

There are many examples of cases where data-driven UX techniques have delivered a tangible improvement on ROI. For example, in 2014, airline Virgin America used A/B testing to redesign a new, responsive website. This led to:

  • A 14% increase in conversion rates
  • 20% fewer support calls
  • Customers booking nearly twice as fast, across devices

Another interesting example comes from e-commerce website Music & Arts, which used usability testing and heuristic evaluation to inform a website redesign. Upon the conclusion of the project, their online sales increased about 30% year over year.

Implementation

Of course I am aware that this is an ambitious agenda, in particular since DataCite is a small non-profit that has limited staff and financial resources. But I don’t think that data-drive development should be left to for-profit organizations and/or to organizations of a certain size. There are several things DataCite can do:

  • implement DDD practices over time, starting with one service and one aspect
  • use service providers wherever it makes sense (there is a future where you yourself are running less servers). This means anything that is not core to the DataCite mission and where the service provider is better and/or cheaper than what you could do internally. This evaluation can of course change over time
  • collaborate with other scholarly non-profits on infrastructure, including DataCite members and data centers, and other persistent identifier providers such as CrossRef and ORCID

Практические примеры успешных проектов

В теории все, что связанно с машинным обучением и работой с данными, выглядит очень многообещающе, но как обстоят дела на практике? Рассмотрим ряд успешно реализованных дата-ориентированных бизнес-кейсов в крупных компаниях в информационной безопасности и не только.

Российская крупная площадка по бронированию отелей реализовала успешный кейс, который заключался в «умной» сортировке отелей. У отелей есть большое количество характеристик, на основе которых клиент делает свой выбор: цена, рейтинг, количество положительных отзывов и так далее. Используя данные показатели и внутреннюю финансовую отчетность, удалось провести продвинутую сортировку отелей по пользователям, которые ранее были сегментированы. По итогам проекта был зафиксирован рост выручки, конверсии и значения среднего чека.

Международная розничная сеть супермаркетов реализовала бизнес-кейс по определению подозрительных случаев при отмене и уменьшении суммы чека. Персонал магазина при наличной оплате может отменить позицию в чеке, провести свою бонусную карту, отменить чек и забрать денежные средства себе. С камер наблюдения распознаются деньги при передаче их кассиру, после чего анализируются паттерны с целью поиска подозрительных случаев. После этого ответственным сотрудникам приходит отчет по всем подозрительным ситуациям. В результате это позволило полностью искоренить подобный вид мошенничества.

В российской розничной сети супермаркетов в течение трех лет количество розничных точек продаж практически удвоилось. После внедрения геоинформационной системы компания стала открывать новые точки продаж существенно чаще и эффективнее. Для разработки этой системы организация закупила базы данных по домохозяйствам (количество жителей конкретных населенных пунктов, их доходы, проходимость торговых точек), наличию конкурирующих магазинов, собрала информацию по всем объектам недвижимости, которые она когда-либо оценивала, а также учла расходы и доходы собственных магазинов. Все это в совокупности позволило оптимизировать операционную деятельность и существенно повысить эффективность вновь открываемых точек продаж.

Крупный зарубежный банк успешно реализовал кейс в сфере информационной безопасности, который заключался в продвинутом детектировании DGA-доменов, распространяющих вредоносный код и сгенерированных с помощью специального алгоритма. Для решения кейса была сформулирована задача классификации доменов на легитимные и зловредные. Была сформирована выборка, в которой присутствовали легитимные и зловредные домены, а также сопутствующая информация о них. После этого выборка была разбита на обучающую и тестовую, с последующим построением множества N-грамм, являющихся подстрокой соответствующего домена. Далее каждой N-грамме был присвоен свой коэффициент, соответствующий степени легитимности N-граммы. Решение задачи позволило успешно детектировать атаки, использующие DGA-домены, и повысить общую защищенность организации.

How to create a Data Driven Automation Framework

Consider you want to Test Login functionality of an application.

Step 1) Identify the Test Cases

  • Input Correct username and password – Login Success
  • Input incorrect username and correct password – Login Failure
  • Input correct username and incorrect password – Login Failure

Step 2) Create detailed est Steps for above 3 Test Cases

Test Case# Description Test Steps Test Data Expected Results
1 Check Login for valid credentials
  1. Launch the application
  2. Enter Username password
  3. Click Okay
  4. Check Results
Username: valid password: valid Login Success
2 Check Login for invalid credentials
  1. Launch the application
  2. Enter Username password
  3. Click Okay
  4. Check Results
Username: invalid password: valid Login Fail
3 Check Login for invalid credentials
  1. Launch the application
  2. Enter Username password
  3. Click Okay
  4. Check Results
Username: valid password: invalid Login Fail

Step 3) Create Test Script

If you observe the Test Steps Remain common through the 3 Test Steps. You need to create a Test Script to execute these steps

// This is Pseudo Code 

// Test Step 1: Launch Application 
driver.get("URL of the Application");  

// Test Step 2: Enter Username 
txtbox_username.sendKeys("valid"); 

// Test Step 3: Enter Password 
txtbox_password.sendKeys("invalid"); 

// Test Step 4: Check Results 
If (Next Screen) print success else Fail

Step 4) Create an excel/csv with the Input Test Data

Step 5) Step Modify the Scrip to Loop over Input Test Data. The input commands should also be parameterized

// This is Pseudo Code
// Loop 3 Times
for (i = 0; i & lt; = 3; i++) {
    // Read data from Excel and store into variables
    int input_1 = ReadExcel(i, 0);
    int input_2 = ReadExcel(i, 1);

    // Test Step 1: Launch Application
    driver.get("URL of the Application");

    // Test Step 2: Enter Username
    txtbox_username.sendKeys(input_1);
    // Test Step 3: Enter Password

    txtbox_password.sendKeys(input_2);
    // Test Step 4: Check Results
    If(Next Screen) print success
    else Fail
}

Above are just 3 test cases. The test script can be used to loop over following test cases just by appending test data values to Excel

  • Input incorrect username and incorrect password – Login Fail
  • Input correct username and password blank – Login Fail
  • Input blank username and blank password– Login Fail

And so on

Conclusion

In the end, we created a trial page that attracted more of the right kind of customers, or — in other words — more qualified customers and that, ultimately, led to more store purchases. This page is still live today. To see it, you have to be in the remarketing visitor demographic.

Our big take-away from this round of testing was that trying to optimize one page for all our traffic wasn’t leading to notable results. So we created different pages that catered to different users based on traffic source. If you visit Volusion’s website via any page, and then return by a remarketing source, such as an ad from Google Content Network, then you’ll see it on this special landing page.

We’re currently working on additional optimizations for different demographics, but today’s average visitor on their first visit will still see the original page. Depending on how they return later, they might see something different.

Решения на основе данных

Для использования Data Driven-подхода требуются навыки работы с аналитикой. Во-первых, нужно уметь считывать данные из таблиц, графиков и диаграмм, потому что иначе даже на основе самых верных данных можно сделать неверные выводы. Во-вторых, нужно критически относиться к самим данным и задавать аналитику правильные вопросы:

  • насколько актуальна выборка;
  • соответствует ли выборка портрету клиента;
  • учтены ли важные для бизнеса факторы (сезонность или ситуация на фондовом рынке).

Управление на основе данных включает в себя три подготовительных шага:

Формулировка бизнес-цели

Важно, чтобы использование Data Driven давало конкретные результаты: увеличение оборота, доли на рынке, среднего чека, повышение конверсии, увеличение числа заявок. Все эти цели прямо или косвенно ведут к прибыли компании

Разбивка на этапы. Отслеживание показателей по неделям, месяцам и кварталам позволяет понять, работает ли выбранная стратегия. В этих временных промежутках можно отслеживать те самые показатели, которые выбраны как приоритетная цель: увеличение количества клиентов, позиций в чеке, оставленных заявок.

Постановка целевых показателей (KPI). Они помогут понять, насколько успешна ваша стратегия.

UX Data Collection Techniques

There are many different UX techniques you can use to collect both qualitative and quantitative UX data. Below are just a few examples:

Quantitative Data Collection

A/B Testing

A/B testing is also known as split testing. Hubspot defines A/B testing as:

“… experiment wherein you ‘split’ your audience to test a number of variations of a campaign and determine which performs better. In other words, you can show version A… to one half of your audience, and version B to another.”

When performing an A/B test, it is important to ensure that only one variable is changed (whenever possible), and that the control and experimental groups are similar in size.

Related: 8 Common A/B Testing Mistakes You Should Avoid

Surveys

UX surveys are a key source of both quantitative and qualitative data in UX research.

A good survey should have well-designed questions—ensure that your questions are not leading and that the purpose of the question is clear. You should also try to limit the number of questions (no more than 10 to 15) so that users don’t abandon the survey halfway through.

Analytics

If your product is a website or app, tools such as Google Analytics are a great source of quantitative data (click-through rate, bounce rate, etc.) to help you make decisions.

Heat Maps

(Source: Flickr)

Heat maps use eye tracking to understand where users are looking on a screen. If heat maps from multiple users indicate a pattern, this could prove valuable when re-organizing content assets or redesigning your website or app.

Qualitative Data Collection

Competitor Analyses

In UX, a competitor analysis involves examining another company’s product to identify any comparative strengths, weaknesses, or areas for improvement.

It is important to tread carefully when doing a competitor analysis. Simply imitating competitors is not always an effective solution. Instead, it is best to use competitor analyses as a means of gaining inspiration, with the understanding that what works for others may not always work for you.

Interviews

Interviews are a great way to gather qualitative data from users. Although time or budgetary constraints might limit the number of interview subjects, the insights gathered through a phone or in-person conversation will be more in depth than what you could get from a survey alone.

User Journey/User Flow

Creating a model, such a user journey or user flow, can be a helpful way to conceptualize how users are interacting with your product. The information you gather from your user flow can help you identify potential weak areas, providing a starting point for further investigation through A/B testing or interviews.

Related: 16 Important UX Design Principles for Newcomers

Regardless of your goals, data-driven design can help improve product performance and increase conversions. Hopefully, the information presented here can help you create an effective plan for data collection that fits your organization’s needs.

Interested in mastering data-driven design? Check out Springboard’s UX Career Track—you’ll have your own personal mentor and a career coach to help you land the UX job of your dreams.

MDD — Model Driven Development

В последнее время много внимания в публикациях отводится теме архитектуры и разработке на основе моделей MDA (Model Driven Architecture) и MDD (Model Driven Development). Не вдаваясь в подробности, выделим только ключевые моменты.

Если говорить проще, то вся суть разработки сводится к построению необходимых диаграмм, из которых впоследствии мы генерируем рабочий код проекта.

Основная цель MDD — минимизация затрат, связанных с привязкой к конкретным системным платформам и программным инфраструктурам. Ведь основная бизнес-логика содержится в диаграммах и не сковывает нас рамками выбора языка программирования и инструментов разработки.

Давайте немного отвлечемся и вспомним про компилятор. Он преобразует язык программирования высокого уровня в эквивалентную реализацию на машинном языке. Моделью в этом случае является программа, написанная на языке высокого уровня, которая скрывает несущественные детали о ее реализации. В MDD наши диаграммы — это еще один уровень абстракции, который не позволяет нам увязнуть в деталях разработки, а посмотреть на картину в целом.

Диаграммы выступают в качестве своеобразных «чертежей», из которых различные автоматизированные и полуавтоматизированные процессы извлекают программы и соответствующие модели. Причем автоматическая генерация кода варьируется от извлечения простого скелета приложения до получения конечной кодовой базы (что сравнимо с традиционной компиляцией).

Идея MDD не нова ‑ она использовались с переменным успехом и раньше. Причиной возросшего внимания к ним в настоящее время является то, что автоматизации поддается значительно больше процессов, чем раньше. Это развитие отражается в появлении MDD-стандартов, что ведет к унификации соответствующих средств. Одним из таких стандартов является пересмотренная версия Unified Modeling Language – UML 2.0.

По стандартам Object Management Group (OMG) создание приложения состоит из следующих шагов:

  • cначала разрабатывается модель предметной области проектируемого приложения, полностью независимая от имплементирующей технологии;
  • затем она трансформируется специальным инструментом в платформо-зависимую модель;
  • наконец, она переводится в исходный код на соответствующем языке программирования.

Классический пример применения MDD, который используется уже давно, — моделирование баз данных. На основе одной концептуальной модели данных вы можете поддерживать несколько связанных с ней физических моделей для различных СУБД.

Какие преимущества мы получаем:

  • ускоряется вывод минимального жизнеспособного продукта (Minimum Viable Product) на рынок;
  • сокращается время на: генерацию каркаса приложения, модели классов, базы данных;
  • постоянно обновляемая документация;
  • для участников проекта диаграммы намного нагляднее кода.

Минусы:

  • для внедрение MMD потребуется использовать специальные программные решения, такие как Rational Software Architect, Simulink или Sirius;
  • от программистов требуются внушительные знания проектирования диаграмм;
  • значительные финансовые затраты на интеграцию данной методологии.

Running The Successful Second Test

Over the next month, half of our remarketing traffic saw the original landing page, and half saw the newly optimized landing page.

The result? We saw a 48% increase in trial registrations for the new page!

But that boost in registrations was only half of our metric for success. Now, we had to see whether those users converted over to new paying stores. What if, for example, we saw an influx of new trial users who didn’t convert their trials over to stores? These new users would tie up our sales team and marketing efforts, while hindering our ability to convert qualified users into paying customers.

The trial lasts two weeks, so it would take at least that long for a trial-to-store conversion report to verify the quality of these new leads. We had to find another source of information to put our minds at ease.

Кейсы компаний, которые реализуют Data Driven-подход

Управление

Управление на основе данных позволило компании «Сибур» перестроить работу отделов и избавиться от принципа «глубокого колодца», когда специалисты имеют доступ только к информации, необходимой для выполнения их обязанностей. Автоматизация отделов происходила разрозненно, большой пласт информации скрывали, мотивируя это коммерческой тайной, поэтому у менеджмента разных сегментов было недостаточно данных для анализа работы предприятия.

Внедрение Data Driven-подхода позволило открыть доступ к 80% ранее скрытой информации, сотрудники начали самостоятельно проверять гипотезы на данных, составлять интерактивные дашборды. С помощью бизнес-симуляторов компания начала моделировать различные ситуации на рынке и рассчитывать целесообразность инвестиций или запуска новых продуктов.

Разработка маркетинговых продуктов

На туристическом рынке технологию Data Driven используют, чтобы продвигать путешествия на ту аудиторию, у которой есть интерес к направлению, а также отслеживать реальную эффективность рекламы. Например, если человек интересовался турами в Испанию, смотрел билеты или отели, то он обязательно увидит таргетированную рекламу.

Product Development

While the overall strategic direction is determined by the Board together with the DataCite working groups and members, we can collect data that help with decisions in product development, for example

  • service monitoring (see below): how are our services used over time, are there any components that are particularly popular, etc.
  • user feedback: ideas, feedback, A/B testing
  • bug reports
  • discussion boards and direct group messages: related to the last two points, but more allowing a more open discussion
  • community events

Compared with the next two sections, tools for data-driven product development are less commonplace (unless I missed them, in which case please provide feedback).

Use quantitative and qualitative data together

Many UX practitioners believe that data only means numbers. This is a common myth.  While quantitative data is the foundation of data-driven design, you shouldn’t rely on it solely when making your decision. When it comes to designing with data, it’s recommended to use a combination of quantitative and qualitative methods. Why? Because quantitative data will tell you what actions users take when using your product, while qualitative data will tell you why they do it and, even more important, how they feel about the overall experience.

It’s also important to remember that using just one method of research isn’t going to give you the depth of insight needed to make useful changes. So let’s explore popular quantitative and qualitative methods.

Что такое рекрутинг и зачем рекрутеру метрики

Юлия отмечает, что для многих рекрутеров одним из самых демотивирующих факторов в работе является неэффективность текущего поиска и отсутствие практических знаний о методах его оптимизации. Постоянные вопросы от нанимающих менеджеров “где кандидаты и когда они появятся?” висят как дамоклов меч над головой каждого рекрутера, превращая поиск людей в бесконечный бег по кругу.  

Подписывайтесь на рассылку статей для HR и рекрутеров! Будьте в тренде с Hurma

*

Я даю свое согласие на обработку и использование моих персональных данных в соответствии с Политикой конфиденциальности

Вы подписаны!

Зачем рекрутеру метрики

Рекрутинговые метрики выполняют две основные функции:

  • определение эффективности процесса найма;
  • определение эффективности работы рекрутера. 

Кроме того, метрики по рекрутингу помогают найти ответы на следующие вопросы:

  1. Насколько хорошо мы находим подходящих кандидатов и сколько времени нам нужно, чтобы нанять их? (С этой информацией можно спланировать личную нагрузку, а бизнесу – планировать свои процессы).
  2. Сколько квалифицированных кандидатов нужно найти, чтобы закрыть вакансию? Как быстро мы переходим с одного рекрутингового этапа на другой?
  3. Насколько эффективно мы привлекаем лучших кандидатов и убеждаем их принять оффер?
  4. Сколько денег мы тратим на наем и как наши расходы меняются в зависимости от позиции, на которую мы ищем людей?
  5. Насколько, в целом, эффективен наш процесс найма и какие шаги (этапы) наименее оптимизированы?

Юлия Кескин поделилась информацией о том, какие метрики отслеживаются в её агентстве VeryBusy Recruiting: что они анализируют, когда ведут поиск и зачем. 

Подписывайтесь на рассылку статей для HR и рекрутеров! Будьте в тренде с Hurma

*

Я даю свое согласие на обработку и использование моих персональных данных в соответствии с Политикой конфиденциальности

Вы подписаны!

Funnel-based аналитика (метрики, которые мы получаем из воронки рекрутинга). Измеряются базовые метрики, которые заложены в воронку рекрутинга:

  • скольким кандидатам мы предложили позицию;
  • сколько кандидатов ответили на наше предложение;
  • сколько кандидатов из ответивших заинтересовались предложением;
  • сколько кандидатов мы  отправили на ревью клиенту;
  • сколько кандидатов прошло техническое интервью;
  • скольких кандидатов мы наняли.

Для оценки эффективности используются следующие показатели:

Sourced/Relevant candidates – сколько кандидатов из найденных являются релевантными для позиции.

Relevant/Attracted candidates – сколько релевантных кандидатов приняли оффер.

Sales метрики:

  • Response rate –отношение количества ответивших кандидатов к количеству отправленных писем.
  • Sourcing channels effectiveness – определение эффективности каналов поиска.

Календарные метрики:

Time to hire – время на закрытие позиции.

  • Time in hiring process steps – время между каждым из этапов найма.
  • Cost of hire – стоимость найма.

Candidate experience метрики:

  • Refusal reasons – причины отказов.
  • Offer acceptance rate – соотношение отправленных офферов к принятым. 

Как понять, когда нужно создавать DDT

  • Если Вы увидели, как какой-то компонент системы описать с помощью входных параметров и выходного состояния или результата – можно создавать DDT. По опыту автора, требуется определённое время, чтобы разработчики начали замечать, как ввести DDT на проект. Притом очень часто без явного напоминания или толчка со стороны люди продолжают полагаться или на мануальное тестирование, или пишут много похожих юнит тестов. На проекте примера 4 так и было.
  • Приходилось участвовать в ситуациях, когда DDT становился спасением проекта из-за накопленной внутренней сложности, когда небольшое изменение может повалить всю систему. Смотрите пример 6.
  • Если входные параметры представляют собой сложный набор данных, или когда нужно тщательно проверять взаимозависимости входных параметров, делать валидацию с большим количеством ошибочных вариантов, а также, когда количество результирующих состояний системы неограниченно.
    • Используется свой DSL (domain specific language). Смотрите пример 3.
    • Покрываемая система расширяема – плагины, скрипты. Смотрите пример 4.
    • В базе данных происходят сложные калькуляции или присутствуют сложные связи. Смотрите пример 6.
  • DDT можно применять для стабилизации системы, в которой случаются трудно-поправимые баги, и для организации грамотного регрессионного тестирования (Смотрите примеры 3 и 5).
  • Также, если в юнит тестах вы видите copy pasting на уровне test методов, стоит подумать над вынесением этого в DDT (значительно сокращается объём кода для тестов).