Kitabı oxu: «Аналитика для руководителей. Стратегия и развитие бизнеса на базе данных, а не на интуиции»

4

Школа интернет-маркетинга

© Николай Валиотти, текст, 2025

© Бортник В., иллюстрация на обложку, 2025

© Садовская М., иллюстрации в блоке, 2025

© Оформление. ООО «Издательство «Эксмо», 2025

Введение

Можно ли развивать бизнес, полагаясь на интуицию и Excel-таблички?

Вообще-то можно. На первых порах, пока компания еще маленькая, этого джентльменского набора вполне хватит, чтобы двигаться вперед. Если интуиция не подведет, а удача будет на вашей стороне – компания сможет как-то расти.

Но когда бизнес станет больше, а процессы – сложнее, цена любой ошибки обойдется вам дорого. Поэтому каждое решение придется обосновывать твердыми цифрами. Желательно, чтобы кто-то регулярно собирал их в удобную табличку. И тут вам понадобиться не только Excel, а полноценная аналитика с инжинирингом данных, базами и дашбордами.

Эта книга помогает сформировать системный подход к аналитике и научит видеть в ней ценный инструмент для развития бизнеса. Вам не придется изучать ее «с нуля», исследуя тонну статей и других книг. «Аналитика для руководителей» – полноценное пособие для тех, кто принимает стратегические решения. После ее прочтения вы точно будете знать кто даст вам данные и в каком виде они нужны, чтобы продвинуть бизнес.

Я занимаюсь аналитикой больше 15 лет. За это время я защитил кандидатскую по прогнозированию с помощью нейронных сетей и отучился в американском вузе Georgia Tech, с помощью данных поднял продажи в «Ленте» и Yota, с нуля создал аналитическую практику в «Юлмарте» и сделал ее основной для принятия маркетинговых решений. В 2019 году открыл собственный успешный дата-консалтинг LEFT JOIN, куда приходят стартапы, большие зрелые компании, онлайн-школы, интернет-магазины, телекомы, разработчики игр и приложений на основе ИИ. У них единый запрос – начать принимать решения с опорой на данные, чтобы бизнес рос.

Мы выстраиваем для них системы, которые помогают им в разы поднять прибыль, сократить расходы и избежать финансовых рисков. А также – оптимизировать структуру компании, доработать продукт и найти новые возможности для бизнеса.

Благодаря этому опыту, я знаю, с какими трудностями сталкиваются директора компаний и руководители отделов, когда начинают работу с данными:

• Не понимают зачем им аналитика вообще и какую пользу она может принести бизнесу, а уж тем более – как за счет нее увеличить прибыль.

• Не знают что спрашивать с аналитиков и как понимать язык, на котором они отвечают, чтобы превратить графики и таблицы в готовые бизнес-решения.

• Ошибочно берут сильно больше людей в штат или нагружают одного человека – не потому, что они плохие управленцы. Просто не имеют представления, что вообще делает аналитик: сколько времени и ресурса ему требуется, чтобы получить нужные данные под конкретно ваш запрос.

• Попадаются на удочку шарлатанов, когда новички выдают себя за опытных аналитиков, а управленец не понимает особенности их работы, поэтому тратит свое время, деньги компании и репутацию внутри организации.

Поэтому предлагаю решение не просто как практикующий аналитик, а как предприниматель, который не понаслышке знаком с задачами и вызовами руководителя. Я старался не углубляться в сложные технические детали, но рассказал, как с помощью различных инструментов построить систему, чтобы упростить процессы, сделать их эффективными для бизнеса и оптимизировать финансовые затраты. Любое решение без них – движение вслепую.

Если вы CEO компании, коммерческий директор, маркетолог, продакт-менеджер, вам и не нужно детально разбираться в аналитике – для этого есть команда. Но чтобы успешно выстроить рабочие процессы и взаимодействие между отделами, надо в общих чертах понимать:

• зачем работать с данными;

• что для этого нужно – как аналитика может помочь росту прибыли и масштабированию бизнеса;

• кто есть кто в аналитике: для решения каких задач вам понадобится дата-саентист, а для чего – дата-инженер, а также – что каждый из них должен уметь, чтобы считаться хорошим специалистом;

• какими понятиями, программами и данными мыслят аналитики и на каком «языке» они говорят.

Зная все это, вы поймете, какой специалист вам нужен, какие задачи вы можете ему ставить и каких результатов ожидать. Это поможет при взаимодействии со штатными сотрудниками и подрядчиками.

В первой части книги я расскажу зачем вообще бизнесу данные и какие ключевые этапы на пути цифровой трансформации проходят компании.

Во второй части уделю внимание основным инструментам хранения данных: базам и их разновидностям, хранилищам и тем самым озерам. Это поможет корректно ставить задачи аналитикам и понимать в каком формате данные вам нужны в итоге – это поможет принять верное бизнес-решение.

Третья часть расскажет о том, как быстро и эффективно обрабатывать данные, какие инструменты вам для этого понадобятся и как управлять несколькими потоками информации одновременно.

Четвертая часть посвящена основным целям, задачам и ролям подразделений и специалистов, работающих с данными. Мы наконец-то узнаем, чем отличаются друг от друга все эти люди с приставкой «дата-» в названии должности.

И, наконец, пятая часть поможет вам понять, как формировать собственный аналитический отдел и когда это необходимо. Возможно, есть и альтернативные варианты, которые лучше подойдут вашему бизнесу.

Ну что, готовы погрузиться в мир данных? Тогда поехали!

Часть 1
Приносят ли данные пользу бизнесу

Глава 1
Зачем вообще бизнесу данные

Мы живем в век цифровых технологий. Наши перемещения отслеживаются с помощью геолокации, поисковые запросы сохраняются в истории браузера, даже проставленные лайки учитываются. Дни рождения, номера телефонов в личных кабинетах приложений, история покупок – все, что мы делаем в Сети, оставляет «след». Регулярно о нас записывается огромное количество информации. Она обрабатывается и оседает в различных базах данных, буквально создавая виртуальный слепок наших личностей.

Но могут ли эти данные помочь бизнесу? Безусловно.

Грамотная работа с предпочтениями, увлечениями и запросами клиентов позволяет специалистам – маркетологам, менеджерам, управленцам – принимать правильные решения, строить бизнес-стратегии и увеличивать прибыль.

Вот несколько примеров грамотного использования данных для решения задач бизнеса в разных сферах:

• Телеком-компании. У каждой вышки мобильной связи есть определенная пропускная способность. Компании собирают данные о количестве пользователей и об объеме генерируемого ими трафика. На карте отмечают места расположения станций, выявляют перегруженные и станции со слабой отдачей. Это позволяет перемещать вышки, чтобы оптимизировать затраты на обслуживание мобильной сети. Таким образом создается максимально широкое покрытие, и оборудование справляется с трафиком.

• Ретейл. Гипермаркеты практикуют анализ данных в своих приложениях. Если клиент всегда покупал продукты в определенные дни недели, тратя конкретную сумму, но внезапно его активность снизилась по одному из показателей, то у магазина есть шанс потерять покупателя. Тогда ему рассылаются специальные предложения, индивидуальные скидки или единоразовые бонусы. Это помогает сохранить около 30 % клиентов.

На основе анализа покупок и предпочтений постоянных покупателей алгоритмы системы прогнозируют спрос, рассчитывают товарные остатки, рассылают клиентам персональные рекомендации, предлагают сопутствующие товары и товары-заменители.

• Операторы сотовой связи. В МТС внедрили продукты на основе «больших данных» во все сферы деятельности компании и теперь легко предсказывают вероятность увольнения конкретного сотрудника в ближайшие два месяца, затем принимают меры. Операторы также управляют рабочим временем продавцов: по часам прогнозируют загрузку магазинов розничной сети, состоящей из 5 тысяч салонов. Чистый эффект от этих мер в цифрах составил 3,5 млрд рублей за отчетный год.

Стоит отметить, что компания недавно объявила о запуске цифровой экосистемы для повышения безопасности. Алгоритмы системы маркируют для банков номера абонентов, подвергающихся телефонному мошенничеству. Далее система проверяет профиль клиента на основе его действий, а также отслеживает потоки событий, звонков, смс-сообщений и других действий абонента. С одной стороны проверяется профиль клиента на основе его действий, а с другой – отслеживаются потоки событий, звонков, смс-сообщений и других действий абонента. Так выявляются различные виды шаблонов, которые используются в мошеннических схемах. А это позволяет предотвратить до 45 % незаконных действий.

• Оператор почтовой связи. «Почта России» составила аналитический профиль каждого зарегистрированного пользователя своего приложения. Учитывается все: наличие автомобиля, доход, интересы и даже возраст детей. Это стало возможным за счет привязки аккаунта к порталу «Госуслуг». После всестороннего анализа данных в приложении вам приходят индивидуальные предложения по подписке на газеты и журналы, что помогает компании дополнительно зарабатывать около 1,2 млрд рублей в год.

• Медиа- и веб-сервисы. Они создают системы рекомендаций, сегментируют пользователей и привлекают новых за счет таргетированной рекламы. Чуть позже рассмотрим этот метод поподробнее на примере компании Netflix.

Из предложенных вариантов мы видим, что все больше компаний понимают важность data-driven – стратегии принятия управленческих решений на основе правильного использования данных.

Но не каждый руководитель может с ходу определить, какая конкретно стратегия подойдет его компании лучше всего.

Как же действовать и с чего начать?

Глава 2
Как верно соотнести данные с целями бизнеса

Рис. 1. Анализируем цифры – принимаем решение!

С управленческой точки зрения можно выделить две основные цели бизнеса: увеличение прибыли и масштабирование, то есть развитие компании. Дальше крупные цели можно разбивать на мелкие и ставить задачи для их достижения. И для всех потребуется собирать и анализировать данные. Судите сами:

• Чтобы увеличить прибыль, вы должны хорошо знать рынок и ваше место в нем, а также понимать клиента: кому и зачем нужен ваш продукт? Учитывая основные метрики, вам придется разобраться: какие сегменты клиентов уже охвачены вами? какие из них наиболее прибыльные?

• Принимать обоснованные бизнес-решения о создании новых продуктов можно, только исследовав новую область: сколько в ней конкурентов? а платежеспособных клиентов? как часто у них появляется запрос на ваш предполагаемый продукт?

• Оптимизировать рабочий процесс и использовать оборудование без простоев нельзя, не разобравшись в текущих показателях: сколько сейчас тратится времени на каждый этап производства? как быстро доставляется готовая продукция? насколько доволен клиент?

• Грамотно управлять маркетинговым бюджетом и эффективно тратить средства на рекламу невозможно без изучения результатов работы: сколько всего вы потратили денег? сколько клиентов пришли к вам с каждого канала сбыта? какое маркетинговое решение сработало лучше всего?

Для этого нужно твердо понимать, какой цели служат данные, о чем они говорят и как могут повлиять на развитие бизнеса.

Именно поэтому стратегия управления ими должна быть максимально согласована с целями и даже с миссией компании.

Вот как выстраивается эта связь:

1. Понимание миссии компании. Миссия прописывается в виде тезисов: чем занимается компания, для кого и зачем она это делает.

2. Определение приоритетных целей. Миссия помогает определить актуальные на данный момент цели бизнеса: увеличить прибыль или выйти на новый рынок? расширить производство или оптимизировать логистику? увеличить базу клиентов или повысить узнаваемость бренда? В зависимости от целей результаты анализа будут отличаться.

3. Создание системы метрик. Метрики – это числовые показатели, которые дают вам информацию: о продукте, об эффективности работы компании, подразделения или отдельных маркетинговых акций и т. д. Нам важно выбрать ключевые метрики, анализ которых покажет, приближаемся ли мы к выбранным целям.

4. Выбор источников данных. Данные поступают из разных источников – нужно отобрать те, которые содержат полезную для принятия решения нагрузку. То есть те, которые напрямую влияют на нашу систему метрик.

5. Сбор, сортировка и очистка данных. Как правило, нужно обрабатывать огромные массивы данных и приводить их к общему виду, потому что в разных источниках формат работы с данными отличается. Если не привести все к одному формату и не удалить дубликаты, аналитика потеряет смысл. Любая неточность, любое несовпадение – вплоть до единиц измерения и количества столбцов в таблицах – может исказить результаты, так что не стоит недооценивать этот этап.

6. Анализ данных. Когда информация собрана и очищена, ее можно анализировать: находить закономерности, строить гипотезы и составлять отчеты.

7. Выводы на основе анализа. Здесь определяют слабые места или точки роста. К примеру, организация провела маркетинговую акцию. Результат успешный или нет? Как акция повлияла на бизнес? Стоит ли изменить что-то в рекламе, ценообразовании? Именно анализ подсказывает ответы на эти и другие вопросы.

8. Улучшение продукта. Предыдущие этапы – фундамент для конкретных действий. На основе полученной информации компания разрабатывает план по изменению продукта, чтобы сделать его еще лучше.

Здесь можно привести пример из практики моей компании. Один из наших заказчиков, образовательный стартап, выбрал миссию – помочь студентам из Юго-Восточной Азии обучиться востребованным профессиям в ИТ. А для этого надо было, чтобы студенты узнали о проекте, познакомились с его услугами и смогли записаться на курс.

Компания поставила несколько целей, которые должны были помочь в выполнении миссии. Среди них – создание эффективного отдела продаж, где менеджеры оперативно отвечали бы на заявки студентов.

Выбрали метрики, которые надо было отслеживать, – скорость ответа на заявку и конверсия из лида в покупку. Затем определили источник данных – CRM, где отображалось, откуда пришел человек, кто ему ответил и как быстро.

Наша команда настроила сбор и обработку данных, а также сверстала дашборд. На нем отображалась шкала со скоростью ответа, можно было настроить фильтры по источникам лидов или по отдельным продажникам.

Дашборд (рис. 2) помог заказчику проанализировать работу отдела и выяснить, что конверсия в покупку выше всего, когда менеджер отвечает на заявку клиента в течение 15 минут – не дольше. С этими данными на руках заказчик разработал новые KPI для отдела продаж, чтобы повысить эффективность работы. Теперь он также мог контролировать нагрузку на сотрудников: если скорость разбора заявок по всему отделу начинала падать, это говорило о том, что продажники не справляются с объемами. А если у всех получается и только отдельные менеджеры затягивают с ответами, то это повод присмотреться конкретно к ним.

Есть и другой пример, уже из международной практики, – Netflix. История этой компании показывает, как качественный анализ данных верно соотносится с миссией компании и помогает реализовать обе цели в бизнесе.

Это самый популярный стриминговый сервис в мире – в 2024 году число подписчиков перевалило за 280 млн. Руководство Netflix принимало много спорных решений вроде изменения тарифов или запрета на использование одного аккаунта несколькими пользователями. Но, несмотря на возмущения общественности и угрозы уйти к конкурентам, число подписчиков продолжало расти.

Новых зрителей привлекала большая библиотека контента, состоящая как из оригинальных фильмов и сериалов собственного производства, так и из купленных по лицензии. Однако часто пользователи были недовольны тем, что Netflix внезапно прекращал съемки новых сериалов: многие рассчитывали посмотреть продолжение любимой истории. На первый взгляд это кажется нелогичным – зачем тратить столько денег на сериал, чтобы закрыть его после первого же сезона, не дав ему толком развернуться? Но Netflix опирался на данные. Сервис оценивал рейтинг досматривания, то есть количество человек, посмотревших фильм или сериал в первые 4 недели после релиза, а также затраты на производство и прирост числа подписчиков. Все эти данные в совокупности показывают, стоит ли продукт затраченных денег.

И сейчас, даже после резких отмен новинок или отказа продлевать лицензии на популярные сериалы и фильмы чужого производства, у Netflix остается огромный каталог, ориентироваться в котором помогает алгоритм рекомендаций – один из лучших во всей стриминговой индустрии.

Netflix собирает огромные массивы данных о пользователях и их предпочтениях. Его алгоритмы анализируют историю просмотров – названия фильмов, жанры, продолжительность сеансов; время суток, когда человек зашел на сайт, и даже девайс, с которого он это сделал. Затем они сравнивают людей, которые смотрят одни и те же фильмы и одинаково их оценивают. Рекомендации формируются по принципу: «У двух человек похожие вкусы, так что предложим первому то, что он еще не смотрел, но что хорошо оценил второй».

Это тоже может показаться странным: получается, Netflix строит рекомендации для пользователя на основе чужих интересов. Но когда речь идет о действительно больших данных и базе из миллионов пользователей, алгоритм учится предсказывать их предпочтения довольно точно. Без работы с данными такой результат был бы просто невозможен.

Рис. 2. Дашборд образовательного стартапа

Конечно, никакая компания не получает идеально работающую аналитику в один момент – это долгий путь, поэтапное развитие. Причем неравномерное.

В идеальном мире для перехода к data-driven мы бы последовательно прошлись по пунктам, о которых говорили выше: через понимание миссии определили цели и спроектировали систему метрик, собрали требования к отчетности и формату работы с данными, а затем построили систему под эти требования. Но в реальности у большинства компаний нет точного понимания, как должна выглядеть аналитика, какую информацию они хотят видеть. А делать выводы на основе цифр хочется уже сейчас.

Поэтому в начале пути важно научиться грамотно и удобно работать со всеми доступными данными. Они уже у вас как-то накапливаются, например в CRM-системе, – можно начать собирать их в хранилище для построения отчетности, делать первые выводы, смотреть, чего не хватает. Постепенно бизнес будет развиваться, и вместе с этим появится понимание, какие данные и метрики вам нужны.

Кристофер Пенн, автор блога «Пробуди в себе супергероя»¹, описал 5 этапов, которые проходит компания на пути к полноценному управлению на основе данных.

1 этап. Data-resistant (ограниченное использование данных). Здесь компания пока не рассматривает данные как стратегический актив. Информация используется только для стандартной отчетности: финансовой, регуляторной и т. д. Организация сосредоточена на том, чтобы создать и вывести продукт на рынок, а не на аналитике. Для вас первый этап уже точно позади, иначе вы бы не читали эту книгу.

2 этап. Data-curious (заинтересованность данными). В компании начинают создавать первые таблицы с информацией и собирать сведения: например, выгружать показатели из рекламных кабинетов, чтобы оценить успешность маркетинговой кампании.

3 этап. Data-aware (осведомленность о данных). В компании появляются энтузиасты и отдельные руководители, понимающие потенциальную ценность данных (возможно, это как раз вы). Они запускают пилотные проекты, строят отчеты и дашборды и начинают разбираться, какие метрики существуют и как их правильно оценивать. Все больше подразделений осознают ценность данных и включаются в работу.

4 этап. Data-savvy (понимание данных). Организация использует данные в большинстве производственных процессов. Например, начинает сегментировать рассылки, пробует выделить группы наиболее ценных клиентов по самым значимым параметрам.

В далеком 2009 году, когда я работал аналитиком в компании «Лента»², мы решили провести кластеризацию данных на основе предпочтений клиентов и дать постоянную 5 % скидку всем держателям карт магазина. А еще организовали «клуб любителей алкоголя» и персонально, по электронной почте, отправляли актуальные скидки. Это простое действие принесло впечатляющий результат – более чем 20 % членов клуба купили предложенные товары!

И, наконец, 5 этап. Data-driven (управление на основе данных). Организация непрерывно развивается на основе данных и аналитики. Результаты анализа влияют на ключевые бизнес-процессы.

Если вы узнали свою компанию в описании 2-го, 3-го или 4-го этапов – отлично: в следующих частях мы разберем все те вопросы, которые пока мешают вам подняться выше, и подготовим почву для перехода на пятый этап. А для начала определимся с основами: из чего состоит работа с данными и какие моменты важно учитывать.

Глава 3
Основополагающие направления работы с данными

Чтобы эффективно работать с данными, компании следует уделять внимание трем направлениям: стратегии, управлению и аналитике (рис. 3).

Рис. 3. Основные направления работы с данными

1. Стратегия данных – это дорожная карта компании: план по использованию данных, определяющий долгосрочные цели и принципы работы с ними.

Стратегия отвечает на вопрос «Зачем использовать данные?». И здесь могут быть конкретные ответы: чтобы увеличить доходы, сэкономить на расходах, управлять рисками, повысить качество обслуживания клиентов и т. д. Мы сейчас не будем подробно говорить о том, как составить и оформить эту стратегию. Для каждой компании она своя. Но каждая часть книги позволит вам найти ответы на вопросы и выбрать необходимые инструменты в соответствии с задачами вашей компании.

Грамотно составленная стратегия помогает не просто «держать руку на пульсе» и следить за показателями бизнеса, но и делать прогнозы и принимать решения, основанные на данных.

Без нее не будет четкого плана, как двигаться дальше. Как развивать продукт? Как сделать его более привлекательным и ценным для покупателей? Как построить маркетинг и продажи? Какие направления развивать и каких людей нанимать?

Да, эти решения можно принимать наугад, руководствуясь опытом, интуицией или надеждой на удачу. Но стратегия помогает избежать частых ошибок – таких как выпуск продуктов, неинтересных пользователям или неконкурентоспособных на рынке; трата ресурсов на неподходящие инструменты или бесперспективные проекты.

2. Управление данными – это все процессы работы с данными: политика компании, определяющая порядок сбора, хранения и использования данных; роли сотрудников – кто за какой процесс отвечает; стандарты работы с данными, благодаря которым записи эффективно используются и помогают достигать целей, обозначенных в стратегии.

Управление данными означает создание правил и распределение ролей:

• Какие данные нам нужны?

• Как мы их собираем и где храним?

• Какие инструменты для этого используем?

• Кто этим занимается?

• У каких людей есть доступ к разным данным в компании?

Это помогает всем сотрудникам компании говорить на одном языке и придерживаться одинаковых стандартов. Управление информацией позволяет избежать ситуаций, когда разные отделы одни и те же метрики собирают и считают по-своему.

Управление данными не стоит путать с созданием отдела аналитики (об этом поговорим позднее). Это более высокоуровневый процесс, чем найм специалистов, поскольку он обеспечивает безопасный, удобный и прозрачный доступ к данным для всех сотрудников – не только для дата-команды.

Важно настроить все процессы управления, ведь без этого может наступить настоящий хаос. Если данные разбросаны по разным хранилищам, ваши сотрудники вряд ли найдут информацию, необходимую для работы.

Но также важно и ограничивать доступ к ним, иначе работники могут увидеть показатели, которые им видеть не следует. К примеру, маркетолог должен знать, где лежат результаты разных рекламных кампаний, но иметь доступ к данным о зарплатах коллег ему вовсе не обязательно.

3. Аналитика – это, собственно, процесс анализа данных компании. То есть то, как мы трактуем и используем их.

Мы написали стратегию – что и зачем нам нужно анализировать. Настроили процессы управления – то есть определили, как мы будем работать с данными. Теперь пожинаем плоды – извлекаем из собранных данных полезные для бизнеса выводы.

Польза – это то, ради чего все и затевается.

Вряд ли тут надо расписывать, что получится, если игнорировать аналитику, – компания будет просто копить данные, но не сможет извлечь из них выгоду и получить дополнительный доход.

Следующие главы будут посвящены тому, как правильно выстроить процесс, собственно, работы с данными, чтобы они были пригодны для анализа. То есть как их собирать, хранить, обрабатывать и трактовать так, чтобы в них не было искажений и ошибок. Ошибки в данных – ошибки в выводах, а вашей компании такой опыт совсем не нужен.

Глава 4
Жизненный цикл данных

Все данные, с которыми работает компания, собираются, затем используются и в итоге удаляются/архивируются, когда становятся ненужными. Период времени, включающий в себя все эти этапы, называется жизненным циклом данных.

Можно условно выделить пять последовательных этапов:

1. Создание. Это физическое возникновение информации. На этом этапе определяют, какие данные в принципе будут собираться и для каких целей.

2. Прием или загрузка в хранилище.

3. Преобразование. Сюда включается любая подготовка данных к использованию: сортировка, очистка, объединение и так далее.

4. Практическое применение – в нашем случае анализ и прогнозирование.

5. Архивирование или удаление. После завершения работы данные архивируются, сопровождаются подробным описанием (метаданными) и хранятся до следующего использования.

Довольно сложно предсказать, какие именно записи понадобятся даже в среднесрочной перспективе. Поэтому хранить приходится если не всю информацию, то значительную ее часть. Какую именно и как долго?

Здесь есть две крайности: либо избавляться от накопленных данных сразу после их использования, либо хранить вообще все, ничего не удаляя. Первый вариант не подходит для большинства компаний, потому что им важно знать историю бизнес-активности для анализа повторяющихся кризисов. Поэтому аналитики держат в своем арсенале и «старые запасы» данных. Второй вариант использует, например, «ВКонтакте», где годами хранятся даже черновики пользовательских постов и сообщений в переписке. Это требует огромных ресурсов и дополнительных вложений в безопасность. Эта крайность вам тоже вряд ли будет интересна.

Поэтому рациональный ответ на вопрос, каков срок годности данных, будет таким:

информацию имеет смысл использовать, пока она соответствует действительности.

Конкретные сроки будут зависеть от частоты обновления записей и в целом от задач и сферы деятельности. Например, для ретейла маркетинговые данные 10-летней давности уже не так актуальны, как данные о продажах за последний квартал. В целом для прогнозирования не рекомендуется использовать данные старше 5–7 лет, иначе прогнозная модель начнет учитывать неактуальные сведения о бизнесе. В то же время банки и производственные компании, наоборот, по закону обязаны анализировать и хранить данные за десятки лет.

Жизненный цикл данных часто рассматривается по аналогии с жизненным циклом проектов. Такой взгляд позволяет обновлять информацию сообразно задачам бизнеса и экономить ресурсы. А заодно помогает понять, какие специалисты нам понадобятся.

Скорее всего, вам, как руководителю, придется формировать соответствующий отдел, если бизнес достаточно крупный. А потому остановимся на этом вопросе подробнее.

Глава 5
Ключевые специалисты аналитического отдела

Команда по работе с данными, как и другие функциональные отделы, – это компания внутри компании. Как почти все структурные подразделения фирмы, она проходит этапы от одного-двух «многостаночников» до формирования полноценного отдела с четким разделением обязанностей. Однако если группы по финансам, кадрам, маркетингу уже стали традиционными для любого бизнеса, то с аналитикой сложнее. Сфера довольно новая, а потому с ходу сложно понять, с чего именно начать.

Рис. 4. Задачи аналитического отдела

На этапе создания аналитический отдел может состоять из двух специалистов: аналитика и инженера.

Если мы вернемся к жизненному циклу данных, то инженер будет отвечать за все этапы, связанные со сбором, обработкой и хранением информации, а аналитик – за ее практическое применение, то есть анализ и прогнозирование. Первый готовит, второй использует.

Дальше, по мере роста потребностей, можно открывать другие позиции, увеличивая штат. Задачи второго уровня на схеме (рис. 4) распределяются между инженерами данных (Data engineer) и архитекторами данных (Data architect), а те, что обозначены голубым и розовым цветом, – между аналитиками (Data analyst) и специалистами по данным (Data Scientist).

Первую пару разделить достаточно просто: архитектор проектирует то, чем потом пользуется инженер. То есть архитектор создает систему правил, политик, стандартов и моделей сбора, использования и хранения информации. А следом за ним вступает в работу инженер, внедряя и обслуживая конвейер данных согласно плану.

Со второй парой чуть сложнее, так как их сферы ответственности пересекаются, а еще Data Scientist часто тоже называют аналитиком, как и Data analyst. Тем не менее они отличаются.

Аналитик (Data analyst) чаще всего не строит прогнозы: он ищет закономерности и тенденции в данных, делает выводы и передает полученные результаты другим сотрудникам. Для этого он визуализирует информацию, то есть использует графики и диаграммы.

Выводы аналитика помогают находить закономерности, на основе которых другие отделы – продажи, финансы, маркетинг и так далее – принимают правильные решения.

Специалист по данным (Data Scientist), в свою очередь, подробнее изучает и расписывает результаты аналитиков. Он не просто ищет взаимосвязи, а пытается понять причины тех или иных явлений, определить факторы, влияющие на изменение данных. Кроме того, он может моделировать задачи и затем создавать прогнозы. Его суперсила – умение вычленять из информации сокрытое, находить неизвестные ранее закономерности.

Организации часто нанимают сначала аналитика, а после уже – специалиста по данным, чтобы он сконцентрировался на самых трудоемких задачах.

Теперь у нас в аналитическом отделе четыре специальности, четыре сферы ответственности: их легко запомнить, если провести аналогию с процессом строительства.

Архитекторы данных – это те же самые архитекторы, что проектируют здание и все его системы.

Инженеры данных – строители. Они претворяют в жизнь план архитектора.

Аналитики – это арендаторы помещений: используют построенное, чтобы удовлетворять потребности других отделов.

А специалисты по данным – это те люди, которые понимают, как все работает на детальном уровне. Это дает им возможность контролировать работу объекта: они делают замеры, снимают показания счетчиков и следят за порядком.

Разумеется, это не финальная версия аналитического отдела. По мере того как усложняются задачи и разрастаются отдельные этапы жизненного цикла информации, создаются новые рабочие места и появляются новые специальности: собственные разработчики, администраторы баз данных, проджект-менеджеры и другие. Мы вернемся к ним в пятой части книги, когда вы уже хорошо разберетесь с основными инструментами и задачами, которые в целом должен решать аналитический отдел. И тогда уже поговорим подробнее о необходимых компетенциях каждого специалиста, а также более предметно разберем их должностные обязанности.

А сейчас переходим к следующей большой теме: как организовать хранение данных.

Часть 2
Как хранить и организовывать данные

Глава 6
Методы организации данных

Впрошлой части мы обсудили структуру аналитического отдела в идеальном мире, но также я акцентировал внимание на том, что архитектор данных в компании появляется не сразу. Тем не менее работу с ними необходимо начать именно с архитектуры, то есть со способов хранения и организации данных. Почему так? Даже если в вашей компании еще нет никакого аналитического отдела, в любом случае данные уже неизбежно накапливаются. И нужно начинать наводить в них порядок. Этим мы и займемся.

Вам может показаться, будто руководителю незачем вникать в эти тонкости. Нанял себе аналитика и живи спокойно. Но, согласитесь, понимая, что и как устроено внутри компании, любой управленец получает неоспоримое преимущество. А потому важно и нужно последовательно изучить каждую главу, чтобы сложилось правильное представление о новом направлении работы любого успешного бизнеса. Вашего бизнеса.

Итак, можно выделить три главных метода организации любых данных: базы, хранилища и озера данных.

База данных (БД, или DB – database) – это большой объем информации, структурированной по определенным правилам и хранящейся в едином виде в одном месте. Благодаря этому с информацией можно работать: собирать, сравнивать, выводить на графики, делать запросы. Это похоже на склад, где не просто полки с разными предметами, а целая система хранения. Вы знаете, в каком блоке стоят холодильники, а в каком – микроволновки. Все структурировано и понятно. И когда вам необходимо найти стиральную машину, то вы сразу идете в отсек, где они хранятся, а не бессистемно ищете по всему ангару. Так же устроены и базы данных. Чтобы получить информацию по сотруднику или нужному товару, нет необходимости перелопачивать кучу документов. Все хранится, учтено и упорядочено в соответствующих базах данных.

Хранилище данных (Data Warehouse) – это более сложная система: в ней собирается и хранится структурированная информация из различных источников, в первую очередь из баз данных внутри компании. Эти записи используются для аналитики и принятия управленческих решений, а также решения других задач бизнеса. И если базы данных мы сравнивали со складом, то здесь можно говорить о логистическом парке, когда множество складов базируются на одной территории.

Озеро данных (Data Lake) – это хранилище, в котором одновременно может находиться огромный объем самой разной информации: полностью структурированной, частично структурированной или даже совсем не структурированной. Здесь нет никаких ограничений по размеру или объему единицы информации, данные хранятся в естественном формате. Озера можно представить в виде дедушкиного гаража. В нем стоят полки с коробками гвоздей, гаек и других рассортированных инструментов, но также найдется место для шин, запасов бензина, моторной лодки и старого мотоцикла. Озера нужны для того, чтобы аккумулировать разрозненные данные, а потом использовать их для анализа.

Нельзя сказать, что какой-то из этих методов «правильный», «идеальный», «лучший» или «худший». Каждый из них выполняет свои конкретные функции, и мы можем выбрать любой, наиболее подходящий для наших бизнес-задач.

Да, мы всегда начинаем с определения задачи. Ни у одной организации нет цели «построить хранилище или озеро». Нет, к специалистам обращаются и начинают работать с данными, чтобы увеличить прибыль или расширить компанию.

Любая задача в аналитике должна работать в первую очередь на цели бизнеса.

Поэтому при разработке архитектуры четко проясняем задачи:

1. Какие данные будут храниться? С какой целью?

2. Как часто к ним будут обращаться?

3. Какой объем информации предстоит обрабатывать?

4. Как данные будут использоваться?

Учтите также ваш текущий технологический стек, то есть те инструменты, которые уже используются в вашей компании.

1. Откуда сейчас стекаются данные и как с ними работают сотрудники?

2. В каком виде хранятся данные?

3. Какие программы, системы, инструменты уже используются в работе? Или, может быть, оплачены, но пока не используются?

Если вы уже используете какие-то сервисы, лучше всего искать решение, совместимое с ними. Например, в 2016 году я присоединился к компании, которая занималась мобильной рекламой. Программисты организации настроили сбор информации. Фиксировались все возможные события в системе: какие действия совершали пользователи, в какой момент и какие возникали ошибки и так далее. Эти данные представляли собой сырые массивы данных и никак не обрабатывались. Сотрудники пытались разобраться, насколько успешны рекламные кампании, однако работа шла медленно и неэффективно: записей много, но использовать их тяжело.

Рис. 5. Скриншот из Kibana – ПО, которое компания использовала для визуализации своих данных

Передо мной стояла задача повысить эффективность и скорость работы с данными. Оказалось, что у компании уже была лицензия на систему управления базами данных HP Vertica. Я предложил руководству создать реляционное хранилище (рассмотрим, что это такое, чуть позже) на ее основе.

Директор принял мое предложение и дал зеленый свет. Дальше – больше. Я провел интервью с сотрудниками и спроектировал хранилище данных. В итоге на его основе удалось построить отчетность и серьезно изменить подход к работе с данными. Одно из преобразований было почти революционным: компания одной из первых начала внедрять Сlickhouse (о нем подробнее мы поговорим чуть позже, когда дойдем до колоночных баз данных). Тогда технология была еще сырой, тем не менее изменения помогли начать по-настоящему оценивать эффективность рекламных кампаний. Грамотная работа аналитика под руководством директора, понимающего задачи компании, принесла свои плоды, позволив существенно сократить затраты на хранение и использование собственных данных.

Теперь давайте познакомимся с базами данных, хранилищами и озерами поближе, чтобы вам было легче разобраться, что из них максимально эффективно будет реализовывать задачи вашего бизнеса.

Глава 7
Базы данных (БД)

База данных – это совокупность информации, организованной по определенным правилам.

Эти правила помогают быстро находить нужные данные как для аналитики, так и для текущих транзакций, а также добавлять новые записи, редактировать существующие и удалять ненужные.

База данных – фундаментальный инструмент для хранения и управления большим объемом информации; она обеспечивает надежность, эффективность и безопасность в работе с ней.

К примеру, базы данных хороши для учета и анализа информации об успехах бизнеса, для хранения записей о предприятии и сотрудниках.

Базы данных бывают разных видов.

Традиционных моделей данных три: иерархическая, сетевая и реляционная.

Первые две сейчас редко используются в чистом виде, поэтому рассмотрим их кратко, для базового понимания разницы между ними.

В основе иерархических баз данных, как следует из названия, лежит иерархия, то есть одни объекты подчиняются другим. Вам знакома эта модель: при хранении документов на компьютере под управлением Windows в общей папке «Диск С» есть папка «Фото», в ней – папка «2024», в ней – папка «Море», и там уже отдельные файлы, соответствующие теме.

При таком способе организации найти и извлечь нужную информацию довольно легко – сразу понятно, где какие данные находятся, к чему относятся и как до них добраться. Но для большинства задач такая модель быстро становится чересчур громоздкой. Что, если вы захотите собрать в папку «Море» фото за все годы, но при этом также иметь возможность посмотреть снимки из отпуска только за 2024? Один и тот же документ не может лежать сразу в двух местах. Значит, придется дублировать: исходную папку оставить на месте, а в «Фото» добавить новую папку «Море-2024» и скопировать туда отпускные фото с 2024-го года. Несколько таких операций – и вы совершенно запутаетесь, где и что у вас хранится.

Поэтому иерархические базы данных используются очень ограниченно – там, где важно сохранить отношения подчинения. Например, структура предприятия, где видна иерархия сотрудников, кто кому подчиняется и в каком отделе работает. Информация на каждого сотрудника формируется в индивидуальном файле, который лежит в папке отдела, а она, в свою очередь, находится в папке департамента, к которому относится отдел.

Сетевые (или графовые) базы данных чуть удобнее и уходят от ограничений иерархических за счет того, что между таблицами и записями может быть сразу несколько связей. Все они запоминаются и хранятся в специальных индексных файлах, и их можно быстро и просто найти. Пример такой базы данных – каталог фильмов: можно посмотреть всех актеров, снявшихся в ленте, и перейти на страницу каждого, чтобы узнать, в каких фильмах еще он играл. Здесь уже не нужно создавать новую страницу актера под каждый фильм, достаточно в отдельном файле прописать указатели, что с чем связано.

Эта модель хороша своей оперативностью и эффективностью затрат памяти, так как не нужно создавать дубликаты информации, как в случае с папками «Море» и «Море-2024». Недостатки – сложность и жесткость структуры. Вносить изменения в такую базу будет очень непросто. Кроме того, структура сетевых баз данных удобна для понимания машинами, но пользователям сложнее их считывать, поскольку не так явно видны связи между элементами, а потому нужно отдельно задумываться о понятной визуализации.

Рис. 6. Сетевая база данных

На практике из трех традиционных моделей чаще всего используются реляционные базы данных. На них мы остановимся поподробнее, поскольку именно с ними чаще всего придется сталкиваться вам, вашему аналитику или аналитическому отделу.

Реляционные базы данных

В реляционной базе данные структурированы в виде таблиц, содержащих строки и столбцы с заданными взаимосвязями.

Эта модель опирается на реляционную алгебру, замкнутую систему обращений к данным и действий с ними, и использует SQL – структурированный язык запросов, который применяется для получения, создания и изменения информации в базах данных табличного типа.

Рис. 7. Microsoft Exсel устроен по принципу реляционной базы данных

Вообще, стоит отметить, что большая часть работы аналитиков напрямую связана с языком SQL. В последние годы, в связи с широким распространением облачных баз данных, SQL стал снова популярен. Сейчас он повсеместно используется аналитиками и инженерами данных в современных решениях типа dbt (data build tool) – инструмента для трансформации данных на основе SQL-запросов.

Термин «реляционный» происходит от английского relations – «отношения», так называют связи данных в таблицах. Структура отдельных таблиц может отличаться, но внутри каждой должны быть уникальные столбцы и колонки. Скорее всего, вы уже сталкивались с реляционной базой данный, поскольку Microsoft Exсel устроен по ее принципу. Одна из наиболее распространенных систем управления такими базами – MySQL — часто используется для большинства веб-приложений и сайтов. Вторая по популярности – PostgreSQL. К этому типу также относятся Microsoft SQL Server (MS SQL).

Преимущества реляционной модели данных:

• Понятная процедура обработки: вашему аналитику не нужно продумывать маршрут запроса и получения информации. Обращение к базе, операции над данными, конечный результат имеют вид, интуитивно понятный и привычный для нас. Но также в таблице, как правило, четко передается физическая сущность ее элементов.

• Простая организация хранения данных: программы быстрее обрабатывают информацию, упрощая работу аналитиков.

На этой модели основано большинство продуктов для систематизации информации – от «Google Таблиц» до динамических систем анализа: к примеру, поведения пользователей на сайте. По сути, все события в бизнесе можно описать через реляционную модель: все операции (заказы и историю их обработки, закупку и прием товаров) в интернет-магазине, сделки на бирже, рекламу (рекламные кампании, сколько людей пришло с каждого канала, сколько это стоило, сколько человек увидели объявление, сколько кликнули по ссылке), продажи (сколько заявок пришло, сколько обработали, какая конверсия, какие результаты у каждого менеджера) и так далее.

Приведу пример. Я помогал крупной сети супермаркетов создать базу данных для работы отдела маркетинга. Изначально они использовали для хранения данных MS Excel и тратили несколько суток на поиск нужной информации и создание отчетов. Ведь сами по себе таблицы Excel не предназначены для хранения большого объема информации, вы должны заполнять их вручную, при этом невозможно эффективно связать несколько таблиц между собой. А потому первым делом я предложил руководителю создать базу данных с записями о заказах (чеках).

Мы использовали Microsoft SQL Server: транзакционнные данные из системы SAP (система планирования ресурсов корпораций, аналог 1С) загружались в SQL-сервер и затем использовались для анализа. База данных объемом несколько гигабайт находилась на выделенном компьютере. Хотя сегодня такой объем может показаться ничтожно малым для непрерывной записи, но в то время этого было достаточно. В базе содержались таблицы «Заказы» с ключами «Дата», «ID чека», «Товар», «Категория», «Идентификатор магазина» и другие.

Допустим, маркетологам нужно было проанализировать, насколько успешно работают их рекламные кампании и как на результаты влияет карта постоянного покупателя. Если один и тот же клиент часто совершал покупки и использовал клиентскую карту, в базу записывался его идентификатор. Таким образом, мы могли быстро, буквально с помощью одного запроса увидеть процент покупок с картой и без нее. Кроме того, единая база данных позволила нам легко провести кластеризацию покупателей, то есть разделить их на группы, и перейти к более глубокой аналитике.

Другой пример из розничной торговли. Администрация гипермаркета хочет изучить поведение покупателей: какие товары остаются на полках дольше, какие товары покупаются быстрее. Для этой задачи требуются следующие данные:

• Информация о покупках. Название товара, категория, цена.

• Идентификатор покупки. Можно ограничиться номером чека, а можно присвоить уникальные идентификаторы постоянным клиентам, например через номер бонусной карты, как в примере выше.

• Время покупки. Это поле важно как для маркетинга (чтобы определить, когда товары должны быть размещены на полках), так и для администратора магазина. Когда пик спроса на товары наибольший, нужно обеспечить работу максимального количества касс.

Добавляем эти поля в таблицы, настраиваем экспорт данных из системы – готово, можно строить аналитическую отчетность. И так можно разложить практически любую задачу: понять, что вы хотите найти и какие данные вам для этого понадобятся, а затем добавить в базу соответствующие поля, чтобы начать собирать статистику.

Если вы хотите, чтобы реляционная база работала корректно, она должна быть целостной, а данные в ней – нормализованными и структурированными. И последнее условие – информация должна обрабатываться с помощью вычислительных систем.

Целостность следует понимать двояко. С одной стороны, информация должна быть полной и достаточной, поскольку с ее помощью необходимо выстраивать взаимосвязи между элементами базы. С другой стороны, под целостностью подразумевается соответствие информации конкретным условиям и формату ввода.

Как говорилось выше, базы данных предназначены для машинной обработки. То есть информация обрабатывается или человеком с помощью компьютера, или программой без участия человека.

А значит, информацию нужно подготовить, чтобы программа с ней справилась: привести в форму, удобную для ввода, понятную для анализа и пригодную для поиска. Это и называется нормализацией.

Начинающие аналитики, а порой даже профессионалы, тратят едва ли не половину рабочего времени на приведение данных к стандартному виду. Рассмотрим на примере.

Представьте гипермаркет. В нем продается 40 тысяч товаров. И ежедневно клиенты совершают миллион покупок.

Какая проблема может возникнуть с информацией? Например, сегодня один менеджер ввел адресные данные клиента для доставки. А завтра второй продублировал тот же адрес, но изменил в нем один символ. Допустим, зафиксировал название улицы с маленькой буквы. Теперь в базе хранятся разные названия одного и того же адреса доставки.

Если вы захотите построить отчет по продажам с разбивкой по адресам доставки, то неизбежно столкнетесь с головной болью: как всю эту информацию свести воедино? Аналитику придется тратить кучу времени на очистку и нормализацию данных, убирать лишние пробелы, запятые, править регистр некоторых букв, удалять лишние слова, пытаясь привести все к единому виду. И только после этого приступать к анализу. То есть заниматься не столько самой отчетностью, сколько подготовкой записей к ней.

Конечно, так быть не должно. Ведь это отнимает лишнее время. Именно поэтому должны быть четкие и единые правила заполнения баз данных.

Та же проблема может возникать со стороны пользователей. Например, у нас была задача по нормализации клиентской базы в компании «Юлмарт». Они не сразу настроили ограничения для полей на странице регистрации, и 10 миллионов клиентов ввели свой адрес как попало. Кто-то указал страну. Некоторые – только город. Другие – улицу. А были и те, кто вообще ничего не написал. Только на очистку данных мы потратили не один месяц.

Из этих примеров можно сделать два вывода. Во-первых, если вам кажется, что аналитик работает неэффективно, возможно, это не его вина: проверьте, не тратит ли он большую часть рабочего времени на черновую работу. А во-вторых, о нормализации данных стоит задуматься как можно раньше, чтобы потом не тратить время и деньги на лишнюю работу. На этапе формирования системы хранения данных разработайте глоссарий и регламенты ввода информации для сотрудников, и это поможет вам избежать проблем в дальнейшем.