Добро пожаловать в Аналитику 3.0!

ПОДРОБНЕЕ О КНИГЕ

Аналитика 1.0: традиционная аналитика

Эпоха Аналитики 1.0 на протяжении многих лет охватывала все действия организаций в сфере аналитики. Я говорю об Аналитике 1.0 в прошедшем времени, поскольку организациям следует оставить этот подход в прошлом, если они этого еще не сделали. Как показано на рис. 1.1, Аналитика 1.0 в очень большой степени опиралась на описательную статистику и отчетность с редкими вкраплениями прогностической аналитики. Предписывающей аналитики тогда не существовало. Что касается данных в эпоху Аналитики 1.0, то они поставлялись почти исключительно из внутренних источников и были хорошо структурированы. Они включали все данные, связанные со сделками организации, информацию из систем управления предприятия и т. п. Хотя в то время эти данные считались невероятно большими и сложными для обработки, по сегодняшним меркам они являются относительно малыми и простыми. Данные собирались и хранились ИТ-отделом и предоставлялись по запросу. К сожалению, чтобы сделать данные доступными для анализа, ИТ-специалистам требовалось довольно много времени. Все это ограничивало широту и глубину применения аналитики, а также ее воздействие.

Что еще хуже, когда аналитики наконец-то получали эти данные, то, прежде чем приступить к анализу, им требовалось проделать еще массу дополнительной подготовительной работы. Дело в том, что в корпоративных системах данные редко хранятся в формате, пригодном для анализа. Выстраивание аналитического процесса требовало разного рода преобразований, агрегирования и комбинирования данных из различных источников. Все это еще больше увеличивало временной промежуток между моментом, когда ИТ-специалисты делали данные доступными, и моментом получения результатов. Таким образом, время в эпоху Аналитики 1.0 тратилось на сбор данных, а не собственно на анализ.

С точки зрения организационной культуры профессиональные аналитики относились к секретным сотрудникам. В большинстве случаев они были изолированы как от бизнеса, так и от информационных технологий. Их считали чокнутыми учеными, которые иногда могли предложить интересные идеи. Они не входили ни в какие другие команды, кроме собственной. Почти все разрабатываемые ими аналитические процессы предназначались для поддержки внутренних решений. Клиенты или пользователи продукции редко, если вообще когда, были осведомлены об этой закулисной аналитике.

Организации должны оставить Аналитику 1.0 в прошлом

Аналитика 1.0 на протяжении многих лет играла крайне полезную роль. Но в сегодняшней экономической ситуации необходимо подключать дополнительные возможности и использовать новые подходы. Оставьте Аналитику 1.0 в прошлом.

Традиционные технологии, такие как бизнес-аналитика и инструменты отчетности, использовались для создания широкого диапазона отчетов, панелей управления и оповещений. Но даже простые отчеты создать было не так просто. Для этого требовалось, чтобы специалист из центрального аналитического отдела узнал требования пользователя, составил отчет и представил его в пригодной для просмотра форме. Процесс был длительным и формализованным, и очень немногие пользователи могли создавать такие отчеты самостоятельно. Встречались и вкрапления прогностической аналитики, но эпоха Аналитики 1.0 по большей части опиралась на описательную аналитику и отчетность.

Ирония состояла в том, что потребности в более оперативной аналитике и отчетности не существовало, поскольку сам бизнес не мог реагировать на них намного быстрее. В начале моей карьеры при разработке модели кампании прямой рассылки мы использовали данные трех-четырехнедельной давности для определения домохозяйств, которые следует включить в рассылку. Затем составленный нами список отправлялся в отдел рассылки, а ему требовалось еще две недели, чтобы напечатать рекламные материалы и отправить их по указанным адресам. Наконец, проходила еще неделя, прежде чем письма доставлялись в почтовые ящики адресатов. Это означало, что между моментом сбора данных и тем временем, когда результаты анализа могли повлиять на клиентов и бизнес, проходило шесть, а то и восемь — десять недель. Ускорять аналитические процессы не имело смысла, поскольку рассылки осуществлялись по фиксированному месячному графику и списки требовались с той же регулярностью. Легко понять, почему в такой среде многие аналитические процессы не реализовывали свой потенциал в полной мере.

Аналитика 2.0: аналитика больших данных

В начале 2000-х началась эпоха Аналитики 2.0, открывшая перед нами мир больших данных. Они во многих отношениях были новинкой — зачастую гораздо объемнее и сложнее, чем данные, которые использовались в эпоху Аналитики 1.0, и при этом необязательно так же структурированные. Большие данные могли включать в себя все что угодно — от документов, фотографий и видео до сенсорных данных. Множество больших данных, используемых для анализа, поступают из внешних источников, например социальных сетей. Несмотря на свое внешнее происхождение, они могут оказаться очень ценными.

Сегодня, в эпоху Аналитики 2.0, как видно на рис. 1.2, мы обнаружили, что для обработки больших данных и выполнения разнообразных аналитических процессов нам нужны новые аналитические технологии и новые вычислительные возможности. В результате из забвения на свет вышли такие технологии, как Hadoop (о ней мы расскажем позднее), а аналитические процессы были модернизированы, чтобы соответствовать этим новым технологиям. Основное внимание в эпоху Аналитики 2.0 сосредоточено на поиске наиболее дешевых способов сбора и хранения необработанных данных, а уже затем на поиске способов их применения.

Отчетливо выраженным трендом стало недавнее появление «науки о данных», изучающей способы анализа больших данных профессиональными аналитиками, а также такой профессии, как «исследователи данных». Основное различие между ними и традиционными профессиональными аналитиками состоит в выборе инструментов и платформ, используемых для анализа. Традиционные профессиональные специалисты в крупных организациях склонны использовать такие инструменты, как SAS и SQL, для анализа базы данных в окружении реляционной базы данных. Исследователи данных чаще применяют такие инструменты, как R и Python, для анализа данных в окружении Hadoop. Тем не менее эти различия носят тактический и в основном семантический характер. Любой специалист, хорошо разбирающийся в том или другом окружении, легко может переключаться между ними. Несмотря на разные наименования, профессиональные аналитики обладают практически одинаковыми базовыми наборами навыков и складом ума.

В эпоху Аналитики 2.0 профессиональные аналитики хотя и не были включены в процесс принятия решений, но повысили свой статус в организациях до такого уровня, что могут напрямую влиять на принимающих решения лиц. Профессиональные аналитики перестали быть секретным ресурсом, тщательно огражденным от бизнес-сообщества.

Как мы увидим далее в этой главе, многие организации, особенно фирмы, работающие онлайн и в области электронной коммерции, начали разрабатывать коммерческие продукты и услуги, основанные исключительно на данных и аналитике. Первыми это предприняли онлайновые фирмы, они же первыми вступили в эпоху Аналитики 2.0. Одним из самых примечательных примеров является социальная сеть LinkedIn, создавшая такие продукты, как «Люди, которых вы можете знать» и «Группы, которые вам могут понравиться». Такие основанные на аналитике продукты используют информацию, собираемую в рамках управления и поддержания аккаунтов пользователей, и генерируют новую информацию, за которую во многих случаях пользователи платят.

Один из парадоксов Аналитики 2.0 состоит в том, что производимая аналитика зачастую оказывается не очень-то и продвинутой. Отчасти это было обусловлено тем, что объем и сложность данных затрудняют их перевод в пригодный для анализа формат. Отчасти объясняется незрелостью источников данных и аналитических инструментов. При всем поднятом вокруг нее ажиотаже эпоха Аналитики 2.0 по-прежнему в значительной степени опирается на отчетность и описательную аналитику с относительно малыми вкраплениями прогностической и предписывающей аналитики.

Одной лишь Аналитики 2.0 недостаточно

Эпоха Аналитики 2.0 выводит на передний план большие данные и новые возможности для применения аналитики. При этом нецелесообразно создавать отдельные команды, технологии и инструменты исключительно для анализа больших данных. Аналитические процессы должны охватывать любые данные и соответствовать любым требованиям, предъявляемым к аналитике. Вот почему Аналитика 2.0 — это не конечный результат.

Одно из заблуждений, характерных для эпохи Аналитики 2.0, проистекает из того факта, что многие профессиональные аналитики не прошли через эпоху Аналитики 1.0. Многие из них имеют подготовку в области компьютерных наук и пришли в аналитику из технологической сферы. Порой аналитики поколения 2.0 попросту не знают всего того, что делали крупные инновационные компании в эпоху Аналитики 1.0. Как следствие, они могут предположить, что все используемые ими концепции и методики являются совершенно новыми. Иногда это действительно так, но чаще всего нет. Давайте рассмотрим пример, который иллюстрирует эту ситуацию.

Как-то на конференции я услышал выступление одного молодого человека. Не буду называть его имя и компанию, поскольку моя цель — пролить свет на распространенную логическую ошибку, а не поставить кого-то в неловкое положение. Докладчик подробно изложил методы, посредством которых он со своей командой разрабатывал разнообразные аналитические процессы для сайта электронной коммерции его компании. И доводы, и методы были вполне разумными. Компания поступала правильно: например, применяла аффинитивный анализ и совместную фильтрацию для определения того, какие дополнительные продукты могли заинтересовать клиента исходя из истории его прошлых покупок и просмотров. Такого рода анализ традиционные ретейлеры применяли на протяжении многих лет.

Однако докладчик ошибочно заявил, что метод аффинитивного анализа нельзя было применять до появления больших данных и некоторых новых технологий. Он искренне верил в то, что применение широко распространенных алгоритмов открывает новые горизонты, поскольку не имел представления о происходившем на протяжении многих лет в традиционной розничной торговле. Метод аффинитивного анализа оказался в новинку только для этого молодого специалиста (и подобных ему). Парень попросту не знал истории аналитики. Действительно, в атмосфере ажиотажа вокруг больших данных легко предположить, что в прошлом ничего интересного не происходило. К сожалению, из-за такой неосведомленности можно потратить массу времени на выработку давно уже существующих решений, вместо того чтобы заняться более полезным делом.

Эпоха Аналитики 2.0 может многое выиграть, если будет заимствовать знания и опыт из эпохи Аналитики 1.0. Для достижения же максимального успеха организациям следует объединить все лучшее из эпохи Аналитики 1.0 и эпохи Аналитики 2.0, а затем двигаться дальше. Так мы придем в эпоху Аналитики 3.0.

Аналитика 3.0: всеобъемлющая аналитика воздействует максимально

Аналитика 3.0 сосредотачивается на дальнейшем развитии, а не на замене знаний, полученных в эпохи Аналитики 1.0 и 2.0. Подобно тому как Аналитика 2.0 не заменила собой Аналитику 1.0, так и Аналитика 3.0 не заменяет собой других. Аналитика 3.0 сочетает все предыдущие знания, накопленные ранее, в единой схеме деятельности, как это видно на рис. 1.3. Она объединяет традиционную аналитику на основе традиционных данных с новой аналитикой больших данных. Когда организации начали использовать большие данные, они обнаружили, что невозможно выделить аналитику больших данных в полностью автономную функцию. Большие данные — это не просто большие объемы обычных данных, требующие больше аналитики. Они требуют интеграции со всеми остальными процессами. Эпоха Аналитики 3.0 знаменует появление новой — интегрированной и развитой — аналитической парадигмы. Сейчас, в начале 2014 г., мы видим, что лидеры из сферы как традиционного, так и интернет-бизнеса начинают вступать в эпоху Аналитики 3.0. Операционная аналитика — естественное следствие этого тренда.

Причем Аналитика 3.0 вновь привлекает внимание к процессу обнаружения нужных данных. Этот процесс направлен на быстрое обнаружение новых знаний в данных и определение действий, продуктов и услуг, которые можно извлечь из добытых знаний. Полная реализация потенциала, заложенного в процесс обнаружения, требует от многих организаций значительной культурной эволюции. Аналитика должна стать сердцевиной стратегии предприятия, и повышение статуса аналитики должно направляться и санкционироваться сверху. Кроме того, необходимо перестроить существующие аналитические платформы и процессы. Далее в книге мы поговорим о процессе обнаружения данных и об изменениях, которые он потребует.

Разнообразие и новизна типов данных и доступных источников представляют собой один из главных вызовов в эпоху Аналитики 3.0 и в то же время ведут к появлению столь же разнообразных и инновационных аналитических технологий. Новые аналитические методы будут одной из определяющих характеристик эпохи Аналитики 3.0. Власть данных и расширение их обработки в конечном итоге подвигнут организации к широкому применению прогностической и предписывающей аналитики. Хотя потребность в описательной аналитике и отчетности по-прежнему останется, в эпоху Аналитики 3.0 организации наконец-то начнут осуществлять мечту об интегрированной и операционной аналитике. Она будет встроена не только в централизованные крупномасштабные корпоративные системы, но и в операционные приложения, используемые конечными пользователями, например в мобильных устройствах, банкоматах и интерактивных терминалах.

Развивайтесь до Аналитики 3.0

Эпоха Аналитики 3.0 представляет собой последний на сегодняшний день этап развития аналитики. Сочетая в себе все лучшее, что создано в эпохи Аналитики 1.0 и Аналитики 2.0, она развивает аналитику дальше.

Новые архитектуры, требуемые для Аналитики 3.0, добавят организациям сложностей. Аналитика 3.0 делает необходимым наличие параллельной обработки не только в окружении реляционной базы данных, но и в таком окружении, как распределенная файловая система Hadoop. Также может потребоваться смешение различных систем запоминания, графических процессоров и т. д.

Пожалуй, сильнее всего в эпохе Аналитики 3.0 меня, как профессионального аналитика, воодушевляет то обстоятельство, что мои коллеги наконец-то будут объединены в официально оформленную команду, ставшую стратегически значимой частью бизнес-организации. Такую команду возглавит директор по аналитике или как минимум руководитель уровня вице-президента, специалист, который будет курировать всю корпоративную аналитику. Более распространенной станет и должность директора по данным. Эпоха Аналитики 3.0 открывает новый захватывающий мир для профессиональных аналитиков.

Операционализация аналитики посредством Аналитики 3.0

Давайте рассмотрим один из видов анализа, который сегодня применяют многие крупные банки и телекоммуникационные компании. Он направлен на выявление действий, связанных с закрытием счета клиентом, и может проиллюстрировать операционную аналитику эпохи 3.0 в действии. Обратите внимание на то, что новым здесь является не прогнозирование убыли или текучести клиентов как таковое, а расширение сферы анализа и применения его результатов.

В процессе анализа текучести необходимо собирать данные о любых действиях, которые могут быть связаны с закрытием счета. Это касается источников как традиционных, так и больших данных, например истории транзакций, жалоб, запросов по нескольким каналам на аннулирование комиссии, постепенного уменьшения остатка на счете, заявлений в социальных сетях и т. д.

Со временем анализ текучести был усовершенствован, с тем чтобы выявлять определенные шаблоны действий, которые в сочетании гораздо опаснее, чем по отдельности. Такого рода анализ часто называют пат-анализом. Другими словами, не будет большой проблемы, если отклонить запрос на отмену комиссии, сделанный клиентом в тот момент, когда он проверяет свой счет онлайн и видит ее в первый раз. Но если клиент звонит в клиентскую службу и снова просит отменить комиссию, а вслед за звонком наносит визит в офис, то отказ клиенту в его просьбе может существенно повысить риск закрытия счета.

Построение пат-анализа для точного определения пути действий представляет собой довольно сложную задачу. Клиент может обратиться в банк в любое время и по любому каналу, включая колл-центр, филиал банка, чат в режиме онлайн или электронную почту. Банк должен знать, что именно уже произошло, чтобы предпринять правильное действие. Создание операционно-аналитического процесса требует обновления рекомендуемых действий по отношению к каждому клиенту после любого с ним контакта. Например, после того как клиент запросил об отмене комиссии и было принято решение об одобрении или отклонении запроса, эта новая информация должна быть немедленно включена в повторное вычисление правильной реакции во время следующего взаимодействия с клиентом. Отсутствие операционно-аналитического процесса в этом случае может привести к проблемам. Давайте посмотрим почему.

Легко опоздать навсегда

Операционная аналитика позволяет организации принимать наилучшее решение в любой момент времени. Использование же для аналитики данных, которые устарели всего лишь на несколько минут, может привести к неблагоприятным, а то и глубоко ошибочным решениям.

Например, я обращаюсь с просьбой об отмене комиссии в банк, который использует пакетную обработку данных только раз в сутки. Итак, банк получает мой запрос по электронной почте и отказывает мне. Его аналитики определяют, что в моем случае отказ не увеличит риска закрытия счета, и поэтому рекомендуют отклонить мой следующий запрос на отмену комиссии. Эта рекомендация загружается в систему и готова для использования на следующий день.

Назавтра я из машины снова звоню в банк с той же просьбой. Моя просьба отклоняется, как и было запланировано. Но отказ раздражает меня настолько, что я решаю зайти в филиал банка, мимо которого сейчас проезжаю, и лично поговорить с менеджером. Вот где начинаются проблемы. Поскольку обработка данных производится только вечером, то ни руководитель филиала, ни система не знают, что я только что звонил в банк и снова получил отказ. Рекомендация об отказе по-прежнему действует. Только вечером аналитики определят, что филиал должен был удовлетворить мой запрос, чтобы сохранить меня как клиента. Последнее взаимодействие существенно увеличило риск закрытия мной своего счета, однако руководитель филиала не знал об этом, поскольку его не снабдили аналитикой. Это классический пример операционного применения традиционной аналитики, и легко увидеть, почему такой подход может давать сбои.

При использовании же операционной аналитики система обновила бы данные, отразив мой последний звонок, а затем с учетом обновления немедленно выработала бы рекомендации удовлетворить просьбу, и, когда я входил в филиал, его руководитель уже был бы готов сообщить мне об отмене комиссии, благодаря чему я и дальше останусь с этим банком. Если еще несколько минут назад действовала рекомендация об отказе, то мой звонок в клиентскую службу полностью изменил бы представление об адекватной реакции. Ради своего преуспевания банк должен быть способным собирать все данные о взаимодействиях со мной в текущем режиме, а затем после каждого такого взаимодействия запускать аналитический процесс, чтобы правильно совершать свои дальнейшие шаги. Именно так работает операционная аналитика в эпоху Аналитики 3.0. Мой друг Джеймс Тейлор, генеральный директор компании Decision Management Solutions и автор книги «Системы, управляющие принятием решений: Практическое руководство по использованию бизнес-правил и прогностической аналитики» (Decision Management Systems: A Practical Guide to Using Business Rules and Predictive Analytics, 2011), много писал об операционной аналитике. Вот его мнение: «Организации, которые хотят процветать, а не просто выживать, должны преобразовать себя сверху донизу. Высокое качество операционных действий стало обязательным, а путь к такому качеству пролегает через аналитику. В планах каждого руководителя должен значиться переход к принятию каждого решения на основе аналитики и внедрению лучших решений во все операционные процессы».