Аналитика и разведка в организации — чем работать?

Полнота, актуальность и достоверность информации на сегодняшний день являются определяющими факторами для выработки обоснованных стратегий и принятия рациональных тактических решений в сфере управления.

Гигантские объемы данных, накопленные различными информационно-аналитическими системами, только усугубляют основное противоречие последнего десятилетия в этой области: актуальным является оперативность и полнота не столько информационного поиска, сколько процесса контекстного анализа имеющейся информации с целью принятия решения.

АНАЛИТИЧЕСКАЯ РАБОТА И РАЗВЕДКА — СИНОНИМЫ?

В целом суть работы аналитической группы заключается в сборе исходных данных и первичной информации, её обобщении, установлении причинно-следственных связей влияния одних фактов на другие, на основании полученных результатов анализа и имеющегося опыта — агрегирование данных, подготовка аналитических справок, отчетов, и, в конечном итоге — прогнозировании развития ситуации.

Сопоставление всех фактов и установление связей при работе с информацией настолько тонко и неочевидно, что непременно возникает вопрос о существовании элемента творчества и интуиции в работе аналитиков и экспертов.

Под разведкой и аналитической работой мы понимаем любые исследования, которые ведутся по разным предметным областям (политика, экономика, наука, рынки сбыта, конкуренты, бизнес, финансы и т. д.) и сферам деятельности организации (маркетинг, продажи, логистика, производство и т. д.), результаты которых могут (и должны!) быть востребованы для принятия решений руководством организации.

В контексте этой статьи аналитическая работа и разведка — синонимы.

Совокупность массивов необходимой информации, знаний и опыта сотрудников, эффективного аналитического инструментария составляют так называемые корпоративные знания, которые необходимо формировать, иметь и управлять ими для поддержки на высоком уровне основных бизнес-процессов организации, а также для быстрого и адекватного реагирования на динамику рынка.

Один из важнейших компонентов корпоративных знаний — инструментарий аналитика или информационно-аналитическая система.

Нужно отметить, что для решения задач разведки главное не владение информацией, а наличие и совершенствование навыков её использования, правильное понимание круга задач и, соответственно, выбор инструмента аналитика.

ПРИНЦИПЫ ОРГАНИЗАЦИИ АНАЛИТИЧЕСКОЙ РАБОТЫ

Весь процесс сбора, обработки, анализа информации и синтеза знаний представляет собой ряд последовательных мероприятий, повторяющихся от одной цели к другой. Этот процесс получил название разведывательный цикл.

В его состав, как правило, входят следующие основные этапы:

• осознание — выявление внешних признаков происходящих изменений;
• целеуказание и планирование;
• сбор данных и потенциально значимой информации;
• обработка данных (превращение их в информацию);
• структурирование собранной информации (выбор формата и носителей);
• обработка информации — ее анализ с помощью соответствующих методов и инструментов;
• доступ — упаковка и упрощение доступа к информации;
• анализ и синтез информации (превращение в знания);
• использование информации в процессе принятия и исполнения решений;
• распространение полученных знаний.

Собранная информация на первом этапе представляет собой первичные данные, после ее обработки (сортировки, калибровки) она превращается в информацию, и только после анализа информациии синтеза на ее основе выводов экспертов, она становится знаниями, дающими реальную почву руководству для принятия решений.

Важнейшим условием успешной работы эксперта-аналитика является наличие информационного поля исследуемой предметной области, которое должно представлять собой ряд структурированных и неструктурированных информационных массивов, необходимых для извлечения из них необходимых сведений.

Наиболее точная картина будет формироваться, если информационное поле будет включать в себя как данные, получаемые из внешних источников, так и данные, получаемые из внутренних источников.

Основная технология аналитика — это установление причинно-следственных связей между различного рода данными и их исследование под разными углами зрения. Построение причинно-следственных цепочек позволяет обработанные данные обратить в информацию и, сделав выводы в предметной области, синтезировать соответствующие рекомендации для руководства предприятия.

Определив основные принципы организации работы аналитической группы, мы можем сформировать требования к функциональности программных средств, которые должны обеспечить качественную работу аналитиков.

ФУНКЦИОНАЛЬНОСТЬ ИНСТРУМЕНТАРИЯ АНАЛИТИКА

Развитие научных исследований и опытов в областях моделирования деятельности человеческого мозга, создание искусственного интеллекта дали разработчикам математические аппараты для создания ПО в области нейронных технологий, интеллектуального поиска в неструктурированной текстовой информации (Text Mining), системы извлечения данных и систем распознания образов (Data Mining).

Разработки в этих областях привели к созданию технологии управления знаниями (Knowledge Management, KM). Это фактически подвело разработчиков программного обеспечения к автоматизации областей человеческой деятельности, трудно поддающихся формализации, к которым можно отнести и процессы анализа информации.

Объективный анализ современных информационных технологий автоматизации бизнес-процессов организаций показывает, что наиболее полно задачам разведки отвечает КМ-технология.

Большинство программных средств КМ-технологии реализуют, как правило, следующие типичные функции:

• сбор данных из источников различных форматов (БД, неструктурированные источники и т. д.);
• накопление и хранение данных;
• рубрикацию архивов;
• поиск данных, в том числе и нечеткий поиск;
• построение отчетов в различных срезах выборки, в том числе и многомерный анализ данных;
• построение причинно-следственных цепочек данных, позволяющих определять тенденции и направления развития ситуации.

Таким образом, решения в области программного обеспечения для автоматизации процессов аналитики и разведки условно можно классифицировать по ряду признаков.

По функциональности:

• полнофункциональные;
• частичные (реализующие одну или несколько функций КМ-технологии).

По форме представления обрабатываемых данных:

• для работы со структурированными данными (цифровые данные);
• для работы с неструктурированными данными (текстовые, видео, графика);
• комбинированные.

По степени автоматизации логических операций:

• комплексы поиска и сбора данных (поисковые системы);
• аналитические комплексы (содержащие автоматизированные процедуры или методы анализа данных);
• поисково-аналитические комплексы.

В статье автора в журнале «Корпоративные системы» №3 за 2005 г. были достаточно подробно описаны требования к КМ-системам, традиционно используемые в информационно-аналитических системах разведки.

В настоящее время на рынке информационных технологий в области KM и BI (Business Intelligence) представлены в основном компании-разработчики ПО зарубежного происхождения, т. к. на украинском рынке такие разработки не ведутся. Лишь незначительная часть игроков российского рынка ведет разработки в интересах зарубежных заказчиков и может похвастаться собственными разработками в этой области.

Это объясняется несколькими причинами:

• математический аппарат ПО в данной области относится к НИОКР в сфере моделирования искусственного интеллекта, что требует привлечения персонала высочайшей квалификации;
• низкая капиталоемкость ИТ-рынка стран СНГ не позволяет компаниям-разработчикам выделить необходимые инвестиции на НИОКР в данной области.

Таким образом, о полнофункциональных КМ-системах можно говорить только у крупных зарубежных разработчиков (Convera, Documentum, Hummingbird, IBM, FileNet и др.).

Организации, приобретая системы класса КМ, получают мощнейший информационно-аналитический инструмент, который существенно усилит аналитические подразделения и обеспечит руководство информацией для принятия решений, базирующийся на всем объеме знаний организации.

ОБЗОР РЫНКА КМ-СИСТЕМ

Обзор технологических решений на рынке КМ-систем — достаточно сложная и трудоемкая задача. Многие зарубежные КМ-системы не представлены на нашем рынке, более того, не адаптированы для русского (а тем более, украинского) языка. Это достаточно серьезная проблема, т. к. одно из важнейших требований к системе управления знаниями — работа на многих языках (в зависимости от сфер интересов разведки) и особенно — работа в кросс-языковом режиме (см. статью в предыдущем номере журнала).

Для обеспечения работы аналитических групп кроме КМ-систем могут также использоваться информационно-поисковые системы.

В связи с этим мы попытались представить основные предложения на рынке Украины и СНГ, основных игроков в данных группах, описать возможности, особенности и состав комплексов с учетом языковой поддержки для обеспечения работы на многих языках и, особенно, на украинском и русском. Анализ выполнялся по открытым источникам и Internet.

Решение от Convera

Американская компания Convera Technologies International Ltd. (www.convera.com), ранее — Excalibur, по данным отчетов Garthner Group уже много лет является мировым лидером в области разработки технологий поиска информации и извлечения знаний из текстов и мультимедиа данных любой природы (текстовые, графические, звук, фото- и видеоизображения в файлах практически всех известных форматов).

Решение: Convera RetrievalWare (RW) — промышленная аналитическая платформа управления знаниями — оптимальное решение для организации, интеграции информационных массивов, поиска и обнаружения скрытых неочевидных знаний. Быстрая и гибкая система работает вне зависимости от точки доступа, с различными типами и хранилищами данных и с разными языками.

Применение:

• создание единого информационного пространства для обеспечения эффективной аналитической работы всех групп пользователей;
• информационная и конкурентная разведка;
• анализ и создание баз по материалам СМИ;
• распространение результатов персонализированных запросов между пользователями;
• создание специализированных территориально-распределенных систем;
• обеспечение информационной безопасности предприятия (мониторинг и маршрутизация e-mail, служебных каталогов и пр.);
• маршрутизация и классификация входной электронной почты крупных структур;
• обеспечение сотрудников предприятия неограниченной информацией из Интернета без непосредственной работы в сети (информация с заданных узлов Интернета доставляется в локальную сеть предприятия и непосредственно на рабочие места сотрудников);
• ретроконверсия документов (перевод в электронный вид), их классификация и ранжирование, создание и управление электронными архивами предприятий;
• обеспечение поиска информации на крупных Интернет-порталах, магазинах и т. д.;
• ввод, хранение, поиск и извлечение аудио- и видеоинформации;
• выполнение анализа полноты имеющейся информации;
• создание информационных баз данных на компакт-дисках и многое другое.

Развитая система безопасности, наследующая свойства безопасности источников информации, позволяет использовать RW как средство создания территориально-распределенных информационно-аналитических систем практически для неограниченного количества пользователей.

Лингвистическая поддержка обеспечивается на основе:

• семантических сетей, которые представляют объекты реального мира как связанные между собой понятия с их отношениями и взаимосвязями;
• классификаторов (таксономий и онтологий), создающих разветвленные каталоги понятий и объектов анализа;
• тезаурусов — списков с системой перекрестных ссылок, необходимых для организации коллекций документов при их отыскании, отображении и хранении.

Состав комплекса:

• RW Internet Spider — специальное приложение для поиска в обозначенных областях Интернет и Интранет;
• RW WebExpress — специальное приложение для обслуживания провайдеров, обеспечения поиска по содержимому web-сайта и электронной торговли через Интернет;
• RW CDExpress — приложение для создания портативных баз данных на компакт-дисках, содержащих поисковой механизм RW;
• ScreeningRoom — средство управления архивом, позволяющее наряду с визуальным поиском выделять из видеоизображений текст, соответствующий субтитрам или телетексту и преобразовывать в текст, сопровождающий аудиодорожку, существует возможность создавать аннотацию к видеосюжетам storyboard;
• RetrievalWare SDK и Visual RetrievalWare SDK — средства для системных интеграторов и разработчиков программных систем, использующих решения компании Convera, которые позволяют разрабатывать дополнительные функциональные возможности к RW для обеспечения решения задач конкретной организации.

Решение от Hummingbird

Канадская компания Hummingbird, Inc (www.hummingbird.com) — один из лидеров в области разработки корпоративных решений для предоставления расширенного доступа к бизнес-информации и ресурсам предприятия.

Решение: полнофункциональный программный комплекс для управления информационными ресурсами предприятия Enterprise Information Management System (EIMS), который включает в себя линейку программных продуктов, реализующих те или иные функции КМ-технологии.

Применение:

• распределение и оперативная доставка корпоративной информации;
• обмен данными и аналитическими приложениями между пользователями;
• обработка и составление отчетов;
• обеспечение доступа ко всей бизнес-информации и ресурсам предприятия;
• управление документами и знаниями;
• профессиональная обработка запросов, составление отчетов и многое другое.

Состав комплекса:

• Hummingbird KM (управление знаниями) — предоставляет пользователям и проектным группам возможность интегрировать информационные репозитории для поиска информации и анализа документации;
• Hummingbird BI (бизнес-аналитика) — позволяет пользователю формулировать вопросы о данных и объединять результаты в отчетах, выполнять многомерный (OLAP) анализ данных и получать аналитическую информацию по различным категориям;
• Hummingbird DM (решение по документообороту) — оптимизирует процессы, связанные с получением, обменом, коллективным использованием и обеспечением защиты корпоративных информационных ресурсов, выраженных в виде электронных документов;
• Hummingbird RM (управление записями) — создает среду для управления полным жизненным циклом всех информационных активов корпорации;
• Hummingbird Collaboration (среда коллективной работы) — предназначена для системы управления корпоративной информацией;
• Hummingbird Portal (портал) — создан для управления документами и корпоративной информацией, интеллектуальными активами, доступом к главному хранилищу и работой в сетевой среде, для управления взаимодействием и т. п.

Языковая поддержка: русский, китайский, японский, корейский, основные европейские языки. Кросс-языковости нет.

Решение от NeurOK

NeurOK (www.neurok.ru) — российско-американская группа высокотехнологичных компаний, которая поставляет готовые решения и выполняет заказные проекты по созданию информационно-поисковых систем управления знаниями на основе платформы NeurOK Semantic Suite.

Решение: NeurOK Semantic Suite позволяет организовать отслеживание, организацию и управление информационными потоками и массивами. Оригинальная технология распознавания тематического контекста обеспечивает автоматизацию многих рутинных процессов обработки информации.

Применение:

• автоматическая рубрикация информации и аннотирование каталогов;
• автоматическое создание каталогов;
• автоматический мониторинг обновлений и новостей;
• структурирование, анализ и обобщение данных;
• прогнозирование и оптимизация процессов;
• распознавание образов;
• интеграция с базами данных;
• создание интеллектуальных поисковых систем;
• поиск документов по подобию.

Состав комплекса:

• Semantic Teacher — специализированный редактор каталогов;
• Semantic Miner — компонент для автоматического создания тематического каталога;
• Semantic Explorer — система визуализации содержания текстовых коллекций и навигации в них, иерархия тематических категорий облегчает работу с текстовыми массивами, являясь своеобразным оглавлением баз данных;
• Semantic Annotator — модуль выявляет и отмечает в документе наиболее значимые термины и фразы, в максимальной степени отражающие содержание документа;
• Semantic Scanner — программный робот с широким выбором настроек, автоматически отслеживает обновления в источниках информации (web-страницы или новостные ленты информационных агентств).

Языковая поддержка: русский, возможны адаптация системы для других языков. Кросс-языковости нет.

Решение от «Информбюро»

Российская компания «Информбюро» (www.informburo.net) предоставляет широкий спектр информационно-аналитических и маркетинговых услуг, а также решений в области информационных технологий для различных субъектов рынка и структур.

Решение: программный комплекс Intellectum. BIS предназначен для обеспечения автоматизированного управления информационными ресурсами предприятия. В основном продукт ориентирован на аналитические подразделения предприятий и организаций различных отраслей и видов деятельности.

Применение:

• сбор данных из источников различных форматов (БД, неструктурированных источников, web-ресурсов и т. д.);
• накопление и хранение данных, их каталогизация;
• поиск данных, в том числе и нечеткий поиск;
• рубрикация архивов;
• построение отчетов в различных срезах выборки;
• построение причинно-следственных цепочек данных, позволяющих определять тенденции и направления развития ситуации.

Состав комплекса:

• сервер комплекса — обеспечивает обработку процедур в рамках группы пользователей (по умолчанию рассчитан на пять пользователей);
• клиентское место — интерфейс работы пользователя с комплексом, реализованный на технологии «web-клиент»;
• модуль администрирования — реализует функции администрирования комплексом по разграничению прав и возможностей клиентских мест, приема и обработки поступающих данных, доставки информации к удаленным клиентским местам;
• модуль приема информации — реализует функции приема информации от различных источников, распознавания формата документа и источника поступления информации, разбития информации на статьи (если это текстовые данные), ввода информации в хранилище данных;
• почтовый робот — реализует функцию взаимодействия комплекса с почтовой системой по приему информации от различных источников;
• интернет-робот WEBHunter — реализует функцию сбора информации с заданных web-ресурсов с заданной периодичностью.

Языковая поддержка: русский (других данных ет). Кросс-языковости нет.

Решение от «Галактики»

Корпорация «Галактика» (www.galaktika.ru) — один из ведущих российских разработчиков комплексных решений в области автоматизации управления производственно-хозяйственной и финансовой деятельностью предприятия.

Решение: Galaktika-Zoom — автоматизированная система поиска и аналитической обработки информации, объединяющая функции корпоративного хранилища информации, добычи данных и аналитической обработки больших массивов информации.

Применение:

• поиск и формирование информационных массивов по конкретным аспектам исследуемой проблематики, осуществляемый по ключевым словам с учетом их морфологии;
• анализ объективных смысловых связей отобранных данных,
• получение «образа» проблемы — моментальной многомерной фотографии в информационном потоке в форме ранжированного списка значимых слов, употребляемых совместно с темой проблемы;
• сравнение нескольких состояний проблемы, выявление закономерностей и тенденций (или частностей и случайностей) динамики развития изучаемой проблемы.

Языковая поддержка: русский (других данных нет). Кросс-языковости нет.

Решение от «Гарант-Парк-Интернет»

RCO Research Group (www.rco.ru) — подразделение российской компании «Гарант-Парк-Интернет», которое занимается апробацией и внедрением новых подходов к построению компонентов информационно-поисковых систем.

Решение: торговая марка RCO объединяет продукты и решения, которые предназначены для внедрения в базы данных и информационно-поисковые системы и позволяют задействовать широкий арсенал лингвистических и аналитических средств для решения прикладных задач, требующих компьютерной обработки документов на естественном языке.

Применение: создание информационно-поисковых и аналитических систем, работающих с электронными документами на русском языке.

Состав комплекса:

• RCOfor Oracle — продукт, расширяющий возможности OracleText при работе с базами данных, содержащими документы на русском языке;
• RCO for BackOffice — продукт, расширяющий возможности Microsoft BackOffice (MS Share-Point Portal, MS Indexing Service, MS Exchange Server и MS SQL Server) при работе с документами на русском языке, обеспечивая поиск с учетом всех грамматических форм слов на основе морфологического анализа;
• RC WEB — поисковая система, обладающая возможностями как контекстного, так и реляционного поиска. Russian Context позволяет искать документы с учетом морфологии русского и английского языков, используя SQL-подобный язык запросов и комбинируя поисковые ограничения на контекст с ограничениями на заданные атрибуты документов. Продукт работает в среде Windows;
• RCO Morphology — продукт позволяет включить русскую морфологию в системы информационного поиска. Поставляется в виде динамической библиотеки (dll) для Windows;
• RCO Thesaurus Search — продукт позволяет включить тезаурус русского языка в информационно-поисковые системы для повышения полноты поиска;
• RCO Semantic Network — продукт предназначен для разработчиков информационно-поисковых и аналитических систем и позволяет выявить ключевые понятия документа, в том числе наименования персон и организаций, с ассоциативными связями между ними на основе грамматического и статистического анализа текста, а также получить несколько видов рефератов документа;
• RCO Pattern Extractor — продукт предназначен для анализа текста и распознавания в нем различных объектов в соответствии с образцами, заданными на формальном языке;
• RCO TopTree — продукт предназначен для автоматической классификации и построения иерархических рубрикаторов по заданному множеству произвольных объектов, характеризуемых набором атрибутов;
• RCO KAOT — информационно-аналитическая система для работы в локальной сети на базе MS Windows и MS Internet Information Server, которая реализует комплекс функций интеллектуального анализа и поиска текстовой информации с поддержкой Web-интерфейса пользователя;
• RCO Fact Extractor — персональное приложение для Windows, которое предназначено для аналитической обработки текста на русском языке и выявления фактов различного типа, связанных с заданными объектами — персонами и организациями.

Языковая поддержка: русский и английский, в мае 2005 г. планировалось подключить украинский. Кросс-языковости нет.

Решение от «Интегрум-Техно»

Российское информационное агенство «Инте-грум» (www.integrum.ru) предлагает широкий спектр услуг по информационному обеспечению бизнеса: доступ к электронным архивам, профессиональные инструменты мониторинга и анализа информации, готовые информационные продукты.

Решение: технология с использованием информационно-поисковой системы «Артефакт».

Применение: для накопления и хранения больших объемов текстовой и графической информации с целью выполнения эффективного поиска по всей коллекции накопленных баз данных.

Лингвистический аппарат основан на морфологическом словаре А. А. Зализняка.

Размер отдельной базы данных ограничивается лишь операционной средой пользователя и аппаратным обеспечением. Реализован многобазовый поиск в неограниченном числе БД одновременно. Существует возможность объединения БД в группу. Для каждой базы данных можно создать краткое описание, что облегчит работу с ней конечного пользователя.

Состав комплекса:

• интерфейсное веб-приложение;
• модуль универсального интерфейса поиска;
• диспетчер;
• планировщик;
• поисковый модуль;
• модуль работы с базами данных и индексом.

Языковая поддержка: русский, английский и другие европейские языки. Кросс-языковости нет.

ЗАКЛЮЧЕНИЕ

Анализ программных средств, представленных на рынке, демонстрирует широкий выбор возможностей использования средств для автоматизации аналитической деятельности. Основными факторами, определяющими выбор того или иного программного продукта, являются:

• цели и задачи аналитического подразделения;
• объем и состав обрабатываемой информации;
• размеры предприятия;
• стоимость программных решений, удовлетворяющих вышеперечисленным требованиям и имеющийся бюджет.

Как уже отмечалось выше, наибольшими возможностями по сбору информации и извлечению из нее знаний будут обладать полнофункциональные программные комплексы, так как они обеспечат аналитику целостную информационную картину, пополняемую как внешними источниками, так и внутренней информацией предприятия.

Однако не следует думать, что на выполнение бизнес-разведки способны только крупные корпорации и концерны.

Во-первых, сила действия всегда равна силе противодействия, то есть величина компании и ее возможности по влиянию на рынок, на котором она работает, будут прямо пропорциональны количеству информации, необходимой для аналитической обработки. И если крупному предприятию необходимо учитывать макроэкономические факторы, политическую ситуацию, состояние мировой экономики, состояние отраслей поставщиков сырья и комплектующих, то малое предприятие может ограничиваться мониторингом рынка, конкурентов, правовой и налоговой базы для принятия правильных управленческих решений.

Во-вторых, существует достаточное количество программных средств, имеющих модульную структуру, которая позволит на начальном этапе использовать минимально необходимую недорогую функциональность, дополняемую организационными мерами, с возможностью наращивания мощности комплекса по мере роста бизнеса предприятия. В этом случае важно правильно распределить приоритетность наращивания информационных задач.

В качестве первого шага в направлении создания регулярной бизнес-разведки можно предложить анализ открытой прессы, поставленный на регулярную основу и имеющий вполне определенные цели: мониторинг действий конкурентов, мониторинг состояния отрасли. Трудно найти делового человека, который не следит за новостями. Но мало кто понимает, что данное занятие, поставленное на систематическую основу и имеющее определенные цели получения информации, является составной частью разведывательного цикла, или, говоря более простым языком, информационно-аналитической работы.

Простое систематическое «чтение» прессы (если хотите — «мониторинг прессы», «пресс-клиппинг») позволяет получить массу информации, имеющей практическую ценность для ведения бизнеса. Какие мониторинги могут выполняться обычным представителем малого бизнеса и что они ему дают? В качестве элементарных — мониторинг упоминаний предприятия и его конкурентов в СМИ.

Какие программные средства помогут предпринимателю в этом? На первом этапе достаточно установить у себя поисковые комплексы и наладить канал поступления информации в них. Такое простейшее решение при определенных навыках анализа информации и работы с поисковым комплексом даст значительный результат. Причем он будет тем качественнее, чем больший массив информации будет привлекаться для работы.

При выборе комплекса необходимо принимать в расчет возможность дальнейшего наращивания его мощности и функциональности, качество его технического сопровождения и перспективы в будущем (устойчивость компании-разработчика). Правильный учет указанных факторов даст гарантии предприятию, что инвестиции на автоматизацию аналитической деятельности не будут выброшены на ветер, а выльются в конкурентное преимущество компании, обеспечат рост бизнеса, снизят риски хозяйствования.

Об авторе:

Комов Сергей Анатольевич — директор по развитию бизнеса, «ЭйЭнТи».