Информационно-аналитическая система «Семантический архив

      Поскольку транзакционные источники  данных, как правило, не согласованы  друг с другом, то для анализа  таких данных требуется их  объединение и преобразование. Поэтому на следующем этапе решается задача консолидации данных, их преобразования и очистки, в результате чего данные поступают в так называемые аналитические базы данных. Аналитические базы данных, будь то хранилища данных или витрины данных, и есть те основные источники, из которых аналитик черпает информацию, используя соответствующие инструменты делового анализа.

      При этом информационно-аналитическая  система среднего и крупного  предприятия или организации  должна обеспечивать пользователям  доступ к аналитической информации, защищенной от несанкционированного  использования и открытой как  через внутреннюю сеть организации, так и пользователям сети интранет и Интернет. Таким образом, архитектура современной информационно-аналитической системы насчитывает следующие уровни:

1) сбор и первичная обработка  данных;

2) извлечение, преобразование и загрузка  данных;

3) складирование данных;

4) представление данных в витринах  данных;

5) анализ данных;

6) Web-портал.

 

3 Информационно-аналитическая  система «Семантический архив

 

3.1 Понятие и принципы  ИАС «Семантический архив»

 

Информационно-аналитическая система «Семантический архив» представляет собой инструмент для создания интегрированного хранилища информации с возможностью хранения досье на объекты мониторинга, происходящие события и текстовые документы.

  Система позволяет хранить информацию, импортированную из различных  реляционных баз данных, вводить  информацию из любых других  источников: Интернет, СМИ, базы данных, он-лайн библиотеки, любой документ, собственные сведения аналитика и пр..

Это дает возможность объединять информацию, содержащуюся в различных документах и различных базах данных в досье на объекты.

В созданном хранилище пользователи-аналитики имеют возможность искать информацию, добавлять данные, выявлять взаимосвязи между объектами и событиями, генерировать аналитические отчеты, строить схемы взаимодействий между участниками исследования.

Важной особенностью системы «Семантический архив» является возможность автоматического и автоматизированного выделения основных объектов информации (персон, компаний и др.) и «смысловых фрагментов», содержащихся в тексте документов. К ним относятся выполняемые компаниями контракты, объявляемые тендера, встречи персон, кадровые перестановки в организациях и т.д.

Система позволяет строить стратегические семантические сети, имеет расширенные возможности по созданию различных отчетов, а также включает в себя модули по автоматическому сбору информации из Интернет: Искатель, Мониторинг и Мониторинг плюс.

Этап сбора информации обеспечивают следующие модули и утилиты:

• Мониторинг. Обеспечивает автоматический сбор новостей (в том числе и по ключевым словам/фразам) с настроенных новостных сайтов (Lenta.ru, RBC, Ведомости, блоги, форумы, Twitter и т.д.) и интернет поисковиков (Yandex, Google, Rambler и т.д). Модуль имеет удобный интерфейс и легок в освоении. Может поставляться с уже настроенными шаблонами как на наиболее известные и популярные Интернет-ресурсы, так и на отраслевые сайты (всего более 200).
• Мониторинг плюс. Предназначен для скачивания не отдельных новостных страниц, а всего сайта - целиком с картинками, файлами и пр. Сайт помещается в базу MS SQL 2008 и там индексируется.
• Искатель. Предназначен для автоматизации поиска сайтов и отдельных документов в сети Интернет (Yandex, Google, Bing, Yahoo, Rambler и др.), содержащих упоминания ключевых слов. С помощью данного модуля можно быстро получить подборку материалов по какой-либо проблеме/тематике.

Модуль импорта данных из различного вида структурированных БД (MS SQL, Oracle, Кронос и т.д.)

Модуль импорта данных из почтовых программ (MS Exchange/Outlook, Lotus Notes и других)

Утилита добавления документов. Обеспечивает вставку выделенного текста пользователем непосредственно прямо в БД «Семантического архива».

"Семантический  архив" имеет модульную структуру, что позволяет легко подобрать  и настроить нужную конфигурацию  системы.

Новая версия системы  4.0 выпущена в 2011 г. Система была полностью переведена на новую платформу, улучшен интерфейс и юзабилити. Система написана на C# с использованием .NET Framework. В качестве СУБД используется MS SQL Server 2008/2012. Для интеграции со сторонними продуктами и подключения дополнительных компонентов, созданных сторонними разработчиками, имеет SDK (с подробной документацией и примерами). Подходит к завершению разработка web-версии системы. 

В новой версии упор делается на разработку платформы управления интернет роботами, отчетных форм, работе с графиками и геокартами,  автоматизации выделения событий и фактов и ряде других новых функций.

Принципы системы представлены на рис. 2.

 Рисунок 2 - Принципы работы системы

 

3.2 Возможности системы

 

ИАС <Семантический Архив> выполняет сразу несколько функций:

• Мониторинг и автоматический сбор информации из Интернет и других открытых источников (СМИ, аналитические отчеты,социальные сети, форумы,  онлайн базы и др.);
• Объединения разнородных баз и банков данных в единую систему и поиск в ней информации по объектам интереса (персонам и организациям);
• Автоматическая обработка текстовых документов, выделение из них объектов интереса (персон, компаний, брендов и пр.) и связанных с ними фактов/событий;
• Полнотекстовый и объектный поиск, с помощью которого достигается высокая точность результатов;
• Быстрое выявление неявных (опосредованных) связей между объектами и связанными с ними фактами и событиями;
• Визуализация аналитических исследований в виде дайджестов, досье (бизнес-справок), семантических схем, графиков, геокарт и других видах отчетов.

Весь этот набор функций позволяет решать одну из основных задач - автоматизация проведения аналитических исследований.

  Помимо документов и таблиц  с данными, в едином информационном  хранилище хранятся карточки  на объекты, упомянутые в документах, карточки на отношения и действия  этих объектов в различные  моменты времени. По сути, шаблоны  карточек - это аналог таблиц в  реляционных базах данных, а сами  карточки - аналог записей в этих  таблицах.

  Поиск нужной информации в  основном происходит с помощью  поиска по полям карточек:

<кто купил акции>,

<где  проводилась встреча>,

<когда  произошел разрыв отношений>.

Достигается это путем особой обработки документов, сводящейся к автоматическому извлечению из текста фактов упоминания объектов и автоматизированному извлечению (с участием специально подготовленных пользователей - операторов) упоминаемых в тексте отношений и действий. Так как свойства карточек индексируются системой, поиск в таком архиве происходит практически мгновенно.

  Компания <Аналитические бизнес  решения> разработала базу данных <События на металлургическом  и нефтегазовом рынках>. Она  поставляется вместе с ИАС <Семантический  Архив> . В базе данных хранятся электронные версии статей из СМИ, досье на ведущие компании и персоны, отношения между ними и события, происходившие с ними за последние два года.

 

3.3 Отличительные  особенности системы

 

Основные отличия от аналогичных систем, представленных на российском рынке:

• организация хранения не только документов, но и объектов мониторинга, событий, данных из внешних баз данных в едином информационном хранилище;

• функция "автовыделение знаний" - выделение фактов упоминания объектов, отношений и событий из текста документов;

• хранение и представление классификации объектов, отношений и событий в объектно-ориентированном виде (в виде дерева объектов)

• визуализация знаний в виде семантической сети

• возможность поиска неявных (опосредованных) связей между объектами

• предоставление профессионального языка объектных запросов (ODL) для аналитиков, который позволяет конструировать запросы произвольной сложности

• предоставление возможности изменения структуры хранилища в процессе эксплуатации пользователям-аналитикам (без привлечения программистов)

  • развитые средства генерации  отчетов, позволяющие формировать  полноценные отчеты по заранее  разработанным шаблонам

 

 

Заключение

 

Информационно-аналитическая система (ИАС) «Семантический архив» представляет собой инструмент для создания интегрированного хранилища информации с возможностью хранения досье на объекты мониторинга, происходящие события, а также текстовые документы.

Система позволяет хранить информацию, импортированную из различных реляционных баз данных, вводить информацию из любых других источников: Интернет, СМИ, базы данных, он-лайн библиотеки и системы (Спарк, Интегрум и др.), любой документ,   собственные сведения аналитика  и пр. 

Это дает возможность объединять информацию, содержащуюся в различных документах и различных базах данных. Гибко настраиваемая онтологическая модель данных позволяет работать с разными тематиками и  сферами деятельности.

Созданное хранилище служит аналитикам для поиска информации, добавления конфиденциальных собственных данных,  выявления взаимосвязи между объектами и событиями, получения аналитических отчетов, схем, графиков и карт.

Пользователями системы являются:

• маркетинговые службы коммерческих компаний

  • службы экономической безопасности  компаний 

• отделы продаж

  • аналитические службы 

• PR-службы

Информационно-аналитическая система «Семантический архив» является одной из самых распространенных систем анализа СМИ и конкурентной разведки в России и странах СНГ. За три последних года система внедрена более чем в 50 коммерческих компаниях и государственных организациях, среди них Альфа-банк, Лукойл-Оверсиз, Дальсвязь, Ситуационный Центр Губернатора Санкт Петербурга, Трансмашхолдинг, РОЭЛ-групп, ОАО РЖД, МВД РФ, Счетная Палата РФ и др. Система является современным аналогом систем Кронос, Крос и i2 Analyst Notebook. 
Задача 1

Предприятие выпускает 2 вида продукции А и Б. Ресурсы предприятия ограничены (Таблица 1). Известны также удельные нормы расходов каждого вида ресурсов на производство единицы каждого вида изделий, прибыль от реализации одной единицы изделия. Составьте оптимальный план производства, обеспечивающий максимум прибыли предприятию.

Таблица 1. Вариант 3

Ресурсы	Нормы затрат ресурсов на единицу продукции		Запасы ресурсов
	А	Б
Затраты труда	9	29	14563
Сырье	19	38	9223
Оборудование	29	38	12136
Прибыль на 1 ед. продукции	582	970

 

В нашем случае предприятию оптимизировать производство, чтобы максимизировать прибыль. Поэтому переменными являются х1 – количество продукта А, х2 – количество продукта Б. суммарная прибыль от производства: z=582*х1+970*х2.

Целью предприятия является определение среди всех допустимых значений х1 и х2 таких, которые максимизируют суммарную прибыль, т.е. целевую функцию z.

Перейдем к ограничениям, которые налагаются на х1 и х2. Объем производства продуктов А и Б не может быть отрицательным. Нормы затрат ресурсов на продукцию не может превосходить максимально возможный запас данного исходного продукта.

Таким образом, математическая модель данной задачи имеет следующий вид:

Максимизировать

z=582*х1+970*х2

при следующих ограничениях:

9*х1+29*х2<=14563

19*x1+38*x2<=9223

29*x1+38*x2<=12136

Данная модель является линейной, т.к. целевая функция и ограничения линейно зависят от переменных.

Решим данную задачу с помощью команды Данные, Поиск решения. Выберем команду Данные, Поиск решения и заполним открывшееся диалоговое окно Поиск решения (Solver), как показано на рис. 1.

Рисунок 1 -  Диалоговое окно Поиск решения задачи о максимизации прибыли на предприятии