Области применения современных информационных технологий

     Начинают  широко использоваться в различных  областях глобальные и локальные компьютерные сети. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

2. Функции информационных технологий и их классификация

2.1 Функции современных  информационных технологий 

     Информационная  технология обеспечивает следующие функции по обработке и анализу текстовой информации на естественных языках:

     - вычислительное формирование системы  наукоемких вторичных информационных  ресурсов, характеризующих тематику  и содержание текстовых документов  – словарей лемм – идентификаторов  грамматически нейтральных форм  слов документов (словарные лингвистические  модели текстов) и списков ключевых  слов с весами (словарные модели  семантики текстов), характеризующих  тематику и содержание документов;

     - контекстный поиск документов  по заданному числу слов из  сформированного пользователем  списка слов. Возможен поиск по  трем категориям слов – словам, входящим в текст, ключевым  словам текста, «главным» ключевым словам текста;

     - вычислительное построение модели  семантики текста в форме аннотации,  сформированной из фрагментов анализируемого документа;

     - поиск текстов, содержательно  и тематически сходных с выбранным пользователем образцом;

     - вычислительное формирование моделей  семантики текстовых коллекций  (групповых – вычислительное  определение наличия и состава  тематически однородных групп  документов в текстовой коллекции  при отсутствии априорной информации  о наличии и составе таких  групп, так называемая кластеризация  текстовых коллекций, и словарных  семантических моделей в форме  списков слов, тематически связанных  в рамках конкретной анализируемой  коллекции),

     - вычислительная категоризация документов  на основании моделей семантики  текстовых коллекций и моделей семантики отдельных текстов;

     - семантическая навигация в рамках  текстовых коллекций на основании  моделей семантики коллекций.

     Анализ  и поиск текстовой информации в технологии основан на использовании  наукоемких вторичных информационных ресурсов – моделей семантики  отдельных документов, вычислительно  сформированных в форме списков  «ключевых» слов по первичным информационным ресурсам – текстам на естественных языках. Как это делается?

     1.Лемматизация  документов: Информационная технология использует в качестве исходного «материала» для построения семантических моделей текстовых документов лемматизированный словарный состав документа.

     Лемма слова – это идентификатор  грамматически нейтральной формы  слова. В наших проектах используется оригинальный алгоритмический лемматизатор, основанный на формальном описании знаний о морфологии языка в определенном стандарте представления соответствующих  знаний. Поэтому процесс «подключения»  новых европейских языков требует  только создания необходимого описания соответствующего языка.

     2.Вычислительное  построение ключевых слов текстов  на естественных языках: Эффективная организация поиска и анализа информации в рамках информационной технологии основана на использовании  наборов ключевых слов, являющихся носителями основной тематики и содержания текстов – результатах автоматического смыслового индексирования – наукоемкого вычислительного анализа текстов на естественных языках.

     Наборы  ключевых слов документов являются основным типом наукоемких вторичных информационных ресурсов, автоматически формируемых  в ходе загрузки текстовых документов в хранилище данных, используемое информационной технологией.

     Задача  вычислительного определения ключевых слов текстов на естественных языках с пятидесятых годов двадцатого века привлекала математиков, программистов, специалистов в области анализа  данных, лингвистов и психологов. К сожалению, господствующие сегодня подходы к решению проблемы извлечения смысла текста, сформировавшиеся в эпоху кибернетического романтизма, не дают достаточно надежного и универсального предметно независимого решения.

     Информационная  технология основана на оригинальном вычислительном решении этой классической задачи: на формировании моделей семантики  отдельных документов в форме  списков «ключевых» слов с весами. Слова, входящие в такие списки слов, в нашей технологии формально  определяются как наиболее сильно связанные  в конкретном документе в некотором  комбинаторном смысле. Оказалось, что  вычисляемые множества слов являются уникальными, устойчивыми и воспроизводимыми характеристиками документа, а разумный читатель воспринимает их в качестве носителей основной тематики и содержания текста.

       Последнее свойство наборов «ключевых»  слов, формируемых в результате  формальных вычислений, доказывает  их содержательность (так называемое  свойство интерпретируемости) и  обосновывает возможность именовать  их ключевыми словами без кавычек.

     Основные  свойства моделей семантики отдельных  документов в форме списков «ключевых» слов:

     - Уникальность – содержательно  близким текстам соответствуют  близкие списки ключевых слов с весами;

     - Устойчивость – при незначительных  изменениях текста списки ключевых  слов с весами меняются незначительно;

     - Воспроизводимость – для произвольного  текста вычисленный при неизменных  условиях список ключевых слов с весами всегда неизменен;

     Для вычислительного построения моделей  семантики отдельных документов в форме списков «ключевых» слов необходимы:

     - текст документа;

     - репрезентативная для языка, на  котором написан документ, коллекция документов;

     - знания о морфологии языка  документа, представленные в определенном формате.

     При построении моделей семантики отдельных  документов в форме списков «ключевых» слов при желании пользователя могут  быть учтены:

     - словарь слов, воспринимаемых пользователем в качестве синонимов;

     - словарь устойчивых словосочетаний, воспринимаемых пользователем в  качестве единого означающего  для определенных объектов.

     3.Поиск  содержательно похожих документов:

     В информационной технологии поиск содержательно  похожих документов использует анализ наукоемких вторичных информационных ресурсов документов – сравнение  списков ключевых слов с весами. Результатом такого сравнения является количественная оценка смысловой близости пары документов. При этом значению единица (100%) соответствует полное смысловое  совпадение, а значению ноль – отсутствие смысловых совпадений. Поиск содержательно  похожих документов может выполняться  по желанию пользователя или в  рамках определенных фиксированных  сценариев работы, например, для  автоматического построения списков  подозрительно схожих документов, так  называемых «тревожных списков».

     В обоих случаях задается документ – образец, для которого отыскиваются содержательно схожие документы. Оценивание смысловой близости является достаточно трудоемкой вычислительной процедурой. Поэтому для ограничения потребностей системы в вычислительных ресурсах выполняется предварительный поиск  «подозрительных» документов, содержащих ключевые слова документа – образца, на основании которых формируется  задание и запрос на поиск. По результатам  вычислений попарных оценок смыслового сходства образца и найденных  документов формируется невозрастающий по величине оценки содержательного  сходства с образцом отчет о результатах  поиска.

     Контекстный поиск по заданному числу слов из сформированного пользователем  списка слов с использованием моделей  семантики отдельных документов в форме списков ключевых слов.

     Основная  для традиционных поисковых систем функция – контекстный поиск (поиск документов, в которых встречаются  слова запроса), реализована и  в информационной технологии. Возможности нашей технологии позволили сделать эту стандартную функцию более удобной и комфортной для пользователя по сравнению с реализацией контекстного поиска в популярных поисковых системах.

     Пользователю  предоставлен выбор: осуществлять контекстный  поиск среди всего словарного состава документов, среди рассчитанных ключевых слов, которые являются носителями основного содержания и тематики документа, или среди «главных» (самых  значимых) ключевых слов.

     Пользователь  имеет возможность задать в качестве запроса набор слов в произвольной грамматической форме (поиск выполняется  по леммам слов) и указать пороговое  число слов из запроса. При наличии  в документе числа слов из запроса  не меньше порогового, идентификатор  документа включается в отчет  о результатах поиска. Отчет упорядочен по невозрастанию числа слов из запроса  в документах (первым в отчете приводится ссылка на документ, использующий максимальное среди других найденных документов число слов из запроса). Это позволяет  пользователю обойтись без написания  запроса объемом в страницу или  больше в виде логических формул. При  равенстве числа слов в запросе  и пороговой величины для числа  слов из запроса, реализуется стандартный  вариант контекстного поиска.

     4.Построение  моделей семантики документа  в форме аннотаций:

     Формируемые при использовании информационной технологии в результате формальных вычислений списки ключевых слов текстовых  документов достаточно легко интерпретируются разумным человеком.

     Модель семантики документа в форме аннотации позволяет достаточно точно, полно и ярко представить тематику и содержание документа в виде небольшого текста на естественном языке. В информационной технологии в качестве аннотации формируется ограниченный по объему (параметр, управляемый пользователем) набор предложений текстового документа. Предложения, включаемые в аннотацию, выбираются в ходе вычислительной процедуры таким образом, чтобы суммарный вес включенных в отобранные предложения ключевых слов документа был максимален при алгоритмическом обеспечении разнообразия ключевых слов.

     Для каждого документа реализуются  одновременно два режима аннотирования: в контексте запроса (в аннотацию  включаются «тяжелые» предложения  документа со словами из запроса) и в контексте самого найденного документа (в аннотацию включаются «тяжелые» предложения без дополнительных ограничений). В результате пользователь получает, соответственно, модельное  представление о содержании в  найденном документе информации, связанной с непосредственным запросом, и об «информационной начинке» документа, как он есть. Аннотация в контексте  запроса и аннотация в контексте  самого документа могут существенно  различаться.

     5.Смысловая  навигация по текстовой коллекции  с использованием адаптивного  диалогового тезауруса (АДТ):

     Адаптивный  диалоговый тезаурус (АДТ) – управляемый  пользователем диалоговый инструмент смысловой навигации по текстовым  коллекциям, являющийся оригинальным компонентом информационной.

     АДТ формируется вычислительно для  произвольной выбранной пользователем  коллекции документов по наукоемким вторичным информационным ресурсам, характеризующим коллекцию: словарным  лингвистическим моделям текстов  и словарным моделям семантики  текстов.

     Средствами  формирования коллекции могут быть поиск (контекстный или по сходству с документом - образцом) и/или отбор  документов по доступной метаинформации. АДТ – это список всех слов, используемых в документах отобранной коллекции, упорядоченный по невозрастанию  суммарного веса слов в документах коллекции или числа документов, использующих слово. Именно этим обусловлено  название нашего инструмента смысловой  навигации.

     Действительно, АДТ предоставляет информацию о  тематике и содержании конкретной коллекции, начиная с наиболее значимых слов (с максимальным суммарным весом) или с наиболее распространенных слов (с максимальным числом использующих их документов).