Методы формирования оценок сложных систем по комплексному критерию в дистанционном образовании и их визуализация

Методы формирования оценок сложных систем по комплексному критерию в дистанционном образовании  и их визуализация.

Курганская Галина Сергеевна 
Байкальский учебный комплекс 
Иркутский государственный университет 
г.Иркутск 
e-mail: galina@buk.irk.ru

Аннотация

На основе структурного анализа  конкретной системы дистанционного обучения и комплексного критерия качества предлагается методика комплексной  оценки дистанционного курса, качества учебных материалов, уровня преподавания конкретного курса. В рамках методики можно проводить анализ, отслеживать  динамику процесса .

Под комплексным критерием  понимается оцениваемая характеристика (свойство) системы, которая состоит  из нескольких других, может быть тоже сложных характеристик. Таким образом, комплексный критерий может быть представлен как иерархическая  структура (дерево) P = {pⁱ_j,k}, где i - номер вершины-родителя из предыдущего уровня, j - номер текущего уровня в дереве и k - номер текущей вершины в дереве. Терминальными вершинами являются простые показатели, которые могут быть оценены количественно. Причем эта оценка может быть получена либо объективно, как результат измерения некоторой характеристики объекта или системы, либо от эксперта. Используя предложенный автором факт-потенциальный метод [2], все оценки простых показателей нормируются к диапазону [0,1]. Все нетерминальные вершины размечаются функциями из класса средних для получения агрегированных оценок и, следовательно, также принадлежат диапазону [0,1].

Оцениваемая система, в свою очередь, предполагается сложной, имеющей  в рамках нашей задачи структуру  дерева S={sⁿ_m,l}. Всем нетерминальным узлам приписываются функции из класса средних, вычисляющие значение оценки по значениям оценок его составляющих.

Любой компонент системы  может обладать как характеристикой  верхнего уровня, так и более простыми показателями. При этом если компонент  обладает сложной характеристикой pⁱ_j,k, то он обладает и поддеревом свойств с корнем pⁱ_j,k, то есть наследование естественное, вниз по дереву критерия. Если некоторый компонент sⁿ_m,l системы S обладает некоторым свойством pⁱ_j,k, этим свойством обладают и все подсистемы верхнего уровня, в которые он входит, т.е. наследование происходит вверх по дереву системы S.

Таким образом, чтобы построить  модель оценки конкретной системы по комплексному критерию, осталось приписать  компонентам системы свойства из дерева критерия. При этом свойства распространяются на другие компоненты по правилам наследования. В общем  случае множество конкретных свойств  системы является подмножеством  декартового произведения множеств S и Р. Среди них нас будут  интересовать только классы сопоставимых оценок - это либо оценки всех свойств  одного компонента, либо оценки одного свойства всех компонентов некоторого узла исследуемой системы.

Полученное множество  сопоставимых оценок позволяет провести анализ системы и ее составляющих по сложному критерию и/или его компонентам. Теоретическое обоснование методики приведено в [2].

Предложенная методика, в  частности, была применена к анализу  курсов дистанционного обучения. В  целом построение модели для комплексной  оценки и анализа некоторого учебного курса дистанционного образования  состоит из следующих этапов:

1. описание структуры учебного курса S;
2. описание структуры критерия эффективности P, по которому мы будем оценивать этот курс;
3. разметка узлов деревьев оценочными функциями;
4. установлению соответствия между S и P.

Структура дистанционного курса

Дистанционный курс обычно состоит  из нескольких функциональных разделов [3]. На верхнем уровне системы мы выделим три основные компоненты учебного курса: учебный материал, индивидуальная и групповая работа студентов, и  организация обучения (рис.1).

Учебный материал

Представление учебного материала  менее всего формализовано в  курсе, хотя, конечно, в нем должен быть приведен список литературы или  других альтернативных источников. Содержание и форма учебного материала полностью  определяется преподавателем. В зависимости  от избранной им модели обучения он может представить, например, набор  конкретных примеров (CASE STUDY), на основании  которых студент должен сам построить  некоторую гипотезу, модель или теорию. Другая модель (DECLARATION STUDY) предполагает последовательное изложение теории, а примеры служат лишь иллюстрациями  теоретических положений.

Реально учебный материал конкретных курсов представляет обычно синтез этих двух подходов. Глубина  изложения материала, его структура, средства наглядного представления  в общем случае не регламентируются. Поэтому трудно выработать формальные критерии качества содержания, следовательно, на первом этапе это могут быть оценки эксперта.

Индивидуальная и групповая  работа студентов

Существенным компонентом  дистанционного курса должны быть средства взаимодействия студент - преподаватель  и студент -студент. Например, семинары, организованные в форме конференций  по отдельным темам, позволяют обсудить проблемы, поставленные преподавателем, а также проводить консультации по любым возникшим у студентов  вопросам. Помимо общих семинаров  возможно создание дискуссий в группах, где студенты, например, работают над  одним проектом.

Обычно в курсе предполагается возможность устраивать дискуссии  в реальном времени, что позволяет, например, проводить контрольный  опрос.

Домашние работы, переписка, тесты и экзамены составляют индивидуальную работу преподавателя со студентом.

Организация обучения

Описание курса, справочные материалы, списки, помощь при работе с системой, объявления и т.п. мы отнесем  к организующей составляющей курса.

Очевидно, что приведенная  структура курса может быть принята  только в первом приближении. Более  детальная структуризация курса  существенно зависит от конкретного  курса, от целей анализа и оценки курса. Более того, используемая технология формирования дистанционного курса, подготовки учебного материала во многом, а  иногда и полностью, определяет структуру  курса. Поэтому при создании такой  технологии или при выборе таковой  не следует упускать из виду аспекты  последующего анализа и формализованной  оценки курса.

В нашем примере для  формирования агрегированных оценок все  нетерминальные вершины дерева структуры  курса размечаем средневзвешенными  функциями, весовые коэффициенты которых  задаются экспертом.

Структура критерия

Мы рассмотрим достаточно простой пример критерия, который  строится на основе мнения эксперта по содержанию и оформлению учебного материала  и оценок студентов, окончивших этот курс (рис.1).

Предполагаем, что эксперт  оценивает содержание и оформление курса по следующим показателям:

• полнота учебного материала;
• структурированность;
• ясность и четкость изложения;
• степень наглядности;
• динамичность изложения;
• стимулирование самостоятельной работы студента.

Для простоты будем считать, что все оценки эксперт дает по балльной шкале от 0 до 100.

Студенты оценивают качество курса и уровень преподавания по показателям, разбитым на 3 группы:

1. Уровень преподавания

• организованность;
• стимулирование интереса к предмету;
• поддержка активности студентов;
• объективность оценок;
• полезность замечаний и отзывов;
• поддержка и помощь;
• доступность преподавателя;
• сбалансированность курса.