Методы формирования оценок сложных систем по комплексному критерию в дистанционном образовании и их визуализация

2. Организация курса

• ясность целей и задач курса;
• обоснованность и ясность требований;
• обоснованность загрузки студента;
• понятность домашних заданий;
• обоснованность графика работ.

3. Формирование навыков

• компьютерная грамотность;
• научный и информационный поиск;
• аналитический подход.

Студенты дают свои оценки по пятибалльной системе; при этом может  быть оценка 0, что значит "нет  мнения"; она не учитывается.

Для разметки нетерминальных вершин здесь также используются средневзвешенные функции, весовые  коэффициенты для конкретного курса  задаются экспертом. Оценки студентов  нормируются.

Получение класса сопоставимых оценок.

Теперь нам нужно установить соответствие между комплексным  критерием и структурой курса. Для  этого следует приписать отдельным  компонентам курса соответствующие  поддеревья критерия. В соответствии с правилами наследования, если некий  компонент курса обладает определенным свойством, то этим свойством будут  обладать и все его предки по дереву структуры курса, а если компонент  курса обладает неким сложным  свойством, то он обладает и всеми  составляющими этого свойства. Так, хотя эксперт оценивает только учебный  материал, оценка эксперта может быть вычислена в системе и для  курса в целом. Студенты оценивают  курс как полностью, так и отдельные  составляющие. Пример отношения между S и P можно видеть на рис.1.

В программной системе  формирования дистанционного курса  мы строим такую модель графически, обычно корректируя и размечая именами  составляющих и весовыми коэффициентами предложенные типовые структуры. Соответствие устанавливается простым "развешиванием" поддеревьев критерия на вершины  дерева структуры курса методом "drag and drop". На этом этапе проверяется  полнота - все оценки могут быть вычислены, и непротиворечивость - если оценка может быть вычислена несколькими  способами, то результаты должны совпадать [2].

На основе полученной модели автоматически строится реляционная  база данных, в которой и выполня.тся  все расчеты. Полученное соответствие позволяет нам вычислять оценки как для всего курса, так и  для его составляющих. При этом входными данными для методики являются оценки студентов либо эксперта по терминальным вершинам. Эксперт может  поставить свои оценки, размечая соответствующие  узлы в модели, а студенты заполняют  анкеты по окончанию курса, откуда оценки после обработки помещаются в  базу данных модели.

Таким образом, мы получили множество  оценок, но сопоставимыми, т.е. такими, которые есть смысл сравнивать, будут  узлы - "сыновья" любого узла одного из деревьев - структуры или критерия. Например, можно сравнивать поддержку  активности студентов в семинарах  и групповых проектах (т.е. одно свойство для разных составляющих одной компоненты курса), либо степень полезности замечаний  и уровень поддержки и помощи для одного семинара (разные свойства одного объекта). Классы сопоставимых оценок формируются в модели автоматически.

Анализ курса  по построенной модели

Полученные классы сопоставимых оценок позволяют нам проводить  анализ учебного курса, выявлять его  сильные и слабые компоненты; а  также сильные и слабые стороны  курса - т.е. отдельные свойства курса  или его составляющих.

Результаты такого анализа  особенно наглядно видно при использовании  цветовой алгебры [1]. Раскраска узлов  графа соответствия S и P позволяет  просматривать разные классы сопоставимых оценок, выбирая их исходя из задачи анализа.

Интересным представляется вариант, когда оценки эксперт и  студенты выставляют, окрашивая из предложенного спектра терминальные узлы дерева оценок. Цвета, смешиваясь в соответствии с агрегирующими  функциями, распространяются к корню  дерева оценок. Этот механизм также  полезен при подборе агрегирующих функций или весовых коэффициентов  в процессе построения модели.

Но предлагаемая методика позволяет проводить не только статический  анализ курса, но и отслеживать динамику его функционирования. Если мы имеем  ряд оценок каких-то компонентов  или всего курса за некоторый  период времени, мы уже можем анализировать  динамику его состояния в целом, либо отдельных его составляющих, либо отдельных его сторон, свойств.

Естественно, что и здесь  для анализа разумнее использовать цветовое представление, причем здесь  уже картинки "живые", и мы можем  задавать параметры, такие как период анализа, скорость, точки останова и  т.п.

Накопление архива оценок разных курсов, получение разных временных  срезов, проекций разных сторон, несомненно, позволит нам лучше отслеживать  состояние дел в дистанционном  обучении.

На наш взгляд предложенная методика призвана существенно облегчить  оценку, мониторинг и анализ деятельности некоторой сложной системы, например, учебного курса или программы, сделать  этот процесс более объективным, понятным, хотя при этом, естественно, сохраняется субъективность при  формировании модели. Предлагаемая методика используется для оценки и анализа  дистанционных курсов в Байкальском  учебном комплексе и в составе  ПО сервера дистанционного образования  дорабатывается ее программная реализация.

Список литературы

1. БИРКГОФ Г., БАРТИ Т. Современная прикладная алгебра. Пер. с английского Ю.М.Монина, М., Мир, 1976.
2. КУРГАНСКАЯ Г.С. . Математическое и программное обеспечение системы сопоставительной оценки. //Доклады Всесоюзного семинара. - Томск, 1990 , стр.76-83.
3. KEEGAN D. The Foundation of Distance Education.- L. Groom Helm, 1986.