Разработка программы тестирования

 

4. Научно техническое развитие предприятия

 

Концепция развития НИИИС состоит в поддержании  структуры института как единого  оборонно-конверсионного комплекса, использующего технологии двойного применения с инновационным характером деятельности, гарантирующего сохранение научно-производственного потенциала, качественную разработку и серийное изготовление новейших образцов радиоэлектронных приборов и программных средств, создание конверсионной продукции мирового уровня с возможностью динамичного перераспределения внутренних ресурсов предприятия в зависимости от изменения потребностей общества.

Созданная в  НИИИС научно–производственная база  обеспечивает:

• создание уникальных средств прямого дистанционного управления из серийно производимых элементов высокой надежности и современного дизайна с наработкой на отказ  каналов управления свыше трехсот тысяч часов, каналов контроля свыше пятидесяти тысяч часов, в том числе при сейсмических воздействиях до девяти баллов;
• оснащение нового поколения АЭС программно-техническими комплексами СВУ с наработкой на отказ функций компьютерного управления и контроля более десяти тысяч часов;
• модернизацию программно-технических средств в течение срока службы энергоблока (тридцать лет) с минимальными затратами благодаря использованию развивающейся открытой международной аппаратной платформы Сompact PCI;
• стабильное и быстрое (7-9 месяцев) производство комплектов средств управления верхнего уровня для строящихся и модернизируемых АЭС на современной специализированной технологической базе одного предприятия;
• высокую техническую готовность поставляемых ПТК к эксплуатации благодаря промышленной технологии изготовления и полнофункциональным комплексным испытаниям на заводе-изготовителе;
• надежное сопровождение поставленной продукции в течение всего жизненного цикла с использованием ИПИ технологий.

 

 

 

 

 

 

 

 

 

 

 

5. Структура НИИИС

 

Рис.1. Структура НИИ измерительных систем им. Ю.Е. Седакова.

2. Общие сведения

Анализ эффективности  автоматизированного тестирования показывает, что оно является более удобным и эффективным.

Высокая степень формализации и унификации процедуры тестирования, возможность одновременного проведения тестирования на нескольких компьютерах, а также возможность организации дистанционного тестирования посредством локальной вычислительной сети либо через глобальную информационную сеть Интернет предопределили всеобщий интерес к подобному способу оценивания знаний.

Определенный интерес  представляет выявление роли и значимости тестирования на различных этапах контроля и проверки знаний, а также его  применимость при изучении различных  дисциплин. Не вызывает сомнений целесообразность применения традиционных автоматизированных систем контроля знаний при изучении дисциплин, ориентированных на усвоение обучаемых конечного множества фактов либо однозначно трактуемых правил. Автоматизированные системы контроля знаний широко применяются для уменьшения трудоемкости текущего контроля знаний по естественнонаучным и техническим дисциплинам (т.н. “срезы”), цель которых состоит в оперативной и массовой специфической тестовой форме.

К заданиям в тестовой форме предъявляются следующие  формальные требования:

• краткость;
• правильность выбора формы;
• логическая форма высказывания;
• одинаковость правил оценки ответов;
• наличие определённого места для ответов;
• правильность расположения элементов задания;
• одинаковость инструкции для всех испытуемых;
• адекватность инструкции форме и содержанию задания.

Краткость заданий в  тестовой форме обеспечивается тщательным подбором слов, символов, графиков, позволяющих  минимумом средств добиваться максимума  ясности смыслового содержания задания. Часто встречающиеся случаи удлинения  заданий требованиями что-то найти, решить, а затем ещё и объяснить, отрицательно сказываются на качестве задания и теста в целом.

Система означает, что  в тесте собраны такие задания, которые обладают систематизирующими свойствами. Хотя любой тест состоит из тестовых заданий, последние представляют не совокупность произвольно объединённых заданий, а именно систему. Среди системных признаков выделяется в первую очередь, общая принадлежность заданий к одной учебной дисциплине.

Тест, как система, обладает составом, целостностью и структурой. Тест состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность означает взаимосвязь заданий, их принадлежность общему измеряемому фактору.

Обычно в тестах возможно использование пяти следующих типов вопросов:

• выбор единственно правильного ответа;
• выбор нескольких возможных правильных ответов;
• установка последовательности правильных ответов;
• установка соответствий ответов;
• ввод ответа вручную с клавиатуры.

Время нередко называется в качестве другого систематизирующего фактора. Действительно, одно из соображений, положенных в основу создания тестов – иметь инструмент быстрого и относительно точного оценивания больших контингентов испытуемых. Требование экономии времени становится естественным в массовых процессах, каковым и стало образование.

Определённое содержание означает использование в тесте  только такого контрольного материала, который соответствует содержанию учебного курса.

Трудность теста определяется суммарной трудностью заданий, его образующих.

Оценка, как понятие, имеет  два основных смысла – как суждение о ценности (или значимости) и  как приблизительная характеристика некоторой величины.

Оценки нередко отождествляются  с отметками. Последние являются численными аналогами оценочных суждений.

В связи с тем, что  самая сильная сторона тестового  метода заключается в возможности проведения педагогического измерения, следует рассмотреть этот вопрос подробнее.

Измерение представляет собой процедуру количественного сопоставления изучаемого у испытуемых свойства с некоторым эталоном, принимаемым за единицу измерения. Знание приходится измерять опосредованно, через эмпирически фиксируемые проявления того, что специалисты назвали бы признаками (индикаторами) знания. Поэтому каждое задание теста желательно рассматривать как индикатор, выявляющий какой-то один фрагмент знания у тех испытуемых, у которых знания есть. Здравый смысл подсказывает, что судить о знаниях всего проверяемого материала по ответу испытуемого на одно лишь задание довольно опрометчиво, хотя в каждой учебной дисциплине есть вопросы, правильные ответы на которые говорят о многом. Тем не менее, надёжные выводы можно делать только по результатам применения достаточного числа заданий.

Самым известным и  научно обоснованным методом педагогического измерения является тест. К настоящему времени только в отношении тестов утвердилась рефлексивная норма обязательной проверки их качества. Это, пожалуй, самое существенное требование, выгодно отличающее тесты от экзамена и от остальных методов педагогического контроля.

Уровень подготовленности испытуемых выявляется при анализе  их ответов на задания теста. Чем  больше правильных ответов, тем выше индивидуальный тестовый балл.

Полученная сумма баллов принимается за истинный уровень знаний, хотя каждый признаёт, что знание и баллы, полученные по показателям знаний – разные явления.

Возросшая роль правильной интерпретации данных даёт основание  для выделения трёх видов интерпретации  результатов тестирования.

Если главной задачей становится стремление выяснить, какие элементы содержания учебной дисциплины усвоены тем или иным испытуемым, то, при этом требуется большое число заданий, посредством которых определяется – что из генеральной совокупности заданий испытуемый знает, и что он не знает.

Второй вид интерпретации  связан с ориентацией на такие  конкретные цели и задачи, как, например, проверка уровня усвоения требуемых заданий, умений и навыков, выступающих в качестве заданного стандарта или критерия усвоения. При разработке таких тестов особое внимание обращается на определение зачётного уровня трудности.

В тестах с нормативно ориентированной интерпретацией на первое место выходит задача определения  не столько полноты содержания проверяемых заданий, сколько определения сравнительного места, или рейтинга, каждого  тестируемого. Для этого нужен тест со сравнительно меньшим числом заданий.

При проведении тестирования крайне важен фактор времени. То, на что у ЭВМ уходят считанные  секунды, у человека занимает сравнительно большой временной промежуток. Работник затрачивает много времени, вручную разрабатывая тестовый материал и накапливая его на бумажных носителях.

Также много времени  уходит на получение результатов. Для  их подсчёта по окончании тестирования, требуется долгая работа работника, что не исключает допущения случайных ошибок при анализе такого огромного количества информации.

Расходы времени оператора  сказываются крайне негативно и  на уровне знаний сотрудников, поскольку время уходит на аналитическую деятельность.

 

3. Предметная область

 

Компьютеры в обучении - вопрос, требующий отдельного рассмотрения. Отметим лишь, что различные варианты АОС (автоматизированных обучающих систем) вобрали в себя лучшие достижения компьютерных технологий и стали широко популярными не только в учебных заведениях, но и при подготовке персонала в промышленности, различных социальных сферах, военном деле и т.д.

Обучение - многогранный процесс, и контроль знаний - лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них, тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.

По-видимому, многие создатели тестов уже прошли через некоторую эйфорию при создании тестов и поняли, что это - весьма непростое дело. Куча бессистемно надерганных вопросов и ответов - далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста нужно затратить много труда. Компьютер может оказать в этом деле немалую помощь.

Существует специальная  теория тестирования, оперирующая понятиями надежность, матрица покрытия и т.д., не специфическая, а именно для компьютерных тестов. Здесь мы не будем в нее углубляться, сосредоточившись в основном на технологических аспектах.

Широкое распространение  в настоящее время получают инструментальные авторские системы по созданию:

• обучающих программ;
• электронных учебников;
• компьютерных тестов.

Особую актуальность приобретают программы для создания компьютерных тестов - тестовые оболочки. Подобных программных средств существует множество и программисты-разработчики готовы строить новые варианты, так называемых, авторских систем. Однако широкое распространение этих программных средств, сдерживается отсутствием простых и нетрудоемких методик составления тестовых заданий, с помощью которых можно «начинять» оболочки. В настоящем разделе представлены некоторые подходы к разработке компьютерных тестов.

Проектирование модели знаний. Эксперты чаще используют метод  нисходящего проектирования модели знаний (технология «сверху - вниз»). Вначале строится генеральное содержание предметной области с разбивкой на укрупненные модули (разделы). Затем проводится детализация модулей на элементарные подмодули, которые, в свою очередь, наполняются содержанием.

Другой метод проектирования «снизу - вверх» (от частного к общему) в большинстве случаев реализуется группой экспертов для разработки модели знаний сложной и объемной предметной области, или для нескольких, близких по структуре и содержанию, предметных областей.

Каждый модуль предполагает входящую информацию, состоящую из набора необходимых понятий из других модулей и предметных областей, а на выходе создает совокупность новых понятий, знаний, описанных в данном модуле.

Модуль может содержать  подмодули. Элементарный подмодуль – неделимый элемент знания – может быть представлен в виде базы знаний, информационной модели. Понятия и отношения между ними представляют семантический граф.

Модульное представление  знаний помогает:

• организовать четкую систему контроля с помощью компьютерного тестирования, поскольку допускает промежуточный контроль (тестирование) каждого модуля, итоговый по всем модулям и их взаимосвязям, а также эффективно использовать методику «черного ящика»;
• осуществлять наполнение каждого модуля содержанием;
• выявить и учитывать семантические связи модулей и их отношения с другими предметными областями.