Психометрические основы психодиагностики

В общих чертах стандартизация диагностической методики, ориентированной на норму, осуществляется путём её проведения на большой репрезентативной выборке того типа, для которого данная методика предназначена. Относительно этой группы испытуемых, называемой выборкой стандартизации, вырабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше или ниже среднего уровня. В результате можно оценить разные степени успешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно нормативной выборки или выборки стандартизации.

Есть и другой подход к оценке результатов диагностических испытаний (его последователи К.М. Гуревич и др.). В качестве точки отсчёта выступает не статистическая норма, а независимый от результатов испытаний, объективно заданный социально-психологический норматив. Этот норматив реализуется в совокупности заданий, составляющих тест. Следовательно, сам тест в полном объеме и является таким нормативом. Все сопоставления индивидуальных и групповых результатов тестирования проводятся с тем максимумом, который представлен в тесте (а это полный набор заданий). В качестве критерия оценки выступает степень близости результатов к нормативу.

Надежность означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его проведении на одних и тех же испытуемых.

Степень надежности зависит от многих причин, поэтому важно выявить факторы, снижающие точность измерений. Такими факторами могут быть:

- нестабильность диагностируемого свойства;

- несовершенство диагностирующих методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечетко сформулированы указания и т.д.);

- меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, наличие или отсутствие посторонних шумов и т.п.);

              - различия в манере поведения экспериментатора (от опыта к опыту инструкции предъявляются по-разному, различное стимулирование выполнения заданий и т.п.);

- колебания в функциональном состоянии испытуемого (в одном эксперименте хорошее самочувствие, в другом - утомление);

              - элементы субъективности в способах оценки и интерпретации результатов.

Если устранить эти факторы, то уровень надежности тестов повысится.

Важнейшим средством повышения надежности психодиагностических методик является единообразие процедуры обследования, его строгая регламентация: одинаковые обстановка и условия для испытуемых какой-либо выборки; однотипный характер инструкций; одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми, порядок предъявления заданий и т.д.

Для надежности большое значение имеет исследуемая выборка, ибо она может как снижать, так и завышать этот показатель. Например, показатель надежности может быть искусственно завышен, если в выборке небольшой разброс результатов и т.д. В настоящее время надежность чаще всего определяется на наиболее однородных выборках (выборках, сходных по полу, возрасту, уровню образования, профессиональной подготовке).

Надежность отражает, таким образом, степень согласованности двух независимо полученных рядов показателей. Это математико-статистический прием, с помощью которого устанавливается надежность методики, - корреляция.

Чем больше коэффициент корреляции приближается к единице, тем выше надежность методики, и наоборот.

Виды надежности можно толковать в трех смыслах (по К.М. Гуревичу):

1) надежность самого измерительного инструмента;

2) стабильность изучаемого признака;

3) константность, то есть относительная независимость результатов от личности экспериментатора.

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надежности, показатель, характеризующий стабильность измеряемого свойства, - коэффициентом стабильности, а показатель влияния личности экспериментатора - коэффициентом константности.

Именно в таком порядке следует проверять методики: сначала - элемент измерения, потом - меру стабильности и в конце - критерий константности.

Методика признается надежной, когда полученный коэффициент не ниже +0,75 - +0,85. Лучшие по надежности тесты дают коэффициенты порядка +0,90 и более.

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности решается после того, как установлена точная надежность методики (ненадежная методика не может быть валидной). Но самая надежная методика без знания ее валидности является практически бесполезной.

Валидность теста - понятие, указывающее нам, ч т о тест измеряет и насколько хорошо он это делает. Валидность - это комплексная характеристика, включающая, с одной стороны, сведения о пригодности методики для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность. Поэтому нет универсального подхода к определению валидности (какую сторону валидности исследователь рассматривает, такие же он использует для этого способы доказательства).

Проверка валидности методики называется валидизацией. Валидизация имеет две стороны: теоретическую (валидность измерительного инструмента, методики) и прагматическую (валидность цели использования методики). При прагматической валидизации суть предмета измерения (психологические свойства) оказывается вне поля зрения, так как важно доказать, что «нечто», измеряемое методикой, имеет связь с определенными областями практики.

4. Критериально-ориентированные тесты

Различают критериально-ориентированные тесты и тесты, ориентированные на статистическую норму.

Норма характеризует выборку или популяцию, но не раскрывает действительных требований к человеку.

Социально-психологический норматив (СПН) - система требований, которые общество предъявляет каждому из его членов. Чтобы не быть отторгнутым от существующей общности, человек должен овладеть теми требованиями, которые к нему предъявляются, причем, процесс, этот является активным - каждый стремится занять определенное место в своей социальной общности и сознательно осуществляет этот процесс приобщения к классу, к группе. Эти требования и могут составлять содержание СПН, которые выступают как идеальная модель требований социальной общности к личности.

Следовательно, при оценке результатов тестирования итоги надо подводить по степени близости к СПН, который дифференцируется в образовательно-возрастных границах. Подобные требования могут быть закреплены в форме правил, предписаний, требований к человеку и включать самые разнообразные аспекты: умственное развитие, нравственное, физическое и т. д. Тем более что эти требования, составляющие содержание СПН, вполне реальны и присутствуют в образовательных программах и т.д.

Использование в качестве критерия развития СПН выдвигает на первый план качественный способ обработки теста, при котором необходимо учитывать: какие термины и понятия по степени обобщенности усвоены лучше, а какие - хуже; какие логические операции освоены более, а какие менее - успешно; в каком круге понятий и терминов ученики ориентируются менее, а в каком - более уверенно. Поэтому в отличие от статистической нормы СПН качественно иным образом рассматривает содержательную сторону развития человека.

Появление критериально-ориентированных тестов (КОРТ) связано с тестированием достижений и успехов в учебе как детей, так и взрослых после специальных курсов обучения. Первым, кто обозначил «самостоятельную сущность» нетрадиционной формы тестирования и отделил ее от тестирования, ориентированного на статистическую норму, был Р. Глезер (1963). Он же и ввел термин «criterion referenced measurement» - критериально-ориентированное измерение. Различие между критериально-ориентированным и ориентированными на норму подходами было зафиксировано, но в диагностической практике разница между двумя подходами не выявилась. Это, возможно, зависело от того, что было недостаточным проанализировать практический смысл применения критериально-ориентированной тестовой модели. Было важно другое: разработать методики конструирования и проверки тестов, ориентированные на критерий.

Предметом анализа КОРТ становится содержание деятельности индивида: что индивид знает или умеет делать по отношению к конкретным требованиям, которые предъявляет к нему учебно-образовательная программа. В КОРТе анализ текста должен заключаться в его проверке по характеристикам, сосредоточенным на содержательных и сравнительных особенностях заданий теста, а не только на его статистических показателях. Установление содержательного соответствия теста и реального учебного задания выступает как решающий этап разработки КОРТа. По отношению к КОРТу учебное задание является не «внешним критерием», но той реальностью, существенные моменты которой данный КОРТ моделирует.