Экспертная оценка

введение 

Методы экспертных оценок - это  методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР – лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК). 

Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?"

I часть

          Индивидуальная  оценка

1 этап

 Рассмотрим 8 качеств, которые  предлагаются для оценки:

1. Коммуникабельность
2. Уравновешенность
3. Ответственность
4. Стаж работы
5. Справедливость
6. Организованность
7. Целеустремлённость
8. Вежливость

2 этап

Составление матрицы предпочтений.

Экспертная оценка подбора на должность  главного бухгалтера

	Коммуникабельность	уравновешенность	ответственность	Стаж  работы	Справедливость	Организованность	Целеустремленность	вежливость	Абсолютный вес	Относительный вес	ранг
коммуникабельность	1	0	0	0	2	0	0	0	3	4,6%	6
Уравновешенность	2	1	2	0	2	0	0	0	7	10,9%	4
Ответственность	2	0	1	1	1	2	1	1	9	14,1%	3
Стаж работы	2	2	1	1	2	1	1	2	12	18,7%	1
Справедливость	0	0	1	0	1	1	1	2	6	9,4%	5
Организованность	2	2	0	1	1	1	1	1	9	14,1%	3
Целеустремленность	2	2	1	1	1	1	1	2	11	17,2%	2
Вежливость	2	2	1	0	0	1	0	1	7	10,9%	4

 

 

 

 

 

 

 

Итог

64

100%

 

 

=2×(N-1)+1,

где N-число качеств

=2×(8-1)+1=14+1=15

=64

3 этап

Профиль качеств

Экспертная оценка - диагностический  метод измерения, с помощью которого качественные особенности психических  явлений получают свое числовое выражение  в форме количественных оценок. Суть экспертного оценивания состоит  в формализованном выражении  объективной информации о поведении  и качествах личности в ряде субъективных мнений и оценок. Этот метод может  быть широко использован для оценки качеств личности при составлении  психологических характеристик.

 
Метод экспертных оценок - формализованная процедура сбора, анализа и интерпретации независимых суждений достаточного количества экспертов о степени выраженности каждого из подлежащих оценке психологических качеств студента со стороны хорошо знающих его преподавателей, товарищей по учебе, которые имели возможность общаться с ним в различных ситуациях.

 
В психологическом исследовании экспертные оценки выступают в качестве внешнего критерия для проверки валидности рекомендуемой  системы тестов и опросников, при  этом данные экспертного оценивания специально не анализируются и не интерпретируются как собственно диагностические. Однако, метод экспертных оценок имеет  самостоятельную диагностическую  ценность и может включаться в  систему методов изучения личности с учетом его реальных достоинств.

 
Основным преимуществом метода экспертной оценки является возможность создания интегративного психологического "портрета" испытуемого, описания его личностных особенностей как системы взаимосвязанных, взаимозависимых и компенсирующих друг друга качеств. Это делает реальным более качественный прогноз обучаемости, позволяет целенаправленно выбирать средства педагогического воздействия  с учетом возможной реакции на них данной личности, открывает пути к определению перспектив ее психологического и профессионального становления  и развития.

 
При этом объективность собираемой экспертной информации обеспечивается привлечением широкого круга экспертов (преподавателей, товарищей по учебе), которые наблюдают проявление индивидуально-психологических  особенностей студента на протяжении достаточного времени при непосредственном общении в различных типах  ситуаций, возникающих в процессе его обучения в университете.

 
Метод экспертного оценивания психологических  качеств дает возможность оперативно собирать диагностическую информацию, быстро фиксировать динамику развития личности. Его применение не требует  длительной подготовки и поиска или  разработки сложного исследовательского инструментария. Этот метод является достаточно гибким, он легко модифицируется при возникновении новых задач, а также пригоден для многократного  использования.

 
Практика применения метода экспертной оценки показывает, что его диагностическая  ценность может быть существенно  повышена за счет правильного подбора  различных категорий экспертов, стандартизации и усовершенствования процедуры экспертного оценивания, включения дополнительных способов статистической обработки результатов  оценивания, применением новых критериев  анализа и интерпретации. Важное значение имеет обоснование выбора критериев (признаков, параметров), подлежащих экспертной оценке, отвечающих конкретным целям изучения индивидуально-психологических  особенностей студентов. Это позволяет, в частности, создать более точную психологическую модель выпускника университета.

 
Следует также отметить, что целый  ряд профессионально важных качеств  личности бывает чрезвычайно трудно, а иногда и невозможно, выявить  и оценить с помощью психологического анализа документов, применения анкет, личностных опросников и тестов. В  этих случаях только экспертный метод  дает возможность получить необходимые  данные (например, когда речь идет об оценке таких качеств как ответственность, мотивация поступков и т.д.). 
Особенно продуктивно применение метода экспертного оценивания не изолированно, а в совокупности с другими, хорошо зарекомендовавшими себя в практике изучения личности диагностическими методами. Данные экспертных оценок при этом должны использоваться как подтверждающие или опровергающие (ставящие под сомнение) достоверность сведений, полученных при тестировании и анкетировании, они должны быть проанализированы также в качестве дополняющих, уточняющих или объясняющих результаты изучения личности другими методами. Например, если качества "умный", "сообразительный", "рассудительный" получили у испытуемого высокие значения экспертных оценок, а при применении теста для изучения интеллекта балл оказался низким, то такое рассогласование должно стать предметом специального анализа и интерпретации.

 
В качестве достоинства метода экспертных оценок следует подчеркнуть целесообразность использования его результатов  не только в качестве сведений для  оптимизации учебно-воспитательных воздействий со стороны преподавателей, но и как информации, которую в  обобщенной форме можно сообщать самому студенту с целью выработки  навыков самопознания, самоанализа, коррекции самооценки, стимулирования процессов самообразования и  самовоспитания, что особенно важно  в юношеском возрасте.

 
Необходимо отметить и положительный  эффект участия преподавателей в  проведении экспертного оценивания психологических свойств и качеств  студентов. Он проявляется в повышении  уровня их психологической компетентности, развитии педагогических способностей, таких как наблюдательность, рефлексия, способность объективного видения  и понимания индивидуальности каждого  студента, умение сопоставить свое мнение об обучаемом с мнением  других преподавателей и самих студентов.

 
Следовательно, метод экспертных оценок можно рассматривать как важный элемент в целостной системе  методов психодиагностического  обследования, проводимого в целях  изучения личности студента. Диагностическая  сущность метода экспертной оценки, состоит  в получении объективной информации об индивидуально-психологических  особенностях, в результате специально организованного опроса мнений экспертов.

 
Однако, экспертные оценки не всегда являются достоверной мерой психологических  качеств, так как восприятие эксперта подвержено субъективным искажениям в  связи с особенностями его  личности. 
  
Поскольку различные эксперты будут давать различные оценки, возникает проблема их надежности. Одним из примеров субъективных ошибок является влияние на оценки хорошего или плохого отношения эксперта к оцениваемому студенту. Другим примером ошибок, вносимых в оценку качеств личности, являются инструментальные искажения, причиной которых может быть различие в способах измерения. Причем они наиболее значительны именно при методе экспертных оценок.

 
Повышения надежности экспертных оценок можно добиться за счет снятия субъективных и инструментальных искажений. Для  этого обычная процедура сбора  экспертных оценок должна быть дополнена  специальным приемом повторного оценивания с предварительным сообщением эксперту данных, полученных от других экспертов. Изменение в этом случае первоначальной оценки является важным диагностическим показателем ненадежности эксперта. Кроме того, для повышения  надежности экспертных оценок необходимо выполнять специальные требования:

 

• оцениваемые качества должны определяться в терминах наблюдаемого поведения;
• эксперт должен иметь возможность наблюдать за поведением оцениваемого студента достаточно длительный промежуток времени;
• необходимо не менее пяти экспертов на одного оцениваемого студента;
• ранжирование должно производиться экспертами только по одной черте за один раз, вместо оценивания одного испытуемого сразу по всему перечню критериев;
• данные экспертного оценивания необходимо соотносить с результатами объективных тестовых обследований.

 
Применение этих требований к проведению экспертного опроса может поднять  надежность получаемых данных на уровень, достаточный для практического  использования.

 
В процедуре проведения экспертного  опроса можно выделить следующие  этапы:

• определение цели получения экспертных оценок;
• формирование рабочей группы и подбор экспертов;
• проведение опроса экспертов;
• обработка и анализ результатов экспертного оценивания.