Метод экспертных оценок

Метод экспертных оценок 
 
1. Определение метода экспортных оценок. 
Метод экспертных оценок, называемый также экспертным опросом, в общем виде представляет собой опрос специалистов, компетентных в какой-либо, нужной исследователю области. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления - экспертными оценками. 
Экспертная оценка — компетентное мнение, мнение эксперта по какой-либо из проблем, находящихся в сфере его компетенции. 
Основные отличия экспертного опроса от массового состоят в следующем: 
- количество респондентов в массовом опросе значительно больше, чем в экспертном; 
- экспертный опрос не является анонимным; 
- экспертный опрос отличается более сложным инструментарием; 
- труд экспертов, в отличие от труда респондентов всегда оплачивается. 
 
2. Отбор экспертов. 
При определении конкретного состава экспертов надлежит руководствоваться не только и не столько компетентностью экспертов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, когда компетентность эксперта не дает адекватной валидности. Это объясняется многими обстоятельствами, в разной мере зависимыми от исследователя, организующего экспертный опрос и проводящего экспертизу. 
Ряд этих обстоятельств имеет психологическое свойство. Эксперт с задатками лидера стремится к доминированию своих оценок, настаивая на них даже тогда, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный - склонен к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще смещать свои оценки в сторону нейтральной середины, а часть экспертов может быть заинтересована в преднамеренном искажении информации. Все это должно учитываться исследователем. ' 
Проведение отбора экспертов, как правило, осуществляется методом самооценки и определением коэффициента компетентности. Кандидатам раздаются карточки с тремя позициями оценки: К1 - высокая оценка- 1балл; К2 - средняя оценка - 0,5 балла; КЗ - низкая оценка - 0 баллов. 
С их помощью, кандидаты оценивают свой уровень теоретических знаний, практический опыт и уровень прогностической компетентности. После ответов кандидатов, вычисляют коэффициент компетентности каждого по формуле К= (К1+К2+КЗ)/3 (образец карточки прилагается). 
Слабость данного метода состоит в возможной неадекватности оценки. 
Для подкрепления метода самооценки используют метод коллективной (взаимной) оценки. Однако следует заметить, что данный метод может применяться только в том случае, если эксперты знают друг друга в качестве специалистов. При использовании этого метода кандидатам предлагается список их «конкурентов» и ставится вопрос: «Кого бы Вы выбрали в качестве эксперта из предложенного списка?». Кроме того, в вопросе задается параметр выбора (Укажите ровно 25 человек). 
На основании полученных данных строится таблица взаимных оценок. В случае, если результатов первой таблицы недостаточно для определения экспертов, необходимо построить уточненную таблицу взаимных оценок, (материал прилагается). 
На основании метода самооценки и/или метода взаимной оценки отбирается нужное количество экспертов-респондентов, которым и предлагаются анкеты. 
 
3. Интеграция экспертных оценок. 
Интеграция экспертных оценок есть по сути дела совокупность приемов перевода количественного анализа этих оценок в качественный. Поэтому он, с одной стороны, невозможен без предварительного выявления количественных признаков мнений экспертов, с другой - принципиально отличен от их традиционно количественной интерпретации. 
Интегрирование (согласование, комплексирование) экспертных оценок необходимо тогда, когда нужно:  
1) выработать научно обоснованное управленческое решение;  
2) сформулировать миниконцепцию, объясняющую новые явления и процессы, происходящие в изучаемом микросоциуме, и дающую основание для последующего теоретизирования. 
Реализация интегрирования предполагает выполнение ряда исследовательских операций в следующей последовательности: 
1. Установление мнений экспертов по исследуемой проблеме в заочной форме, то есть путем анкетирования, заполнения экспертами специальных документов (карт, бланков), изучение монитором (исследователем) докладных записок и иных материалов экспертного характера. 
2. Шкалирование выявленных мнений экспертов, т.е. сопоставление показателей их отношения к предмету экспертизы либо по ранговой, либо по номинальной, либо метрической шкалам, или по некоторой совокупности этих шкал. 
3. Согласование мнений экспертов по технике Делъфи, предусматривающей трех-шестикратное повторение заочных опросов экспертов и соответствующее число шкалирования их оценок. На каждом новом этапе опроса (интеграции) монитор информирует экспертов о результатах предыдущего опроса, сообщает им о мнении большинства и просит аргументировать свое мнение, т.е. его совпадение или расхождение с тем, которое претендует на господствующую роль. При этом на каждом этапе эксперту предлагается определить место своего мнения в заранее подготовленной шкале. Каждый этап завершается статистической обработкой полученных от экспертов шкал, исчислением средних арифметических показателей, медианы и квартилей, определением показателей разброса мнений, выявлением крайних мнений, т.е. особо отклоняющихся от оценок большинства. Типичных выразителей крайних мнений и господствующей оценки приглашают для участия в последующих процедурах интегрирования экспертных оценок. 
4. Очное выяснение отношений экспертов к предмету экспертизы и разным вариантам решения обсуждаемой проблемы в групповой дискуссии. Она может проводиться как методами фокус-группы и «проблемного колеса», так и на основе иных способов активизации творческого мышления в группе - «мозговой штурм, синектика, ИПИД и т.п. 
5. Ранжирование предложенных экспертами вариантов решения исследуемой проблемы, их упорядочивание по трем, как минимум, основаниям: 
1) степени популярности, т.е. представленности в коллективном мнении экспертов; 
2) мере реализуемости, возможности практического выполнения; 
3) последствиям их реализации для тех социальных систем (и подсистем), в которых сложилась исследуемая проблема. 
Эта исследовательская операция делается после и по итогам очного сопоставления мнений экспертов. Когда в исследовании применяются не одна, а несколько форм групповых дискуссий, возникает необходимость нескольких туров ранжирования, переплетения этой исследовательской операции с предыдущей. Данное ранжирование необходимо для выработки оптимального решения проблемы и последующего этапа интеграции оценок экспертов. 
6. Синтезирование экспертных оценок в форме мини-теории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его причин и тенденций изменения, возможностей влияния на него со стороны различных субъектов социальной жизни. Эта операция требует от исследователя солидной теоретической подготовки (ибо разработка мини-теории предполагает знание теорий более высокого уровня), аналитических навыков и научной достоверности. Она призвана обобщить все оценки экспертов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из общей их картины. 
Разработка такой мини-концепции необходима в двух отношениях:  
во-первых, в качестве одного из «кирпичиков», из которых строятся социологические теории «среднего», а затем и «большего» уровней;  
во-вторых, для завершения процедуры интегрирования экспертных оценок. 
7. Комплексирование экспертных оценок - последняя исследовательская операция по интеграции мнений экспертов. Ее конечный результат -комплексная программа решения изученной проблемы (или несколько вариантов такой программы). Она должна логично вытекать из выше охарактеризованной мини-теории и содержать перечень мер, реализация которых обеспечит решение исследовательского вопроса. 
Предлагаемые меры дифференцируются: 
- на стратегические (важные и долговременные) и тактические (детализирующие первые); 
- по времени исполнения (первоочередные, второочередные и т.п.); 
- по затратам разнообразных ресурсов; 
- по ожидаемому эффекту от этих затрат; 
- по адресатам (организациям, персонам), могущим реализовать рекомендации; 
- по другим основаниям, зависящим от характера проблемы и способов ее решения. 
Как правило, экспертный опрос нацелен на уточнение гипотез, разработку прогноза и пополнение интерпретации определенных социальных явлений и процессов. В таких опросах доминируют открытые формулировки, а закрытые вопросы предназначены лишь для оценки уровня уверенности, меры согласия или несогласия с уже высказанными позициями других специалистов. 
Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях метод экспертных оценок выступает в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную роль, добавляя информацию к полученной иными методами, то исследователи обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную ситуацию; б) терминологию экспертных оценок (путем операционализации общих понятий); в) гипотезы, выносимые на экспертизу; г) комплекс требований, на основе которых будет производиться подбор экспертов (критерии их компетентности); д) индикаторы, позволяющие измерять суждения экспертов; е) инструментарий этих замеров и первичной обработки данных; ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов.

Литература 
1. Григорьев С.И., Растов Ю.Е. Основы современной социологии, М., 2002. 
2. Учебный социологический словарь/Под редакцией С.А.Кравченко. М., 1999. 
3. Ядов В.А. Стратегия социологического исследования, М.,2001.