Метод экспертных оценок

качественные или  социальные факторы  могут  оцениваться  по  порядковым  или

номинальным шкалам.

 

 

 

                    Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ  ОЦЕНОК

 

 

                            3.1. Задачи обработки

 

  После  проведения  опроса  группы  экспертов   осуществляется   обработка

результатов. Исходной информацией для обработки  являются  числовые  данные,

выражающие  предпочтения  экспертов,  и  содержательное   обоснование   этих

предпочтений. Целью  обработки является получение обобщенных данных  и  новой

информации, содержащейся в скрытой форме в  экспертных  оценках.  На  основе

результатов обработки  формируется решение проблемы.

  Наличие как числовых данных, так и содержательных высказываний  экспертов

приводит к необходимости  применения качественных  и  количественных  методов

обработки результатов  группового экспертного оценивания. Удельный  вес  этих

методов  существенно  зависит  от  класса   проблем,   решаемых   экспертным

оцениванием.

  Все множество  проблем можно разделить на  два  класса.  К  первому   классу

относятся проблемы, для решения которых имеется  достаточный  уровень  знаний

и опыта, т. е. имеется  необходимый  информационный  потенциал.  При  решении

проблем, относящихся  к этому классу, эксперты рассматриваются  как хорошие  в

среднем измерители. Под термином «хорошие в среднем» понимается  возможность

получения  результатов  измерения,  близких  к   истинным.   Для   множества

экспертов  их  суждения  группируются  вблизи  истинного  значения.   Отсюда

следует, что для  обработки  результатов  группового  экспертного  оценивания

проблем  первого  класса  можно  успешно  применять  методы   математической

статистики, основанные на осреднении данных.

  Ко второму  классу относятся проблемы, для  решения которых еще не накоплен

достаточный информационный потенциал. В  связи  с  этим  суждения  экспертов

могут очень сильно различаться друг от друга. Более  того,  суждение  одного

эксперта,  сильно  отличающееся  от  остальных   мнений,   может   оказаться

истинным. Очевидно, что применение методов осреднения результатов  групповой

экспертной оценки при  решении  проблем  второго  класса  может  привести  к

большим ошибкам. Поэтому  обработка  результатов  опроса  экспертов  в  этом

случае должна базироваться на методах, не использующих принципы  осреднения,

а на методах качественного  анализа.

  Учитывая, что  проблемы первого класса являются  наиболее распространенными

в практике экспертного  оценивания, основное внимание в этой главе  уделяется

методам обработки  результатов экспертизы для этого  класса проблем.

  В  зависимости   от  целей  экспертного  оценивания  и  выбранного  метода

измерения при обработке  результатов  опроса  возникают  следующие  основные

задачи:

  1) построение  обобщенной оценки объектов на  основе индивидуальных  оценок

экспертов;

  2) построение  обобщенной оценки  на  основе  парного  сравнения  объектов

каждым экспертом;

  3) определение  относительных весов объектов;

  4) определение  согласованности мнений экспертов;

  5) определение  зависимостей между ранжировками;

  6) оценка надежности  результатов обработки.

  Задача построения  обобщенной оценки объектов  по  индивидуальным  оценкам

экспертов  возникает  при  групповом  экспертном  оценивании.  Решение  этой

задачи зависит  от использованного экспертами метода измерения.

  При решении  многих задач недостаточно осуществить   упорядочение  объектов

по одному показателю  или  некоторой  совокупности  показателей.  Желательно

иметь численные  значения для  каждого  объекта,  определяющие  относительную

его важность по сравнению  с другими объектами.  Иными  словами,  для  многих

задач необходимо иметь  оценки объектов, которые не  только  осуществляют  их

упорядочение, но и  позволяют определять  степень  предпочтительности  одного

объекта  перед  другим.  Для решения этой  задачи  можно   непосредственно

применить  метод  непосредственной  оценки.  Однако  эту   же   задачу   при

определенных условиях можно решить путем обработки оценок экспертов.

  Определение   согласованности   мнений   экспертов   производится   путем

вычисления числовой меры, характеризующей  степень  близости  индивидуальных

мнений.  Анализ  значения  меры   согласованности   способствует   выработке

правильного  суждения  об  общем  уровне  знаний  по  решаемой  проблеме   и

выявлению  группировок  мнений   экспертов.   Качественный   анализ   причин

группировки мнений позволяет установить  существование  различных  взглядов,

концепций,  выявить  научные  школы,  определить  характер  профессиональной

деятельности и  т.  п.  Все  эти  факторы  дают  возможность  более  глубоко

осмыслить результаты опроса экспертов.

  Обработкой   результатов   экспертного   оценивания   можно    определять

зависимости   между   ранжировками   различных   экспертов   и   тем   самым

устанавливать единство и различие в мнениях экспертов.  Важную  роль  играет

также  установление  зависимости   между   ранжировками,   построенными   по

различным  показателям  сравнения  объектов.  Выявление  таких  зависимостей

позволяет вскрыть  связанные показатели сравнения  и, может быть,  осуществить

их группировку  по степени связи. Важность  задачи  определения  зависимостей

для  практики  очевидна.  Например,  если  показателями  сравнения являются

различные цели, а  объектами — средства  достижения  целей,  то  установление

взаимосвязи между  ранжировками, упорядочивающими  средства  с точки зрения

достижения целей, позволяет обоснованно ответить на вопрос, в какой  степени

достижение одной  цели при данных средствах  способствует  достижению  других

целей.

  Оценки, получаемые  на  основе  обработки,  представляют  собой  случайные

объекты,  поэтому  одной  из  важных  задач  процедуры  обработки   является

определение  их   надежности.   Решению   этой   задачи   должно   уделяться

соответствующее внимание.

  Обработка результатов  экспертизы представляет собой   трудоемкий  процесс.

Выполнение операций вычисления оценок и показателей  их  надежности  вручную

связано с большими трудовыми затратами даже в случае решения  простых  задач

упорядочения. В  связи  с  этим  целесообразно  использовать  вычислительную

технику  и  особенно  ЭВМ.  Применение  ЭВМ  выдвигает  проблему  разработки

машинных программ, реализующих алгоритмы обработки  результатов  экспертного

оценивания.

 

                       3.2. Групповая оценка объектов

 

  В данном  параграфе рассмотрим алгоритмы  обработки результатов экспертного

оценивания  множества  объектов.  Пусть  m  экспертов произвели оценку   n

объектов по l показателям. Результаты оценки  представлены  в виде  величин

[pic], где j – номер эксперта, i -  номер объекта,  h  – номер показателя

(признака)   сравнения.   Если   оценка   объектов    произведена    методом

ранжирования, то  величины  [pic]  представляют  собой ранги.  Если  оценка

объектов   выполнена   методом   непосредственной   оценки    или    методом

последовательного сравнения, то величины [pic] представляют собой числа из

некоторого отрезка  числовой оси, или  баллы.  Обработка  результатов  оценки

существенно зависит  от рассмотренных методов измерения.

  Рассмотрим   случай,   когда    величины    [pic]    получены    методами

непосредственной  оценки  или  последовательного  сравнения,  т.  е.   [pic]

являются числами, или баллами. Для получения  групповой  оценки  объектов  в

этом случае можно (воспользоваться  средним  значением  оценки  для  каждого

объекта [12]

  [pic]

                        (5.1)

где [pic] - коэффициенты  весов показателей сравнения объектов,  [pic]  -

коэффициенты компетентности  экспертов.  Коэффициенты  весов  показателей  и

компетентности  объектов являются нормированными величинами [12]

[pic]

                                            (5.2)

  Коэффициенты  весов показателей могут быть  определены  экспертным  путем.

Если [pic] -  коэффициент веса h-го показателя, даваемый j-м экспертом,  то

средний коэффициент  веса h-го показателя по всем экспертам  равен [12]

  [pic]

                               (5.3)

  Получение групповой  экспертной оценки путем  суммирования  индивидуальных

оценок с весами компетентности и важности показателей  при измерении  свойств

объектов в кардинальных шкалах основывается на  предположении  о  выполнении

аксиом теории полезности фон Неймана-Моргенштерна  как  для  индивидуальных,

так и для групповой  оценки и условий  неразличимости  объектов  в  групповом

отношении, если они  неразличимы во всех  индивидуальных  оценках  (частичный

принцип Парето). В  реальных задачах эти условия, как  правило,  выполняются,

поэтому получение  групповой оценки  объектов  путем  суммирования  с  весами

индивидуальных  оценок экспертов широко применяется  на практике.

  Коэффициенты  компетентности экспертов можно   вычислить  по  апостериорным

данным,  т.  е.  по  результатам  оценки  объектов.  Основной  идеей   этого

вычисления  является  предположение  о  том,  что  компетентность  экспертов

должна оцениваться  по степени согласованности их оценок с групповой  оценкой

объектов.

  Алгоритм вычисления  коэффициентов  компетентности  экспертов  имеет  вид

рекуррентной процедуры [12]:

  [pic]

                              (5.4)

  [pic]

                              (5.5)

  [pic]

           (5.6)

 

  Вычисления  начинаются  с  t=1.  В  формуле  (5.4)   начальные   значения

коэффициентов компетентности принимаются одинаковыми и равными [pic]  Тогда

по  формуле  (5.4)  групповые  оценки  объектов  первого  приближения  равны

средним арифметическим значениям оценок экспертов [12]

                                                                       [pic]

                                  (5.7)

  Далее вычисляется  величина [pic] по формуле (5.5) [12]:

                                                                      [pic]

                                               (5.8)

и значение  коэффициентов  компетентности  первого  приближения  по  формуле

(5.6) [12]:

                                                                      [pic]

                                              (5.9)

  Используя   коэффициенты   компетентности   первого   приближения,   можно

повторить  весь  процесс  вычисления  по  формулам  (5.4),  (5.5),  (5.6)  и

получить вторые приближения величин [pic]

  Повторение  рекуррентной   процедуры   вычислений   оценок   объектов   и

коэффициентов компетентности естественно ставит вопрос о ее сходимости.  Для