Методы экспертных оценок. Их характеристика

     Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации  , введенного М. Кендаллом.

     Определяется  средний ранг совокупности признаков:

      ,(1.2)

     Вычисляется отклонение dj среднего ранга j-го признака от среднего ранга совокупности :

      ,(1.3)

     Определяется  число одинаковых рангов, назначенных  экспертами j-му признаку – tq.

     Определяется  количество групп одинаковых рангов – Q. Определяется коэффициент конкордации  по формуле:

      ,(1.4)

     где

      ,(1.5)

     Коэффициент  может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

     По  мере увеличения согласованности мнений экспертов коэффициент конкордации  возрастает и в пределе стремится  к единице. Однако даже если он равен  или близок к нулю, не всегда имеет  место полное разногласие. Среди  экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти – противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.

     Достоинства метода простой ранжировки:

     1) сравнительная простота процедуры получения оценок;

     2) меньшее число экспертов по  сравнению с другими методами  при оценке одного и того  же набора признаков.

     Недостаток  же его в том, что:

     1) заведомо считают распределение  оценок равномерным;

     2) уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.

     Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:

     1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);

     2) наиболее важному из всех признаков  придают весовой коэффициент,  равный какому-то фиксированному  числу, а всем остальным – коэффициенты, равные долям этого числа.

     Обобщенное  мнение экспертов также получаем с помощью методов математической статистики по формулам (1.1 – 1.5).

     Метод последовательных сравнений заключается в следующем:

     1) эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An ;

     2) присваивает первому признаку  значение, равное единице: A1=1, остальным  же признакам назначает весовые  коэффициенты в долях единицы;

     3) сравнивает значение первого  признака с суммой всех последующих.

     Возможны  три варианта:

     A1 >A2 + A3 + … + An

     A1 = A2 + A3 + … + An

     A1 < A2 + A3 + …+ An

     Эксперт выбирает наиболее соответствующий, по его мнению, вариант и приводит в соответствие с ним оценку первого  события;

     4) сравнивает значение первого  признака с суммой всех последующих за вычетом самого последнего признака.

     Приводит  оценку первого признака в соответствие с выбранным из трех вариантов  неравенством:

     A1 > A2 + A3 + … + An-1

     A1 = A2 + A3 + … + An-1

     A1 < A2 + A3 + … + An-1

     5) процедура повторяется до сравнения A1 с A2 + A3.

     После того как эксперт уточнил оценку первого признака в соответствии с выбранным им неравенством из трех возможных:

     A1 > A2 + A3

     A1 = A2 + A3

     A1 < A2 + A3

     он  переходит к уточнению оценки второго признака A2 по той же схеме, что и в случае первого, т.е. сравнивается оценка второго признака с суммой последующих.

     Преимущество  его состоит в том, что эксперт  в процессе оценивания признаков  сам анализирует свои оценки. Вместо назначения коэффициентов возникает  творческий процесс создания этих коэффициентов.

     Недостатки  метода таковы:

     1) сложность его; неподготовленный  эксперт будет с трудом справляться  с этой процедурой; вместо того, чтобы уточнять свои первоначальные  оценки, он будет путаться в  них;

     2) громоздкость; на оценку одного  и того же набора признаков он требует в четыре раза больше операций, чем метод простой ранжировки (другими словами, для одной и той же работы нужно в четыре раза больше экспертов).

     Метод парных сравнений

     Согласно  ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.

     Чтобы эксперту было удобнее проводить  сравнения, признаки (A,B,C,…N) заносятся  в таблицу и по горизонтали  и по вертикали.

     

     Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй – результат сравнения первого признака со вторым, в третьей – результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором – единицу, в третьей – сравнение второго признака с третьим и т.д.

     Половина  таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы  не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:

     

     После ряда математических преобразований мы получаем оценки каждого признака А1, А2,, … ,Аn с точки зрения данного эксперта. Суммарные оценки признаков получаются путем идентичной обработки суммарной матрицы, каждый элемент которой есть сумма сравнений признаков, данных всеми экспертами.

     Суммарная матрица имеет вид

     

     m – число экспертов, оценивающих  данный набор признаков;

      - оценки соответственно 1, 2, …, j, …, m экспертов;

      - суммарные оценки, данные всеми  экспертами.

     Определяя дисперсию суммарной матрицы и сравнивая её с максимально возможной дисперсией матрицы с таким же числом элементов, можно определить согласованность мнений экспертов. Чем ближе дисперсия суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.

     Число экспертов, требуемое для оценки определенной совокупности признаков  методом парных сравнений, в два  раза больше, чем при использовании  метода простой ранжировки, и в  два раза меньше, чем при методе последовательных сравнений.

     В настоящее время во многих методах  проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:

      , (2.6)

     где - коэффициент компетентности эксперта;

      - коэффициент степени знакомства  эксперта с обсуждаемой проблемой;

      - коэффициент аргументированности.

     Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:

     0 - эксперт не знаком с вопросом;

     1,2,3 - эксперт плохо знаком с вопросом, но вопрос входит в сферу его интересов;

     4,5,6 - эксперт удовлетворительно знаком  с вопросом, не принимает непосредственного  участия в практическом решении  вопроса;

     7,8,9 – эксперт хорошо знаком с  вопросом, участвует в практическом решении вопроса;

     10 – вопрос входит в круг узкой  специализации эксперта.

     Эксперту  предлагается самому оценить степень  своего знакомства с вопросом и подчеркнуть  соответствующий балл. Затем этот балл умножается на 0,1, и получаем коэффициент.

     Коэффициент аргументированности учитывает  структуру аргументов, послуживших  эксперту основанием для определенной оценки. Коэффициент аргументированности  предлагается определить в соответствии с таблицей 1.2 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.

     Определив коэффициент компетентности, умножают на него значение оценок экспертов.

     Таблица 1.2 Значения коэффициента аргументированности

       
 
 
 
 

     Вывод 

     Методы  экспертных оценок используются для  прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения товара на рынок. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования.

     Когда речь идет о прогнозировании объема продаж, то обычно торговый персонал и  персонал торговых посреднических организаций имеет достаточно точное представление о потенциале продаж, который могут обеспечить их клиенты, и, кроме того, имеет возможность дать оценку потенциала рынка в целом, по крайней мере на той территории, которую он обслуживает. Проще всего попросить торговых работников дать оценки по каждому товару, но не абстрактно, а исходя из конкретных гипотез о маркетинговых усилиях в вопросах цен, рекламной поддержки и т.п. После этого менеджеры службы сбыта формулируют итоговые оценки, суммируя оценки всех экспертов.

     Очевидно, что зачастую трудно из-за отсутствия статистической и отчетной информации (особенно касающейся деятельности фирм-конкурентов) получить количественные оценки, например, таких показателей, как показатели рыночной доли и динамики изменения  объема продаж. В этом случае также могут использоваться экспертные оценки, формирующие чисто качественные значения этих показателей (в терминах «выше», «на том же уровне», «ниже» и тому подобное).

     В то же время экспертные оценки имеют  и недостатки. С одной стороны, нет гарантий, что полученные оценки действительно достоверны, а с другой – имеются определенные трудности в проведении опроса экспертов и обработке полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение. Существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется. Это на самом деле не всегда верно, и можно привести случаи, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.