Экспертные оценки

5. Экспертные оценки

5.1. Общая характеристика

Несмотря на все большую роль математических методов при решении экономических  задач, нельзя считать, что формальные методы современной математики окажутся универсальным средством решения  всех проблем, возникающих в сферах деятельности общества. Методы, использующие результаты опыта и интуицию, т.е. эвристические (неформальные), безусловно сохранят свое значение и в дальнейшем. Особенно это касается вопросов проведения маркетинговых исследований.

Процедуры формирования целей маркетинговых исследований, вариантов их реализации, моделей, критериев  и т.п. не могут быть формализированы. Многие оценки в этой области основываются на видении, интуиции, воображении и опыте того, кто их формируют.

Примерами традиционных, эвристических процедур являются различные  экспертизы, консилиумы, совещания  и т. д. Порядок их проведения часто  регламентируется традицией, т.е. в  конечном счете снова опытом, и во многих отношениях представляет собой искусство. Однако постепенно и в эту область начинают проникать разнообразные математические методы обработки исходного материала эвристического происхождения, и в первую очередь статистические методы.

Можно выделить два уровня использования экспертных оценок: качественный и количественный. Если применение экспертных оценок на качественном уровне (определение возможных  направлений развития рыночной деятельности, выбор мероприятий по продвижению  продукта и т.п.) не вызывает сомнения, то возможность применения количественных балльных оценок нередко подвергается критике. При этом справедливо отмечают, что балльные оценки нередко скрывают неумение квалифицированно оценивать  те или иные действия, явления, перспективы  развития.

Кроме того, наиболее часто применяемый метод получения  интегральных экспертных оценок на основе взвешенных сумм имеет ряд серьезных  недостатков [15].

Однако в связи  с ограниченными возможностями  применения в управлении и маркетинге экономико-математических методов, отсутствием  во многих случаях статистической и  другой информации, а также надежных методов определения соответствия экономико-математических моделей  реальным объектам экспертные оценки являются единственным средством решения  многих задач. Для повышения достоверности  и надежности получаемых с помощью экспертных оценок результатов надо владеть теоретическими и методическими основами использования данных методов, избегать иллюзии простоты их применения.

Методы экспертных оценок используются для прогнозирования  событий будущего, если отсутствуют  статистические данные или их недостаточно. Они также применяются для  количественного измерения таких  событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения. Иными словами, методы экспертных оценок применяются как для количественного  измерения событий в настоящем, так и для целей прогнозирования.

Предполагается, что эксперт основывает свое суждение на группе причинных факторов, действующих  в рамках определенного сценария, оценивая вероятность их реализации и их вероятное влияние на изучаемый  показатель, например уровень спроса.

При этом данная казуальная структура неразрывно связана  с личностью эксперта, так что  другой эксперт, поставленный перед  той же проблемой, может, используя  ту же информацию, прийти к другим выводам.

При проведении маркетинговых исследований широко применяются экспертные оценки, основанные на суждениях менеджеров фирм, для  которых проводится данное маркетинговое  исследование, торговых и иных посредников  и потребителей (покупателей). Менеджера  просят дать по возможности точную оценку исходя из имеющейся у него информации, с указанием, например в  форме вероятностных показателей, степени точности или его уверенности  в своих оценках.

В качестве экспертов  на фирме чаще всего используют менеджеров и сотрудников сбытовых служб.

Данный вариант  в той или иной степени применяется  фирмой всегда. Он особенно заметен  в организациях, где доминирует лидер, реализующий свое собственное видение. Ценность полученных оценок, очевидно, зависит от опыта и интуиции лица, формулирующего оценку. Путь к уменьшению риска субъективности индивидуального  суждения заключается в обращении  к группе менеджеров, которые обсуждают  свои точки зрения и стремятся  прийти к консенсусу. Хорошую возможность  достижения консенсуса представляет метод  Дельфи (см. ниже).

Обычно персонал посреднических организаций имеет  достаточно точное представление о  потенциале продаж, который могут  обеспечить их клиенты, и, кроме того, имеет возможность дать оценку потенциала рынка в целом, по крайней мере на той территории, которую он обслуживает. Проще всего попросить торговых работников дать оценки по каждому товару, но не абстрактно, а исходя из конкретных гипотез о маркетинговых усилиях в вопросах цен, рекламной поддержки и т.п. После этого менеджеры службы сбыта формулируют итоговые оценки, суммируя оценки всех экспертов.

Включить торговых работников в процесс прогнозирования  полезно прежде всего для того, чтобы создать у них соответствующую мотивацию и способствовать принятию назначаемых им квот по продажам. Кроме того, они незаменимы при построении прогнозов продаж в очень малых сегментах, на уровне отдельной территории или отдельного клиента.

Очевидно, что  зачастую трудно из-за отсутствия статистической и отчетной информации (особенно касающейся деятельности фирм-конкурентов) получить количественные оценки таких показателей, например, как показатели рыночной доли и динамики изменения объема продаж. В этом случае также могут  использоваться экспертные оценки, формирующие  чисто качественные значения этих показателей (в терминах «выше», «на том же уровне», «ниже» и т.п.).

В то же время  экспертные оценки имеют и недостатки. С одной стороны, нет гарантий, что полученные оценки в действительности достоверны, а с другой — имеются  определенные трудности в проведении опроса экспертов и обработке  полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение. Существующие способы определения  достоверности экспертных оценок основаны на предположении, что в случае согласованности  действий экспертов достоверность  оценок гарантируется. Это на самом  деле не всегда верно, и можно привести случаи, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.

Следовательно, единодушие большинства экспертов  не всегда является критерием достоверности  оценок. Отсюда вытекает необходимость  тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, особенно нестандартных, например связанных с прогнозированием рыночной ситуации в нестабильных политико-экономических  условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные «средними» экспертами, будут основаны в лучшем случае на традиционных, привычных  оценках, тогда как высококвалифицированные  специалисты обнаружат и оценят скрытые факторы.

Используя экспертные оценки, предполагают, что при решении  проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем  два эксперта. Предполагается также, что совокупность индивидуальных ответов  экспертов должна включать «истинный» ответ.

Зачастую оценки экспертов не обладают достаточной  устойчивостью, т.е. эксперт может  одни и те же события при нескольких повторных экспертизах оценить  по-разному. Чем устойчивее оценки, тем больше можно им доверять. Однако на практике повторная экспертиза вследствие организационных и финансовых трудностей применяется крайне редко.

Достоверность оценок можно повысить следующим  образом. Нужно проанализировать данные о расхождениях экспертных оценок и  их действительных значений, найденных  в процессе реализации событий, и  сделать соответствующие переоценки компетентности экспертов. В частности, поставив оплату труда экспертов  в прямую зависимость от уровня их компетентности. Экспертов, обладающих низкой компетентностью, в дальнейшем не привлекать к проводимым экспертизам.

Наличие способа  точного определения достоверности  априорных оценок по существу предполагает знание истинных оценок, что одновременно исключает необходимость их определения.

При нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информации о  событиях и недостаточной компетентностью  экспертов, возможна и погрешность  совсем иного рода, обусловленная  заинтересованностью экспертов  в результатах оценки, что обязательно  скажется на их достоверности. Наличие  такого рода погрешности может значительно  искажать оценки, вследствие чего необходимо предусмотреть соответствующие  меры для устранения погрешности.

Например, всегда существует опасность систематического занижения оценок, потенциального спроса со стороны сбытовиков, которые заинтересованы иметь легко выполнимый план по продажам, а в конце планового периода  добиться значительного превышения плановых показателей. Отметим следующие  варианты коррекции таких оценок, снижающие риск систематической  погрешности:

• попросить торговых работников самостоятельно определить степень погрешности их оценок. Эти данные можно затем использовать для уточнения прогноза;
• далее возможно скорректировать оценки торговых работников с помощью регионального менеджера по продажам, который может иметь более широкий взгляд;
• возможно ввести корректирующий коэффициент, основанный на учете погрешностей в прошлых прогнозах каждого торгового работника.

Одним из показателей, характеризующих пригодность эксперта, является степень его надежности. Под степенью надежности понимается относительная частота случаев, когда он приписывал более высокую  вероятность тем событиям, которые  впоследствии реализовывались. На этом основании считается, что чем  чаще эксперт оказывался прав, тем  выше его авторитет. Однако необходимо иметь в виду, что могут существовать обстоятельства, когда эксперт, несведущий в данном вопросе, дает правильный ответ  с высокой степенью вероятности. Например, на стабильных рынках можно  успешно прогнозировать ситуацию на ближайшее будущее, принимая ее такой  же, как и сегодня.

Применяются как  индивидуальные, так и групповые (коллективные) экспертные опросы.

Основными целями использования индивидуальных экспертных оценок являются:

• прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем (количественная и качественная оценка вероятности реализации определенного события в будущем, прогнозирование характеристик рынка и направлений их развития, определение целей и стратегий маркетинговой деятельности, ранжирование различных объектов и т.д.);
• анализ и обобщение результатов, представленных другими экспертами;
• составление сценариев;
• выдача заключений на работу других специалистов или организаций (рецензии, отзывы, экспертизы и т.д.).

Отдельный эксперт  в раде случаев может быть очень  полезен как источник информации и как советник для руководителей, принимающих решения.

Даже в том  случае, если работа выполнена одним  экспертом, она может по существу обобщить мнения многих людей и дать крайне полезные исходные данные для  анализа.

К числу групповых  экспертных опросов относятся:

• открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;
• закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса;
• свободные высказывания без обсуждения и голосования. Групповые экспертные оценки могут быть получены при опросе экспертов как одной специальности, так и разных. В последнем случае экспертная оценка часто носит характер деловой игры.

Опыт показал, что традиционные методы обсуждения поставленных перед группой экспертов  вопросов, относящиеся к первому  типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции  не являются наилучшими методами использования  группы экспертов. Эти методы обсуждения страдают рядом недостатков, таких, как взаимное влияние мнений экспертов  и нежелание участников обсуждения отказываться от точек зрения, ранее  высказанных публично. Поэтому на практике при подготовке решений  по широкому кругу вопросов находят  все большее распространение  второй и третий типы групповых экспертных оценок.

Второй тип  групповых экспертных оценок можно  подразделить на две категории: экспертный опрос, проводимый в один тур путем  одноразового заполнения анкет, и проводимый в несколько туров путем многократного  заполнения анкет экспертами с целью  последовательного уточнения оценок.