Экспертные оценки

5.2. Экспертные опросы, проводимые в несколько  туров

Одним из наилучших  методов использования суждений экспертов является метод «Дельфи», предусматривающий проведение экспертного опроса в несколько туров.

Создатели этого  метода назвали его «Дельфи» по имени древнегреческого города Дельфы, который заслужил свою известность оракулами, занимавшимися предсказанием будущего. Эти предсказания не были обычными для того времени пророчествами отдельных прорицателей. Это были предсказания, которые обнародовались лишь после тщательного обсуждения на совете дельфийских мудрецов и досконального ознакомления всех членов совета с обстоятельствами дела.

Первоначально рассматривалось применение метода «Дельфи» только для целей повышения качества прогнозирования. Первый эксперимент, выполненный в конце 40-х годов нашего века, относился к попытке определить лучший выигрыш на бегах по результатам ежедневных сообщений о заездах.

Метод «Дельфи» можно назвать «кибернетическим арбитражем» — кибернетическим потому, что процесс выработки суждений экспертами здесь управляется рабочей группой через обратную связь.

В методе «Дельфи» делается попытка усовершенствовать групповой подход к решению задачи разработки прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений.

В одном из вариантов  этого метода прямое обсуждение заменяется обменом информацией и мнениями с помощью тщательно разработанных  вопросников. К участникам обращаются с просьбой не только высказать свои мнения, но и привести их обоснование, а в каждом из последующих туров  опроса им выдается новая и уточненная информация по высказанным мнениям, которая образуется в результате расчета совпадения точек по ранее  выполненным этапам работы. Этот процесс  продолжается до тех пор, пока продвижение  в направлении повышения совпадения точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.

Для уяснения сущности метода «Дельфи» рассмотрим пример оценки стоимости какого-либо сложного проекта, при проведении которой могут существовать различные точки зрения и суждения. Будем решать эту задачу в следующей последовательности. Во-первых, попросим отдельно каждого эксперта дать свою оценку стоимости С, затем расположим ответы в порядке возрастания предлагаемых значений и определим квартили Q 1 , М и Q з таким образом, чтобы каждый из четырех интервалов, образованных этими тремя точками на линии значений С, содержал примерно одну четвертую часть оценок. Для 11 участников это будет выглядеть следующим образом:

Во-вторых, значения Q 1 М и Q 3 (мнение экспертной группы) сообщаем участникам опроса и в том  случае, если первоначальная оценка выходит  за междуквартальное значение ( Q 1 — Q 3 ), просим пересмотреть ее, а также высказать свои соображения, почему ответ должен быть ниже (или выше) значений, определенных 75% участников первого тура.

В-третьих, передаем результаты второго тура (которые, как  правило, имеют меньшее расхождение, чем в первом туре) в обобщенной форме всем участникам опроса, включая  сюда новые квартили и медиану. Кроме  того, фиксируются обоснования уменьшения или увеличения значений, предложенных участникам опроса во втором туре (конечно, при их обобщении и редактировании сохраняется анонимность авторов). После этого экспертов просят рассмотреть новые оценки и их обоснования, высказать свое сомнение об их весомости и пересмотреть свою предыдущую оценку. В том случае, если пересмотренные оценки выпадают из междуквартальных значений, то автора просят кратко изложить причины его  несогласия с аргументами, которые  привели бы его оценку ближе к  значению медианы.

Наконец, в четвертом  туре участникам опроса сообщают квартили третьего распределения ответов  и контраргументы, высказанные в  третьем туре, и просят еще раз  пересмотреть оценки. Медиана, получаемая в результате четвертого тура, принимается  в качестве значения групповой экспертной оценки. Зачастую требуемый уровень  консенсуса экспертов достигается  за два тура. Метод «Дельфи» успешно применяется в маркетинге, например, при решении таких задач, как экспертное определение сметной стоимости необычных проектов, выявление множества важнейших факторов, путей решения маркетинговых проблем (например, увеличение сбыта).

5.3. Метод коллективной  генерации идей

Метод коллективной генерации идей (по американской терминологии, метод «мозговой атаки») относится  к третьему типу групповых экспертных оценок и направлен на получение  большого количества идей, в том  числе и от лиц, которые, обладая  достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.

При проведении экспертного опроса с помощью  метода коллективной генерации идей проблема должна быть сформулирована в основных терминах с выделением центрального вопроса. Кроме того, предусматриваются  отсутствие любого вида критики, препятствующей формулировке идей, свободная интерпретация  идей в рамках данного вопроса, стремление к получению максимального количества идей, учитывая принцип повышения  вероятности полезных предложений  с увеличением общего их количества и, наконец, поощрение различных  комбинаций идей и путей их усовершенствования.

Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним  из членов группы идея порождает творческую реакцию у других. Исследования эффективности  метода коллективной генерации идей показали, что групповое мышление производит на 70% больше ценных новых  идей, чем сумма индивидуальных мышлений. Наиболее продуктивными признаны группы в 10—15 человек, хотя имеются примеры  использования и более многочисленных групп — до 200 человек.

Так как результаты этого метода представляют не совокупность несвязанных высказываний, а систему  идей, ни одно предложение не персонифицируется. Результаты обсуждения считаются плодом коллективного труда всей группы. Это вполне закономерно. Ведь любая  идея, высказанная в данный момент одним из участников опроса, могла  уже ранее «мысленно принадлежать»  его коллеге, ожидающему слова. Кроме  того, конкретное предложение может  быть прямо подсказано идеей, поданной кем-то несколькими минутами раньше. Принимая во внимание указанный аспект, на рассмотрение не рекомендуется выносить проблемы, затрагивающие чей-либо приоритет  в рассматриваемой области.

С помощью метода коллективной генерации идей можно  успешно решать многие задачи маркетинговых  исследований, например:

• определение возможных путей развития прогнозируемого процесса или объекта, один из которых оптимальный; при решении подобных задач данный метод применяется с целью определения полного набора возможных путей развития;
• определение наиболее широкого круга применяемых методов, если решение проблемы требует параллельного или последовательного использования ряда разнообразных методов;
• выявление круга факторов, которые необходимо принимать во внимание, определяя окончательный вариант решения задачи.

К числу важнейших  недостатков метода коллективной генерации  идей относятся значительный уровень  информационного шума, создаваемого тривиальными идеями, спонтанный и  стихийный характер генерации идей.

Принципы метода коллективной генерации идей явно просматриваются  в «пятиминутках» и «оперативках».

5.4. Порядок проведения  экспертных опросов  и содержание их  отдельных этапов

Можно выделить следующие основные этапы экспертных опросов:

• А . Подбор экспертов и формирование экспертных групп.
• Б . Формирование вопросов и составление анкет.
• В . Формирование правил определения суммарных оценок на основе оценок отдельных экспертов.
• Г . Работа с экспертами.
• Д . Анализ и обработка экспертных оценок.

Кратко рассмотрим содержание отдельных этапов экспертных опросов.

А. Подбор экспертов  и формирование экспертных групп

На первом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры  экспертной группы, количества экспертов  и их индивидуальных качеств, иными  словами, определяются направления (разработка нового продукта, ценообразование, сбыт и т.п.), по которым необходимо или  желательно привлечь экспертов (устанавливается  специализация экспертов). Далее  по каждому направлению выделяются подгруппы экспертов и устанавливается количество экспертов в каждой подгруппе, которое зависит от конкретной постановки задачи и должно обеспечивать необходимый охват и полноту аспектов по каждому конкретному вопросу. Затем определяются требования к квалификации экспертов, стажу их работы в данной области опроса и общему стажу.

Определение численности  экспертной группы можно осуществлять на основе использования рассмотренных  выше (разд. 4.11.3) показателей математической статистики или на основе «прагматического»  подхода.

Зачастую расчеты  по формулам математической статистики дают слишком высокие значения численности  экспертной группы (порой больше 100 экспертов), поэтому на практике можно  рекомендовать использовать «прагматический» подход, который не является столь  теоретически обоснованным, как первый подход, но зато легко реализуемым.

Оценки численности  группы экспертов в этом случае можно  произвести, руководствуясь следующими соображениями. Ясно, что численность  группы не должна быть малой, так как  в этом случае был бы потерян смысл  формирования экспертных оценок, определяемых группой специалистов. Кроме того, на групповые экспертные оценки в  значительной степени влияла бы оценка каждого эксперта. При увеличении группы экспертов хотя и устраняются  эти недостатки, но зато появляется опасность возникновения новых. Так, при очень большом числе  экспертов оценка каждого из них  в отдельности почти не влияет на групповую оценку. Причем рост численности  экспертной группы далеко не всегда приносит повышение достоверности оценок. Часто расширение группы экспертов  возможно лишь за счет привлечения  малоквалифицированных специалистов, что в свою очередь может привести лишь к уменьшению достоверности  групповых оценок. Одновременно с  ростом числа экспертов увеличиваются  трудности, связанные с обработкой результатов опроса и координацией работы группы. Следовательно, существуют некоторые граничные оценки численности  группы экспертов Nmin и Nmax , которые определяются следующим образом.

Нижняя оценка численности N min должна зависеть от числа оцениваемых событий. Данное предположение основано на существовани» правила, которое обычно соблюдается при работе ученых советов, комиссий специалистов и т.д., а именно — требований представительности группы, состоящей из N экспертов, для принятия решений по множеству m событий, которое можно представить как N ? m . Поэтому принимаем N min ? m .

Верхней границей численности экспертной группы является потенциально возможное число экспертов:

откуда действительное значение численности группы N находится  в пределах

После того как  найдена численность группы, определяется ее структура и состав, т.е. подбираются  в группу эксперты требуемой специализации  и квалификации. Для того чтобы  экспертная группа могла всесторонне  произвести оценку событий, число экспертов N l каждого l -го направления желательно выбрать одинаковым:

r – число направлений

Далее должно быть учтено одно ограничение, касающееся соответствия целей экспертов целям экспертного  опроса, т.е. необходимо установить, имеется  ли тенденция у отдельных экспертов  необъективно оценивать рассматриваемые  события. Для этого желательно выявить  потенциальные возможные цели экспертов, противоречащие целям получения  объективных результатов. Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завышать или занижать оценки так, чтобы повлиять на групповые в желательном для себя либо для других лиц направлении.

На основе сформулированных выше условий последовательность формирования группы экспертов может быть следующей. Сначала определяется потенциально возможное число экспертов N n , а также минимально допустимая численность группы N min . После этого среди потенциально возможных экспертов выделяют группу специалистов N k ( N k ? N n ) требуемой квалификации для оцениваемого класса событий. Затем из N k исключают тех экспертов, чьи потенциально возможные цели могут противоречить целям получения объективных результатов. Из оставшихся экспертов N ц ( N ц ? N k ) формируют группу так, чтобы в ней обеспечивалось равночисленное представительство разных направлений. Для этого вначале определяют максимально возможное число представителей каждого направления как связано с важностью принимаемых решении на основе экспертных оценок.