Методы экспертных оценок. Их характеристика

     Четвертый этап - систематизация идей, высказанных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комплексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным признакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к частным, дополняющим или развивающим более общие идеи).

     Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каждая из них подвергается всесторонней критике со стороны участников мозговой атаки).

     Основное  правило этапа деструирования - рассматривать  каждую из систематизированных идей только с точки зрения препятствий  на пути к её осуществлению, т.е. участники атаки выдвигают доводы, опровергающие систематизированную идею. Особенно ценным является то обстоятельство, что в процессе деструирования может быть генерирована контр-идея, формулирующая имеющиеся ограничения и выдвигающая предложение о возможности снятия этих ограничений.

     Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, численность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контр-идеи записываются на магнитофон.

     Шестой  этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:

     1. Составляется перечень всех критических  замечаний, полученных на этапе  деструирования. При необходимости  критические замечания уточняются, отбрасываются дублирующие.

     2. Составляется сводная таблица  этапов систематизации и деструирования идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья – показатели практической применимости идей; четвертая – контр-идеи, высказанные на этапе деструирования.

     3. Оценивается каждое критическое  замечание и контр-идея:

     а) вычеркивается из таблицы, если опровергается  хотя бы одним показателем практической применимости;

     б) не вычеркивается, если оно не опровергается  ни одним показателем.

     4. Составляется окончательный список  идей; переносятся в список только  те идеи, которые не опровергнуты  критическими замечаниями и остались  в таблице, а также контридеи.

     Метод «635» — одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе — 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

     Метод коллективной генерации идей апробирован  на практике и позволяет находить групповое решение при определении  возможных вариантов развития объекта  прогнозирования, исключая путь компромиссов, когда единое мнение нельзя считать результатом беспристрастного анализа проблемы.

     Дельфийский метод. В последние два десятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мнения. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.

     Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов  и субъективные суждения в силу необходимости  должны заменить точные законы причинности, отражаемые естественными науками.

     Метод «Дельфи» позволяет обобщать мнения отдельных экспертов в согласованное групповое мнение. Ему присущи все недостатки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность прогнозирования.

     Метод «Дельфи» характеризуется тремя  особенностями, которые отличают его  от обычных методов группового взаимодействия экспертов. К таким особенностям относятся: а) анонимность экспертов; б) использование результатов предыдущего тура опроса; в) статистическая характеристика группового ответа.

     Анонимность заключается в том, что в ходе проведения процедуры экспертной оценки прогнозируемого явления, объекта участники экспертной группы неизвестны друг другу. При этом взаимодействие членов группы при заполнении анкет, полностью устраняется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.

     Использование результатов предыдущего тура опроса заключается в следующем: поскольку групповое взаимодействие осуществляется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извлекает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функционирования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возможность группе специалистов концентрировать свои усилия на первоначальных задачах, а не предполагать каждый раз что-то новое.

     Статистическая  характеристика группового ответа заключается  в том, что группа специалистов составляет прогноз, содержащий точку зрения только большинства экспертов, т.е. такую точку зрения, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени различия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характеристики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квартилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оценки которого одной половиной членов группы были больше этого числа, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.

     Метод «Дельфи» осуществим и эффективен при  получении преимуществ от участия  группы в подготовке прогноза; в  то же время этот метод сводит до минимума или устраняет большинство трудностей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.

     В развитии метода «Дельфи» применяется  перекрестная коррекция. Будущее событие  представляется как огромное множество связанных и переходящих друг в друга путей развития.

     При введении перекрестной корреляции значения каждого события за счет введенных  определенных связей будут изменяться либо в положительную, либо в отрицательную  сторону, корректируя тем самым  вероятности рассматриваемых событий. С целью будущего соответствия модели реальным условиям в модель могут быть введены элементы случайности.

     Сущность  методов экспертных оценок для разработки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).

     Содержание  методов экспертных оценок заключается в следующем:

     I. Создание групп. Для организации  проведения экспертных оценок  создаются рабочие группы, в функции  которых входят проведение опроса, обработка материалов и анализ  результатов коллективной экспертной  оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив раз вития данной отрасли. Количество экспертов, привлекаемых для раз работки прогноза, может колебаться от 10 до 150 человек, в зависимости от сложности объекта.

     II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, необходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и средства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели. При этом направления научных исследований и разработок не должны пересекаться друг с другом.

     III. Разработка анкеты. Заключается в разработке вопросов, которые будут предложены экспертам. Форма вопроса может быть разработана в виде таблиц, но содержание их должно определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур по иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.

     При проведении опроса экспертов необходимо обеспечить однозначность понимания отдельных вопросов, а также независимость суждений экспертов.

     IV. Расчёт экспертных оценок. Необходимо  провести обработку материалов экспертных оценок, которые характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.

     Окончательная количественная оценка определяется с  помощью четырех основных методов экспертных оценок и множества их разновидностей:

     1)метод  простой ранжировки (или метод  предпочтения);

     2)метод  задания весовых коэффициентов;

     3)метод  парных сравнений;

     4)метод  последовательных сравнений.

     Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два – следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.

     Таблица 1.1 Экспертные оценки признаков (направлений исследований)

      - порядок предпочтения данного  признака перед другими.

     Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение Sj j-го признака:

      , (1.1)

     где mkj - количество экспертов, оценивающих j-й признак (mk  m);

     i - номер эксперта; i = 1,…,m;

     j - номер признака, j = 1,2,…,n.

     Определяется  средний ранг каждого признака. Чем  меньше величина Sj, тем больше важность этого признака.