Оценка качества государственного управления. Минимизация экспертного субъективизма

Проведенный анализ качества государственного управления в субъектах Российской Федерации позволяет:

• оценить исходное состояние качества государственного управления;
• определить приоритеты административной реформы по каждому субъекту Российской Федерации;
• приступить к инвентаризации и обобщению лучшей практики регионального управления.

При разработке методики обработки данных одна из главных  задач состояла в минимизации  экспертного субъективизма, которым  страдают многие международные индексы  качества государственного управления. Безусловно, эта задача в окончательном виде решена быть не может. Тем не менее, подтверждение самооценок документами снижает степень экспертного произвола и дает возможность указать меру субъективизма.

Большей строгости итоговых количественных оценок способствовала специальная методика агрегирования исходных данных. Эта методика принципиально отличается от традиционно используемых методов линейного агрегирования, где решающее значение имеют экспертно определяемые веса учитываемых параметров и действует эффект замещения одного «плохого» параметра другим «хорошим». Применяя традиционное линейное агрегирование, можно получить удовлетворительную оценку за счет одной хорошей позиции и при абсолютно провальных остальных. В качестве бытового примера компенсаторного эффекта можно привести телевизор, у которого прекрасно работает звук, но нет изображения. С точки зрения линейного агрегирования звук компенсирует отсутствие изображения, хотя любого зрячего телезрителя убедить в этом будет не просто.

Точно так же нельзя считать удовлетворительным качество государственного управления, если в нем полностью отсутствуют признаки управления по результатам, нет отлаженной системы взаимодействия с клиентами государственных органов. Поэтому при построении индекса качества государственного управления использовалось правило пороговой некомпенсируемости. [8]  Это правило предполагает, что составляющие качества госуправления определены. В нашем случае они взяты из Концепции административной реформы. Хотя очевидно, что набор составляющих может быть и другим.

Еще одна особенность  использованного метода обработки  данных состояла в том, что регионы  последовательно сравнивались друг с другом, а не с искусственным  эталоном, заданным субъективной системой баллов и весов. Сравнение производилось в формате «турнирной матрицы» с использованием последовательной максиминной процедуры. [9] В результате каждый из участвующих в сравнении регионов получил свой ранг по каждому из трех составляющих качества управления (управление результативностью, внутренняя организация, взаимодействие с клиентами).

Ответы на вопросы  даются либо в бинарной («да»/«нет») форме, либо в виде трехградационных оценок («плохо» – 1, «средне» – 2, «хорошо» – 3). Как уже отмечалось, интегральное значение на уровне раздела (подблока) получается методом порогового агрегирования. [10]

Рассмотрим сначала  случай, когда все оценки внутри блока имеют вид {1, 2, 3}. В этом случае агрегирование происходит по «пороговому  правилу»

Wtr = {(x, y)|[v1(x) < v1(y)] или [v1(x) = v1(y) и v2(x) < v2(y)]}, где v1(x) – число единиц («1») в записи вектора x, а v2(x) – соответственно число двоек («2»). Таким образом, отношение Wtr представляет собой множество пар векторов, для которых выполняется одно из двух условий: либо в первом векторе число единиц меньше, чем во втором, либо – при совпадении числа единиц – в первом векторе число двоек меньше, чем во втором.

Именно в этом и  состоит пороговая модель агрегирования: даже если у какого-то вектора все  компоненты, кроме одной (равной 1), равны 3, то его агрегированное значение будет меньше агрегированного значения вектора, имеющего все «средние» оценки. Иначе говоря, даже высокие оценки по всем остальным критериям не компенсируют очень низкого уровня оценки по какому-либо критерию («пороговая некомпенсируемость»).

Отметим, что результатом  агрегирования является ранжирование векторов. Поэтому наличие единственной «плохой» оценки 1 не означает, что соответствующий  субъект Федерации получает низкий рейтинг. Это означает, что этот субъект  получает рейтинг более низкий, чем субъект, у которого представлены только средние оценки.

Итак, все множество  векторов оценок разбивается на следующие  классы:

1. {1, 1, …, 1} – оценки по всем вопросам имеют минимальные («плохо») значения;
2. {2, 1, …, 1}, {1, 2, …, 1}, … , {1, 1, …, 2} – оценки по всем, кроме одной (ее значение – «2»), также имеют значения «плохо»;
3. {3, 1, …, 1}, {1, 3, …, 1}, … , {1, 1, …, 3} – оценки по всем, кроме одной (ее значение – «3»), также имеют значения «плохо»;
4. {2, 2, …, 1}, …, {1, 2, …, 2}, … – оценки по двум вопросам имеют значения «2», остальные – «1»;

… … …

i. {2, 2, …, 2} – «пороговый» вектор – все значения «средние»;

i+1. {3, 2, …, 2}, {2, 3, …, 2}, …, {2, 2, …, 3} – все, кроме одной (равной «3»), имеют значения «2»;

… … …

K. {3, 3, …3} – оценки по всем вопросам имеют максимальные («хорошо») значения, где K – это число классов эквивалентности , где n - число вопросов в подблоке, т. е. размерность векторов оценок).

Так получается шкала 1, …, K классов эквивалентностей. Эта шкала порядковая, т. е. ее можно отобразить на отрезок [0, 1]. Таким образом, в качестве агрегированной оценки подблока получаем некоторое число в единичном интервале:

, где i – номер класса эквивалентности.

Теперь рассмотрим более простой случай, если варианты ответов в блоке имеют бинарную форму. Понятно, что пороговое правило Wtr может быть редуцировано на случай бинарных оценок вида «да»/«нет», или {1, 2}. Тогда сравнивать имеет смысл лишь количество единиц в записи векторов оценок, а все множество векторов также разбивается на классы эквивалентности:

1. {1, 1, …, 1} – оценки по всем вопросам имеют отрицательные («нет») значения;
2. {2, 1, …, 1}, {1, 2, …, 1}, … , {1, 1, …, 2} – оценки по всем, кроме одной (ее значение – «да»), также имеют значения «нет»;
3. {2, 2, …, 1}, …, {1, 2, …, 2}, … – оценки по двум вопросам имеют значения «да», остальные – «нет»;

L. {2, 2, …, 2} – все ответы положительные («да»).

Аналогичным образом  получаем значение в интервале [0, 1].

Задача немного усложняется, если внутри подблока встречаются вопросы с оценками как по шкале {1, 2, 3}, так и бинарного вида. Множества вопросов с трех- и двухградационными оценками рассматриваются в отдельности, т. е. получаются две группы вопросов. В каждой группе получается некоторое значение в интервале [0, 1] (одно соответствует значению класса эквивалентности для трехградационных, другое – для бинарных критериев-вопросов): ϕ₃(x) и ϕ₂(x). Далее применяем линейную свертку: Θ(x) = ϕ₃(x) × λ₃+ ϕ₂(x) × λ₂, где λ₃ и λ₂ – доли соответственно трех- и двухградационных вопросов в подблоке.

Поскольку задача оценки качества государственного управления состоит в отборе лучших с этой точки зрения субъектов, то возникает  вопрос о поиске соответствующих  критериев. Два субъекта Российской Федерации могут получить агрегированные значения по одному показателю в виде, например, 0,4 и 0,41. Значит ли это, что второй субъект имеет реально лучшие оценки по этому показателю? Очевидно, что такая разница находится в пределах погрешности измерения. Поэтому для повышения устойчивости результатов предполагается использовать подход, при котором полученное значение показателя считается с точностью до некоторой погрешности ε.

С учетом этого соображения  строится турнирная матрица [8]

∀x, y S+ = {n(x, y)}, где n(x, y) = {i | bi(x) > bi(y) = εi}

Другими словами, на пересечении  строки x и столбца y находится значение числа подблоков, в которых x имеет большее значение, чем y с учетом экзогенно заданного значения чувствительности ε (например, 0,05). Значение чувствительности показывает, в каком диапазоне различные величины оценок по подблокам отождествляются (различия признаются несущественными).

Рассмотрим этот метод  для четырех условных регионов и  одного блока, состоящего из четырех  подблоков.

Пусть получены агрегированные значения по четырем подблокам:

При уровне чувствительности ε = 0,05 значения 0,16 и 0,20 по подблоку 2 для субъектов Z и W будут неразличимы, т. е. в этом подблоке определить лучшего из Z и W невозможно.

Далее выбираем минимальный  элемент в каждой строке, а затем  из найденных значений ищем максимальное. Тот субъект, который соответствует результирующему «минимаксному» значению, – победитель, имеющий максимальный ранг. Далее он удаляется из рассмотрения, и процедура повторяется для трех оставшихся субъектов. В нашем примере в первом туре выиграл субъект X (значение 3). Затем из Y, Z и W выигрывает Y (значение 3). Наконец, из Z и W выигрывает W (значение 1).

Таким образом, получаем следующее ранжирование в виде турнирной  матрицы:

Применение максиминной  процедуры (турнирной матрицы) позволяет  ранжировать субъекты по каждому  блоку и дать им соответствующую  нормированную оценку.

При расчете по каждому  блоку значение чувствительности ε  варьировалось, т. е. брались два значения 0,05 и 0,1. Как уже отмечалось, уровень чувствительности показывает, в каком диапазоне различные значения по подблокам отождествляются (например, при ε = 0,1 значения 0,083 и 0 неразличимы).

Далее все множество  регионов подразделяется на классы в соответствии с их рангами (классы обозначены в алфавитном порядке по убыванию). В скобках указаны проценты от значения «идеального» региона по данному блоку.

Для получения агрегированного  индекса качества, объединяющего  значения трех блоков, использовалась следующая процедура. Значения каждого блока фиксируются по каждой оси трехмерного пространства. Эти значения определяют площадь плоского треугольника в трехмерном пространстве. Из соотношения площадей треугольников, соответствующих оценкам каждого субъекта, и «идеального», соответствующего максимальным оценкам по всем вопросам опросного листа, выводится нормированная оценка региона.

Такая методика наглядна и позволяет  проанализировать скомпенсированные  значения по осям при сравнении регионов, выявить факторы, определившие итоговую оценку. Если, например, процентные соотношения по площадям двух регионов близки по значениям, но есть значительные отличия по осям, то можно указать сильные и слабые стороны сравниваемых регионов.

Понятие качества государственного управления, использованное в данной работе, безусловно, не является единственно возможным. Более того, оно ориентировано лишь на оценку определенного комплекса мероприятий и в определенной степени формально. Этот «формализм» проявляется в том, что развитие новой практики подтверждается не конечными результатами ее внедрения, а полнотой ее документального оформления. Очевидно, что нормативное закрепление и даже внедрение той или иной управленческой процедуры не гарантирует достижения общественно значимого результата. Наличие, например, утвержденных стратегий, докладов о результатах, системы мониторинга и проч. – недостаточный индикатор качества управления, если нет возможности проверить их содержание и измерить результативность. Одна и та же процедура может быть применена при обосновании или реализации как успешной, так и провальной политики. С этой точки зрения оценка на основе документального подтверждения наличия процедуры (процесса, решения) также опасна, как и оценка с помощью показателей, поскольку в той же мере вызывает эффект работы на формальный результат (принятие постановления, утверждение порядка или процедуры). Тем не менее, такой подход может быть использован как один из элементов контроля исполнения установленных требований, стандартов и регламентов, официально признанных на данном этапе необходимыми.