Два других метода близки к этому. Но нужно  иметь в виду, что статистические методы применимы только при оценке реально существующей системы или в крайнем случае принять за эталон данной системы ее концептуальную модель. 

38. Оценка устойчивости модели. 

      Для обоснования достоверности результатов  полученных при проверке адекватности большое значение имеет проверка устойчивости модели.

      Устойчивость  модели - это ее способность сохранять  адекватность при исследовании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы.

      Универсальной процедуры проверки устойчивости модели не существует. Но можно использовать для этого методы матстатистики, например критерий Уилкоксона. Который служит для проверки того, относятся ли две выборки к одной и той же генеральной совокупности (т. е. обладают ли они одним и тем же статистическим признаком).  

39. Оценка чувствительности ИМ 

      Устойчивость  это положительное качество модели. Однако если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). Поэтому необходимо оценить чувствительность модели к изменению параметров рабочей нагрузки и внутренних параметров самой системы.

      Такую оценку проводят по каждому параметру  Х_к в отдельности. Процедура оценки состоит (одна из возможных) в следующем:

1. вычисляется величина относительного среднего приращения параметра

      Х_к:

      

 

      2) проводится пара модельных экспериментов  при значениях  и и средних фиксированных значениях остальных параметров. Определяются значения отклика модели

      3) вычисляется приращение переменной У:

      

 

      В результате для k-го параметра имеют пару значений , характеризующую чувствительность модели по этому параметру.

      Аналогично  поступают с остальными параметрами. 

40. Калибровка модели и объединенная оценка целевых свойств ИМ  

      Если  в результате проведенной оценки качества модели оказалось, что ее целевые  свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, т. е. коррекцию с целью приведения в соответствие предъявляемым требованиям.

      Этот  процесс состоит из трех основных этапов:

      1) глобальные изменения модели (например, введение новых процессов, изменение типов событий и т. д.);

      2) локальные изменения (в частности,  изменение некоторых законов  распределения моделируемых случайных величин);

      3) изменение специальных параметров, называемых калибровочными.

      Начинать  калибровку нужно со структурных  изменений (т.е. глобальных), а не со 2 или 3. Такая стратегия позволяет  вскрыть структурные несоответствия в модели путем введения новых  процессов, изменения типов событий и др.

      Целесообразно объединить оценку целевых свойств  ИМ и ее калибровку в единый процесс. Рассмотрим совмещение этих процессов в статистическом методе калибровки.

      Процедура калибровки состоит из трех шагов. 

      

      Рис.2.13. Схема процесса калибровки ИМ 

      Шаг 1. Сравнение выходных распределений.

      Цель  — оценка адекватности ИМ. Критерии сравнения могут быть различны. Например, может использоваться величина разности между средними значениями откликов модели и системы.

      Шаг 2. Балансировка модели.

      Основная  задача — оценка устойчивости и  чувствительности модели. По его результатам, как правило, производятся локальные изменения (но возможны и глобальные).

      Шаг 3. Оптимизация модели.

      Цель  этого этапа — обеспечение  требуемой точности результатов. Здесь возможны три основных направления работ:

      - дополнительная проверка качества  датчиков СЧ;

      - снижение влияния переходного  режима;

      - применение специальных методов  понижения дисперсии.

 

       План лекции №7

      1    41. Статистическая проверка гипотезы

      2    42. Методика построения гистограммы относительных частот

      3    43. Критерии проверки статистических  гипотиз

Подбор  параметров распределений

41. Статистическая проверка гипотезы

 

      В некоторых случаях имитационная модель сложной системы может  быть реализована в виде набора отдельных моделей ее подсистем. При проведении экспериментов с такой моделью бывает целесообразно (для сокращения времени и финансовых затрат) заменять работу некоторой подсистемы числовым параметром, либо случайной величиной, распределенной по заданному закону. Чтобы такая замена была корректной, нужно располагать описанием зависимости данного числового параметра от времени и других факторов, фигурирующих в модели.

      При имитационном моделировании подбор законов распределений выполняется на основе статистических данных, полученных в ходе эксперимента.

      В основе процедуры  отыскания закона распределения некоторой  величины по экспериментальным  данным лежит проверка статистических гипотез.

      Статистическая  гипотеза — это  утверждение относительно значений одного или более параметров распределения некоторой величины или о самой форме распределения.

      Обычно  выбирают две исходные гипотезы: основную - Н₀ и альтернативную – Н₁.

      Статистическая  проверка гипотезы —  это процедура  выяснения, следует ли принять основную гипотезу Н₀ или отвергнуть ее.

      Если  в результате проверки гипотеза Н₀  ошибочно отвергается, то имеет место ошибка 1 рода (более тяжелыми последствиями), если гипотеза Н₀ принимается при истинности Н₁, то это ошибка (2) второго рода.

      Эти ошибки I и II рода зависят от критерия, на основе которого будет выбираться одна из гипотез. Вероятности этих двух ошибок взаимосвязаны, то есть чем больше значение , тем меньше , и наоборот.

      Обычное решение этой дилеммы состоит  в том, что выбирают некоторое  фиксированное значение (как правило 0.05, 0.01, 0.001) с надеждой, что будет также мало.

      Для выбранного определяется так называемая критическая область В, удовлетворяющая условию

      

      где Z - контрольная величина (критерий), представляющая собой некоторую функцию от выборки (результатов эксперимента).

      Проверка  гипотезы состоит в следующем. Производится выборка (проводится эксперимент), на основании чего вычисляется z — частное значение критерия Z. Если , то от гипотезы Н₀ отказываются. Если то говорят, что полученные наблюдения не противоречат принятой гипотезе.

      Разумеется, прежде чем выдвигать гипотезу относительно значений параметров распределения, необходимо определить вид самого закона распределения. Наиболее подходящий для этого на практике есть метод подбора закона распределения основанный на использовании графического представления экспериментальных данных. Их отображают в виде гистограммы относительных частот. Для эффективного использования графических средств пакета MATLAB. 

42. Методика построения гистограммы относительных частот 

      Методика  построения гистограммы относительных частот следующая: 

      Шаг 1. Вычисляется величина интервала гистограммы из следующего соотношения:

      

-

      - диапазон изменения наблюдаемой  переменной, n — число интервалов, выбранных исследователем.

      Шаг 2. По результатам (или в процессе) моделирования определяется число попаданий значений у в i-й интервал.

      Шаг 3. Вычисляется относительная частота попаданий наблюдаемой переменной в каждый интервал:

      

      где Ri — число попаданий в i-й интервал,

      N — общее число измерений (объем выборки)

      Шаг 4. На каждом i-м интервале строится прямоугольник со сторонами

      Сумма площадей прямоугольников гистограммы  равна единице.

      Для наиболее часто используемых статистических гипотез разработаны критерии, позволяющие проводить их проверку с наибольшей достоверностью. Рассмотрим основные из них.

      Существуют  различные методы проверки статистических гипотез. Наиболее широко используются на практике критерии:

      • согласия f¹ (хи-квадрат);

      • Крамера-фон Мизеса;

      • Колмогорова-Смирнова.

      Критерий  f¹ предпочтителен, если объемы выборок N, в отношении которых проводится анализ, велики.

      Критерий  Крамера-фон Мизеса дает хорошие  результаты при малых объемах  выборок (при N < 10). Однако следует отметить два обстоятельства:

      1) при N < 10, каким бы методом ни пользоваться, вопрос о доверительной вероятности при проверке статистической гипотезы решается плохо (эта вероятность мала при значительных размерах доверительных интервалов);

      2) метод Монте-Карло используется как раз для того, чтобы недостающие данные собрать с помощью специального вычислительного статистического инструментария и компьютера.

      Критерий  Колмогорова-Смирнова применяется  в тех случаях, когда проверяемое  распределение непрерывно и известны среднее значение и дисперсия проверяемой совокупности.

43. Критерии проверки статистических гипотиз

 

      t-критерий  служит для проверки  гипотезы о равенстве  средних значений  двух нормально  распределенных СВ (X и Y) в предположении, что дисперсии их равны (хотя и неизвестны). Сравниваемые выборки могут иметь разный объем. В качестве критерия используют величину

      

                         1

      Величина  Т подчиняется t-распределению Стьюдента.

      Критическое значение для t-критерия определяется по таблице для выбранного значения и числа степеней свободы

      Если  вычисленное по (1) значение удовлетворяет  неравенству , то гипотезу H₀ отвергают.

      По  отношению к предположению о «нормальной распределенное» величин х и у t-критерий не очень чувствителен. Его можно применять, если распределения СВ не имеют нескольких вершин и не слишком асимметричны.