Среди различных видов систем, окружающих нас: технических, информационных, социальных и т. д. нас будут интересовать системы, которые возникают в сервисных процессах, в процессах обслуживания. В прикладной математике они так и называются – системы массового обслуживания (СМО). Математический аппарат изучения этих систем давно разработан и позволяет построить модели таких систем для описания процессов обслуживания и вычислить основные характеристики функционирования системы с целью определения её эффективности . Этот аппарат основывается на теории вероятностей и теории случайных процессов. Рассмотрим основные идеи и понятия.

2.1. Элементы теории марковских случайных процессов, используемые при моделировании систем

Функция X(t) называется случайной , если её значение при любом аргументе t является случайной величиной.

Случайная функция X(t), аргументом которой является время, называется случайным процессом .

Марковские процессы являются частным видом случайных про­цессов. Особое место марковских процессов среди других классов случайных процессов обусловлено следующими обстоятельствами: для марковских процессов хорошо разработан математический ап­парат, позволяющий решать многие практические задачи, с помо­щью марковских процессов можно описать (точно или приближён­но) поведение достаточно сложных систем.

Определение. Случайный процесс, протекающий в какой-либо системе S, называется марковским, или процессом без последейст­вия , если он обладает следующим свойством: для любого момента времени t 0 вероятность любого состояния системы в будущем зависит только от её состояния в настоящем и не зависит от того, когда и каким образом система S пришла в это со­стояние.

Классификация марковских процессов. Классификация марковских случайных процессов производится в зависимости от непре­рывности или дискретности множества значений функции X (t) и параметра t.

Различают следующие основные виды марковских случай­ных процессов:

с дискретными состояниями и дискретным временем (цепь Маркова);

с непрерывными состояниями и дискретным временем (марков­ские последовательности);

с дискретными состояниями и непрерывным временем (непре­рывная цепь Маркова);

с непрерывным состоянием и непрерывным временем.

Мы будем рассматривать только марковские процессы с дискретными состояниями S 1 , S 2 , ..., S n .

Граф состояний. Марковские процессы с дискретными состо­яниями удобно иллюстрировать с помощью так называемого графа состояний (рис. 2.1 ), где кружками обозначены состояния S 1 , S 2 , ... системы S, а стрелками – возможные переходы из состо­яния в состояние.

Рис. 2.1. Пример графа состояний системы S

На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные за­держки в прежнем состоянии изображают «петлёй», т. е. стрел­кой, направленной из данного состояния в него же. Число состо­яний системы может быть как конечным, так и бесконечным (несчётным).

4. Моделирование по схеме марковских случайных процессов

Для вычисления числовых параметров, характеризующих стохастические объекты, нужно построить некоторую вероятностную модель явления, учитывающую сопровождающие его случайные факторы. Для математического описания многих явлений, развивающихся в форме случайного процесса, может быть с успехом применен математический аппарат, разработанный в теории вероятностей для так называемых марковских случайных процессов. Поясним это понятие. Пусть имеется некоторая физическая система S , состояние которой меняется с течением времени (под системой S может пониматься что угодно: техническое устройство, ремонтная мастерская, вычислительная машина и т. д.). Если состояние S меняется по времени случайным образом, говорят, что в системе S протекает случайный процесс. Примеры: процесс функционирования ЭВМ (поступление заказов на ЭВМ, вид этих заказов, случайные выходы из строя), процесс наведения на цель управляемой ракеты (случайные возмущения (помехи) в системе управления ракетой), процесс обслуживания клиентов в парикмахерской или ремонтной мастерской (случайный характер потока заявок (требований), поступивших со стороны клиентов).

Случайный процесс называется марковским процессом (или «процессом без последствия»), если для каждого момента времени t0 вероятность любого состояния системы в будущем (при t > t 0 ) зависит только от её состояния в настоящем (при t = t 0 ) и не зависит от того, когда и каким образом система пришла в это состояние (т. е. как развивался процесс в прошлом). Пусть S техническое устройство, которое характеризуется некоторой степенью изношенности S . Нас интересует, как оно будет работать дальше. В первом приближении характеристики работы системы в будущем (частота отказов, потребность в ремонте) зависят от состояния устройства в настоящий момент и не зависят от того, когда и как устройство достигло своего настоящего состояния.

Теория марковских случайных процессов – обширный раздел теории вероятности с широким спектром приложений (физические явления типа диффузии или перемешивания шихта во время плавки в доменной печи, процессы образования очередей).

4.1. Классификация марковских процессов

Марковские случайные процессы делятся на классы. Первый классификационный признак – характер спектра состояний. Случайный процесс (СП) называется процессом с дискретными состояниями, если возможные состояния системы S1, S2, S3… можно перечислить, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) перескакивает из одного состояния в другое.

Пример. Техническое устройство состоит из двух узлов I и II, каждый из которых может выйти из строя. Состояния: S1 – оба узла работают; S2 – первый узел отказал, второй рабочий; S 3 – второй узел отказал, первый рабочий; S4 – оба узла отказали.

Существуют процессы с непрерывными состояниями (плавный переход из состояния в состояние), например, изменение напряжения в осветительной сети. Будем рассматривать только СП с дискретными состояниями. В этом случае удобно пользоваться графом состояний, в котором возможные состояния системы обозначаются узлами, а возможные переходы - дугами.

Второй классификационный признак – характер функционирования во времени. СП называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени: t1, t2… . Если переход системы из состояния в состояние возможен в любой наперед неизвестный случайный момент, то говорят о СП с непрерывным временем.

4.2. Расчет марковской цепи с дискретным временем

S с дискретными состояниями S1, S2, … Sn и дискретным временем t1, t2, … , tk, … (шаги, этапы процесса, СП можно рассматривать как функцию аргумента (номера шага)). В общем случае СП состоит в том, что происходят переходы S1 ® S1 ® S2 ® S3 ® S4 ® S1 ® … в моменты t1, t2, t3 … .

Будем обозначать событие, состоящее в том, что после k – шагов система находится в состоянии Si . При любом k события https://pandia.ru/text/78/060/images/image004_39.gif" width="159" height="25 src=">.

Такая случайная последовательность событий называется марковской цепью. Будем описывать марковскую цепь (МЦ) с помощью вероятностей состояний. Пусть – вероятность того, что после k - шагов система находится в состоянии Si . Легко видеть, что " k DIV_ADBLOCK13">

.

Пользуюсь введенными выше событиями https://pandia.ru/text/78/060/images/image008_34.gif" width="119" height="27 src=">. Сумма членов в каждой строке матрицы должна быть равна 1. Вместо матрицы переходных вероятностей часто используют размеченный граф состояний (обозначают на дугах ненулевые вероятности переходов, вероятности задержки не требуются, поскольку они легко вычисляются, например P11=1-(P12+ P13) ). Имея в распоряжении размеченный граф состояний (или матрицу переходных вероятностей) и зная начальное состояние системы, можно найти вероятности состояний p1(k), p2(k),… pn(k) " k.

Пусть начальное состояние системы Sm , тогда

p1(0)=0 p2(0)=0… pm(0)=1… pn(0)=0.

Первый шаг:

p1(1)=Pm1 , p2(1)=Pm2 ,…pm(1)=Pmm ,… ,pn(1)=Pmn .

После второго шага по формуле полной вероятности получим:

p1(2)=p1(1)P11+p2(1)P21+…pn(1)Pn1,

pi(2)=p1(1)P1i+p2(1)P2i+…pn(1)Pni или https://pandia.ru/text/78/060/images/image010_33.gif" width="149" height="47"> (i=1,2,.. n).

Для неоднородной МЦ переходные вероятности зависят от номера шага. Обозначим переходные вероятности для шага k через.

Тогда формула для расчета вероятностей состояний приобретает вид:

.

4.3. Марковские цепи с непрерывным временем

4.3.1. Уравнения Колмогорова

На практике значительно чаще встречаются ситуации, когда переходы системы из состояния в состояние происходит в случайные моменты времени, которые заранее указать невозможно: например, выход из строя любого элемента аппаратуры, окончание ремонта (восстановление) этого элемента. Для описания таких процессов в ряде случаев может быть с успехом применена схема марковского случайного процесса с дискретными состояниями и непрерывным временем – непрерывная цепь Маркова. Покажем, как выражаются вероятности состояний для такого процесса. Пусть S={ S1, S2,… Sn}. Обозначим через pi(t) - вероятность того, что в момент t система S будет находиться в состоянии ). Очевидно . Поставим задачу – определить для любого t pi(t) . Вместо переходных вероятностей Pij введем в рассмотрение плотности вероятностей перехода

.

Если не зависит от t , говорят об однородной цепи, иначе - о неоднородной. Пусть нам известны для всех пар состояний (задан размеченный граф состояний). Оказывается, зная размеченный граф состояний можно определить p1(t), p2(t).. pn(t) как функции времени. Эти вероятности удовлетворяют определенного вида дифференциальным уравнениям, (уравнения Колмогорова).

Интегрирование этих уравнений при известном начальном состоянии системы даст искомые вероятности состояний как функции времени. Заметим, что p1+ p2+ p3+ p4=1 и можно обойтись тремя уравнениями.

Правила составления уравнений Колмогорова . В левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка направлена из состояния, соответствующий член имеет знак минус, если в состояние - знак плюс. Каждый член равен произведению плотности вероятности перехода, соответствующего данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.

4.3.2. Поток событий. Простейший поток и его свойства

При рассмотрении процессов, протекающих в системе с дискретными состояниями и непрерывным временем, часто бывает удобно представить себе процесс так, как будто переходы системы из состояния в состояние происходят под действием каких-то потоков событий. Потоком событий называется последовательность однородных событий, следующих одно за другим в какие-то, вообще говоря, случайные моменты времени. (Поток вызовов на телефонной станции; поток неисправностей (сбоев) ЭВМ; поток грузовых составов, поступающих на станцию; поток посетителей; поток выстрелов, направленных на цель). Будем изображать поток событий последовательностью точек на оси времени ot . Положение каждой точки на оси случайно. Поток событий называется регулярным , если события следуют одно за другим через строго определенные промежутки времени (редко встречается на практике). Рассмотрим специального типа потоки, для этого введем ряд определений. 1. Поток событий называется стационарным , если вероятность попадания того или иного числа событий на участок времени длиной зависит только от длины участка и не зависит от того, где именно на оси ot расположен этот участок (однородность по времени) – вероятностные характеристики такого потока не должны меняться от времени. В частности, так называемая интенсивность (или плотность) потока событий (среднее число событий в единицу времени) постоянна.

2. Поток событий называется потоком без последствия , если для любых непересекающихся участков времени число событий, попадающих на один из них, не зависит от того, сколько событий попало на другой (или другие, если рассматривается больше двух участков). Отсутствие последствия в потоке означает, что события, образующие поток, появляются в последовательные моменты времени независимо друг от друга.

3. Поток событий называется ординарным , если вероятность попадания на элементарный участок двух или более событий пренебрежительно мала по сравнению с вероятностью попадания одного события (события в потоке приходят поодиночке, а не парами, тройками и т. д.).

Поток событий, обладающий всеми тремя свойствами, называется простейшим (или стационарным пуассоновским ). Нестационарный пуассоновский поток обладает только свойствами 2 и 3. Пуассоновский поток событий (как стационарный, так и нестационарный) тесно связан с известным распределением Пуассона. А именно, число событий потока, попадающих на любой участок, распределено по закону Пуассона. Поясним это подробнее.

Рассмотрим на оси о t , где наблюдается поток событий, некоторый участок длины t, начинающийся в момент t 0 и заканчивающийся в момент t 0 + t. Нетрудно доказать (доказательство дается во всех курсах теории вероятности), что вероятность попадания на этот участок ровно m событий выражается формулой:

(m =0,1…),

где а – среднее число событий, приходящееся на участок t.

Для стационарного (простейшего) пуассоновского потока а= l t , т. е. не зависит от того, где на оси ot взят участок t. Для нестационарного пуассоновского потока величина а выражается формулой

и значит, зависит от того, в какой точке t 0 начинается участок t.

Рассмотрим на оси ot простейший поток событий с постоянной интенсивностью l. Нас будет интересовать интервал времени T между событиями в этом потоке. Пусть l - интенсивность (среднее число событий в 1 времени) потока. Плотность распределения f (t ) случайной величины Т (интервал времени между соседними событиями в потоке) f (t )= l e - l t (t > 0) . Закон распределения с такой плотностью называется показательным (экспоненциальным). Найдем численные значения случайной величины Т : математическое ожидание (среднее значение) и дисперсию left">

Промежуток времени Т между соседними событиями в простейшем потоке распределен по показательному закону; его среднее значение и среднее квадратичное отклонение равны , где l - интенсивность потока. Для такого потока вероятность появления на элементарном участке времени ∆t ровно одного события потока выражается как . Эту вероятность мы будем называть «элементом вероятности появления события».

Для нестационарного пуассоновского потока закон распределения промежутка Т уже не будет показательным. Вид этого закона будет зависеть, во первых, от того, где на оси ot расположено первое из событий, во вторых, от вида зависимости . Однако, если меняется сравнительно медленно и его изменение за время между двумя событиями невелико, то закон распределения промежутка времени между событиями можно приближенно считать показательным, полагая в этой формуле величину равной среднему значению на том участке, который нас интересует.

4.3.3. Пуассоновские потоки событий и

непрерывные марковские цепи

Рассмотрим некоторую физическую систему S={ S1, S2,… Sn} , которая переходит из состояния в состояние под влиянием каких-то случайных событий (вызовы, отказы, выстрелы). Будем себе это представлять так, будто события, переводящие систему из состояния в состояние, представляют собой какие-то потоки событий.

Пусть система S в момент времени t находится в состоянии Si и может перейти из него в состояние Sj под влиянием какого-то пуассоновского потока событий с интенсивностью l ij : как только появляется первое событие этого потока, система мгновенно переходит из Si в Sj ..gif" width="582" height="290 src=">

4.3.4. Предельные вероятности состояний

Пусть имеется физическая система S={ S1, S2,… Sn} , в которой протекает марковский случайный процесс с непрерывным временем (непрерывная цепь Маркова). Предположим, что l ij= const , т. е. все потоки событий простейшие (стационарные пуассоновские). Записав систему дифференциальных уравнений Колмогорова для вероятностей состояний и проинтегрировав эти уравнения при заданных начальных условиях, мы получим p1(t), p2(t),… pn(t), при любом t . Поставим следующий вопрос, что будет происходить с системой S при t ® ¥. Будут ли функции pi(t ) стремиться к каким-то пределам? Эти пределы, если они существуют, называются предельными вероятностями состояний. Можно доказать теорему: если число состояний S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы. Предположим, что поставленное условие выполнено и предельные вероятности существуют (i=1,2,… n), .

Таким образом, при t ® ¥ в системе S устанавливается некоторый предельный стационарный режим. Смысл этой вероятности: она представляет собой не что иное, как среднее относительное время пребывания системы в данном состоянии. Для вычисления pi в системе уравнений Колмогорова, описывающих вероятности состояний, нужно положить все левые части (производные) равными 0. Систему получающихся линейных алгебраических уравнений надо решать совместно с уравнением .

4.3.5. Схема гибели и размножения

Мы знаем, что имея в распоряжении размеченный граф состояний, можно легко написать уравнения Колмогорова для вероятностей состояний, а также написать и решить алгебраические уравнения для финальных вероятностей. Для некоторых случаев удается последние уравнения решить заранее, в буквенном виде. В частности, это удается сделать, если граф состояний системы представляет собой так называемую «схему гибели и размножения».

https://pandia.ru/text/78/060/images/image044_6.gif" width="73" height="45 src="> (4.4)

Из второго, с учетом (4.4), получим:

https://pandia.ru/text/78/060/images/image046_5.gif" width="116" height="45 src="> (4.6)

и вообще, для любого k (от 1 до N):

https://pandia.ru/text/78/060/images/image048_4.gif" width="267" height="48 src=">

отсюда получим выражение для р0.

(4. 8)

(скобку мы возвели в степень -1, чтобы не писать двухэтажных дробей). Все остальные вероятности выражены через р0 (см. формулы (4.4) - (4.7)). Заметим, что коэффициенты при p0 в каждой из них представляют собой не что иное, как последовательные члены ряда, стоящего после единицы в формуле (4.8). Значит, вычисляя р0, мы уже нашли все эти коэффициенты.

Полученные формулы очень полезны при решении простейших задач теории массового обслуживания.

Структура и классификация систем массового обслуживания

Системы массового обслуживания

Нередко возникает необходимость в решении вероятностных задач, связанных с системами массового обслуживания (СМО), примерами которых могут быть:

Билетные кассы;

Ремонтные мастерские;

Торговые, транспортные, энергетические системы;

Системы связи;

Общность таких систем выявляется в единстве математических методов и моделей, применяемых при исследовании их деятельности.

Рис. 4.1. Основные сферы применения ТМО

На вход в СМО поступает поток требований на обслуживание. Например, клиенты или пациенты, поломки в оборудовании, телефонные вызовы. Требования поступают нерегулярно, в случайные моменты времени. Случайный характер носит и продолжительность обслуживания. Это создает нерегулярность в работе СМО, служит причиной ее перегрузок и недогрузок.

Системы массового обслуживания обладают различной структурой, но обычно в них можно выделить четыре основных элемента :

1. Входящий поток требований.

2. Накопитель (очередь).

3. Приборы (каналы обслуживания).

4. Выходящий поток.

Рис. 4.2. Общая схема систем массового обслуживания

Рис. 4.3. Модель работы системы

(стрелками показаны моменты поступления требований в

систему, прямоугольниками – время обслуживания)

На рис.4.3 а представлена модель работы системы с регулярным потоком требований. Поскольку известен промежуток между поступлениями требований, то время обслуживания выбрано так, чтобы полностью загрузить систему. Для системы со стохастическим потоком требований ситуация совершенно иная – требования приходят в различные моменты времени и время обслуживания тоже является случайной величиной, которое может быть описано неким законом распределения (рис.4.3 б).

В зависимости от правил образования очереди различают следующие СМО:

1) системы с отказами , в которых при занятости всех каналов обслуживания заявка покидает систему необслуженной;

2) системы с неограниченной очередью , в которых заявка встает в очередь, если в момент ее поступления все каналы обслуживания были заняты;

3) системы с ожиданием и ограниченной очередью , в которых время ожидания ограниченно какими-либо условиями или существуют ограничения на число заявок, стоящих в очереди.

Рассмотрим характеристики входящего потока требований.

Поток требований называется стационарным , если вероятность попадания того или иного числа событий на участок времени определенной длины зависит только от длины этого участка.

Поток событий называется потоком без последствий , если число событий, попадающих на некоторый участок времени, не зависит от числа событий, попадающих на другие.

Поток событий называется ординарным , если невозможно одновременное поступление двух или более событий.

Поток требований называется пуассоновским (или простейшим), если он обладает тремя свойствами: стационарен, ординарен и не имеет последствий. Название связано с тем, что при выполнении указанных условий число событий, попадающих на любой фиксированный интервал времени, будет распределен по закону Пуассона.

Интенсивностью потока заявок λ называется среднее число заявок, поступающих из потока за единицу времени.

Для стационарного потока интенсивность постоянна. Если τ – среднее значение интервала времени между двумя соседними заявками, то В случае пуассоновского потока вероятность поступления на обслуживание m заявок за промежуток времени t определяется по закону Пуассона:

Время между соседними заявками распределено по экспоненциальному закону с плотностью вероятности

Время обслуживания является случайной величиной и подчиняется показательному закону распределения с плотностью вероятности где μ – интенсивность потока обслуживания, т.е. среднее число заявок, обслуживаемых в единицу времени,

Отношение интенсивности входящего потока к интенсивности потока обслуживания называется загрузкой системы

Система массового обслуживания представляет собой систему дискретного типа с конечным или счетным множеством состояний, а переход системы из одного состояния в другое происходит скачком, когда осуществляется какое-нибудь событие.

Процесс называется процессом с дискретными состояниями , если его возможные состояния можно заранее перенумеровать, и переход системы из состояния в состояние происходит практически мгновенно.

Такие процессы бывают двух типов: с дискретным или непрерывным временем.

В случае дискретного времени переходы из состояния в состояние могут происходить в строго определенные моменты времени. Процессы с непрерывным временем отличаются тем, что переход системы в новое состояние возможен в любой момент времени.

Случайным процессом называется соответствие, при котором каждому значению аргумента (в данном случае – моменту из промежутка времени проводимого опыта) ставится в соответствие случайная величина (в данном случае – состояние СМО). Случайной величиной называется величина, которая в результате опыта может принять одно, но неизвестное заранее, какое именно, числовое значение из данного числового множества.

Поэтому для решения задач теории массового обслуживания необходимо этот случайный процесс изучить, т.е. построить и проанализировать его математическую модель.

Случайный процесс называется марковским , если для любого момента времени вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент и не зависят от того, когда и как система пришла в это состояние.

Переходы системы из состояния в состояние происходит под действием каких-то потоков (поток заявок, поток отказов). Если все потоки событий, приводящие систему в новое состояние, – простейшие пуассоновские, то процесс, протекающий в системе, будет марковским, так как простейший поток не обладает последствием: в нем будущее не зависит от прошлого. – группа шахматных фигур. Состояние системы характеризуется числом фигур противника, сохранившихся на доске в момент . Вероятность того, что в момент материальный перевес будет на стороне одного из противников, зависит в первую очередь от того, в каком состоянии находится система в данный момент , а не от того, когда и в какой последовательности исчезли фигуры с доски до момента .

Очень удобно описывать появление случайных событий в виде вероятностей переходов из одного состояния системы в другое, так как при этом считается, что, перейдя в одно из состояний, система не должна далее учитывать обстоятельства того, как она попала в это состояние.

Случайный процесс называется марковским процессом (или процессом без последействия ), если для каждого момента времени t вероятность любого состояния системы в будущем зависит только от ее состояния в настоящем и не зависит от того, как система пришла в это состояние.

Итак, марковский процесс удобно задавать графом переходов из состояния в состояние. Мы рассмотрим два варианта описания марковских процессов — с дискретным и непрерывным временем .

В первом случае переход из одного состояния в другое происходит в заранее известные моменты времени — такты (1, 2, 3, 4, …). Переход осуществляется на каждом такте, то есть исследователя интересует только последовательность состояний, которую проходит случайный процесс в своем развитии, и не интересует, когда конкретно происходил каждый из переходов.

Во втором случае исследователя интересует и цепочка меняющих друг друга состояний, и моменты времени, в которые происходили такие переходы.

И еще. Если вероятность перехода не зависит от времени, то марковскую цепь называют однородной .

Марковский процесс с дискретным временем

Итак, модель марковского процесса представим в виде графа, в котором состояния (вершины) связаны между собой связями (переходами из i -го состояния в j -е состояние), см. рис. 33.1 .

Рис. 33.1. Пример графа переходов

Каждый переход характеризуется вероятностью перехода P ij . Вероятность P ij показывает, как часто после попадания в i -е состояние осуществляется затем переход в j -е состояние. Конечно, такие переходы происходят случайно, но если измерить частоту переходов за достаточно большое время, то окажется, что эта частота будет совпадать с заданной вероятностью перехода.

Ясно, что у каждого состояния сумма вероятностей всех переходов (исходящих стрелок) из него в другие состояния должна быть всегда равна 1 (см. рис. 33.2 ).

Рис. 33.2. Фрагмент графа переходов
(переходы из i-го состояния являются
полной группой случайных событий)

Например, полностью граф может выглядеть так, как показано на рис. 33.3 .

Рис. 33.3. Пример марковского графа переходов

Реализация марковского процесса (процесс его моделирования) представляет собой вычисление последовательности (цепи) переходов из состояния в состояние (см. рис. 33.4 ). Цепь на рис. 33.4 является случайной последовательностью и может иметь также и другие варианты реализации.

Рис. 33.4. Пример марковской цепи, смоделированной
по марковскому графу, изображенному на рис. 33.3

Чтобы определить, в какое новое состояние перейдет процесс из текущего i -го состояния, достаточно разбить интервал на подынтервалы величиной P i 1 , P i 2 , P i 3 , … (P i 1 + P i 2 + P i 3 + … = 1 ), см. рис. 33.5 . Далее с помощью ГСЧ надо получить очередное равномерно распределенное в интервале случайное число r рр и определить, в какой из интервалов оно попадает (см. лекцию 23).

Рис. 33.5. Процесс моделирования перехода из i-го
состояния марковской цепи в j-е с использованием
генератора случайных чисел

После этого осуществляется переход в состояние, определенное ГСЧ, и повтор описанной процедуры для нового состояния. Результатом работы модели является марковская цепь (см. рис. 33.4 ) .

Пример. Имитация стрельбы из пушки по цели . Для того, чтобы проимитировать стрельбу из пушки по цели, построим модель марковского случайного процесса.

Определим следующие три состояния: S 0 — цель не повреждена; S 1 — цель повреждена; S 2 — цель разрушена. Зададим вектор начальных вероятностей:

	S 0	S 1	S 2
P 0	0.8	0.2	0

Значение P 0 для каждого из состояний показывает, какова вероятность каждого из состояний объекта до начала стрельбы.

Зададим матрицу перехода состояний (см. табл. 33.1).

Таблица 33.1. Матрица вероятностей перехода дискретного марковского процесса

	В S 0	В S 1	В S 2	Сумма вероятностей переходов
Из S 0	0.45	0.40	0.15	0.45 + 0.40 + 0.15 = 1
Из S 1	0	0.45	0.55	0 + 0.45 + 0.55 = 1
Из S 2	0	0	1	0 + 0 + 1 = 1

Матрица задает вероятность перехода из каждого состояния в каждое. Заметим, что вероятности заданы так, что сумма вероятностей перехода из некоторого состояния в остальные всегда равна единице (куда-то система должна перейти обязательно).

Наглядно модель марковского процесса можно представить себе в виде следующего графа (см. рис. 33.6 ).

Рис. 33.6. Граф марковского процесса,
моделирующий стрельбу из пушки по цели

Используя модель и метод статистического моделирования, попытаемся решить следующую задачу: определить среднее количество снарядов, необходимое для полного разрушения цели.

Проимитируем, используя таблицу случайных чисел, процесс стрельбы. Пусть начальное состояние будет S 0 . Возьмем последовательность из таблицы случайных чисел: 0.31, 0.53, 0.23, 0.42, 0.63, 0.21, … (случайные числа можно взять, например, из этой таблицы).

0.31 : цель находится в состоянии S 0 и остается в состоянии S 0 , так как 0 < 0.31 < 0.45;
0.53 : цель находится в состоянии S 0 и переходит в состояние S 1 , так как 0.45 < 0.53 < 0.45 + 0.40;
0.23 : цель находится в состоянии S 1 и остается в состоянии S 1 , так как 0 < 0.23 < 0.45;
0.42 : цель находится в состоянии S 1 и остается в состоянии S 1 , так как 0 < 0.42 < 0.45;
0.63 : цель находится в состоянии S 1 и переходит в состояние S 2 , так как 0.45 < 0.63 < 0.45 + 0.55.

Так как достигнуто состояние S 2 (далее цель переходит из S 2 в состояние S 2 с вероятностью 1), то цель поражена. Для этого в данном эксперименте потребовалось 5 снарядов.

На рис. 33.7 приведена временная диаграмма, которая получается во время описанного процесса моделирования. Диаграмма показывает, как во времени происходит процесс изменения состояний. Такт моделирования для данного случая имеет фиксированную величину. Нам важен сам факт перехода (в какое состояние переходит система) и не важно, когда это происходит.

Рис. 33.7. Временная диаграмма переходов
в марковском графе (пример имитации)

Процедура уничтожения цели совершена за 5 тактов, то есть марковская цепь этой реализации выглядит следующим образом: S 0 —S 0 —S 1 —S 1 —S 1 —S 2 . Конечно, ответом задачи это число быть не может, так как в разных реализациях получатся разные ответы. А ответ у задачи может быть только один.

Повторяя данную имитацию, можно получить, например, еще такие реализации (это зависит от того, какие конкретно случайные числа выпадут): 4 (S 0 —S 0 —S 1 —S 1 —S 2 ); 11 (S 0 —S 0 —S 0 —S 0 —S 0 —S 1 —S 1 —S 1 —S 1 —S 1 —S 1 —S 2 ); 5 (S 1 —S 1 —S 1 —S 1 —S 1 —S 2 ); 6 (S 0 —S 0 —S 1 —S 1 —S 1 —S 1 —S 2 ); 4 (S 1 —S 1 —S 1 —S 1 —S 2 ); 6 (S 0 —S 0 —S 1 —S 1 —S 1 —S 1 —S 2 ); 5 (S 0 —S 0 —S 1 —S 1 —S 1 —S 2 ). Всего уничтожено 8 целей. Среднее число циклов в процедуре стрельбы составило: (5 + 4 + 11 + 5 + 6 + 4 + 6 + 5)/8 = 5.75 или, округляя, 6. Именно столько снарядов, в среднем, рекомендуется иметь в боевом запасе пушки для уничтожения цели при таких вероятностях попаданий.

Теперь следует определить точность. Именно точность может нам показать, насколько следует доверять данному ответу. Для этого проследим, как сходится последовательность случайных (приближенных) ответов к правильному (точному) результату. Напомним, что, согласно центральной предельной теореме (см. лекцию 25 , лекцию 21), сумма случайных величин есть величина неслучайная, поэтому для получения статистически достоверного ответа необходимо следить за средним числом снарядов, получаемых в ряде случайных реализаций.

На первом этапе вычислений средний ответ составил 5 снарядов, на втором этапе средний ответ составил (5 + 4)/2 = 4.5 снаряда, на третьем — (5 + 4 + 11)/3 = 6.7. Далее ряд средних величин, по мере накопления статистики, выглядит следующим образом: 6.3, 6.2, 5.8, 5.9, 5.8. Если изобразить этот ряд в виде графика средней величины выпущенных снарядов, необходимых для поражения цели, в зависимости от номера эксперимента, то обнаружится, что данный ряд сходится к некоторой величине, которая и является ответом (см. рис. 33.8 ).

Рис. 33.8. Изменение средней величины в зависимости от номера эксперимента

Визуально мы можем наблюдать, что график «успокаивается», разброс между вычисляемой текущей величиной и ее теоретическим значением со временем уменьшается, стремясь к статистически точному результату. То есть в некоторый момент график входит в некоторую «трубку», размер которой и определяет точность ответа.

Алгоритм имитации будет иметь следующий вид (см. рис. 33.9).

Еще раз заметим, что в вышерассмотренном случае нам безразлично, в какие моменты времени будет происходить переход. Переходы идут такт за тактом. Если важно указать, в какой именно момент времени произойдет переход, сколько времени система пробудет в каждом из состояний, требуется применить модель с непрерывным временем.

Марковские случайные процессы с непрерывным временем

Итак, снова модель марковского процесса представим в виде графа, в котором состояния (вершины) связаны между собой связями (переходами из i -го состояния в j -е состояние), см. рис. 33.10 .

Рис. 33.10. Пример графа марковского
процесса с непрерывным временем

Теперь каждый переход характеризуется плотностью вероятности перехода λ ij . По определению:

При этом плотность понимают как распределение вероятности во времени.

Переход из i -го состояния в j -е происходит в случайные моменты времени, которые определяются интенсивностью перехода λ ij .

К интенсивности переходов (здесь это понятие совпадает по смыслу с распределением плотности вероятности по времени t ) переходят, когда процесс непрерывный, то есть, распределен во времени.

С интенсивностью потока (а переходы — это поток событий) мы уже научились работать в лекции 28 . Зная интенсивность λ ij появления событий, порождаемых потоком, можно сымитировать случайный интервал между двумя событиями в этом потоке.

где τ ij — интервал времени между нахождением системы в i -ом и j -ом состоянии.

Далее, очевидно, система из любого i -го состояния может перейти в одно из нескольких состояний j , j + 1 , j + 2 , …, связанных с ним переходами λ ij , λ ij + 1 , λ ij + 2 , ….

В j -е состояние она перейдет через τ ij ; в (j + 1 )-е состояние она перейдет через τ ij + 1 ; в (j + 2 )-е состояние она перейдет через τ ij + 2 и т. д.

Ясно, что система может перейти из i -го состояния только в одно из этих состояний, причем в то, переход в которое наступит раньше.

Поэтому из последовательности времен: τ ij , τ ij + 1 , τ ij + 2 и т. д. надо выбрать минимальное и определить индекс j , указывающий, в какое именно состояние произойдет переход.

Пример. Моделирование работы станка . Промоделируем работу станка (см. рис. 33.10 ), который может находиться в следующих состояниях: S 0 — станок исправен, свободен (простой); S 1 — станок исправен, занят (обработка); S 2 — станок исправен, замена инструмента (переналадка) λ 02 < λ 21 ; S 3 — станок неисправен, идет ремонт λ 13 < λ 30 .

Зададим значения параметров λ , используя экспериментальные данные, получаемые в производственных условиях: λ 01 — поток на обработку (без переналадки); λ 10 — поток обслуживания; λ 13 — поток отказов оборудования; λ 30 — поток восстановлений.

Реализация будет иметь следующий вид (см. рис. 33.11 ).

Рис. 33.11. Пример моделирования непрерывного
марковского процесса с визуализацией на временной
диаграмме (желтым цветом указаны запрещенные,
синим — реализовавшиеся состояния)

В частности, из рис. 33.11 видно, что реализовавшаяся цепь выглядит так: S 0 —S 1 —S 0 —… Переходы произошли в следующие моменты времени: T 0 —T 1 —T 2 —T 3 —… , где T 0 = 0 , T 1 = τ 01 , T 2 = τ 01 + τ 10 .

Задача . Поскольку модель строят для того, чтобы на ней можно было решить задачу, ответ которой до этого был для нас совсем не очевиден (см. лекцию 01), то сформулируем такую задачу к данному примеру. Определить долю времени в течение суток, которую занимает простой станка (посчитать по рисунку) T ср = (T + T + T + T )/N .

Алгоритм имитации будет иметь следующий вид (см. рис. 33.12 ).

Рис. 33.12. Блок-схема алгоритма моделирования непрерывного
марковского процесса на примере имитации работы станка

Очень часто аппарат марковских процессов используется при моделировании компьютерных игр, действий компьютерных героев.

Случайным процессом называется множество или семейство случайных величин, значения которых индексируются временным параметром. Например, число студентов в аудитории, атмосферное давление или температура в этой аудитории как функции времени являются случайными процессами.

Случайные процессы находят широкое применение при изучении сложных стохастических систем как адекватные математические модели процесса функционирования таких систем.

Основными понятиями для случайных процессов являются понятия состояния процесса иперехода его из одного состояния в другое.

Значения переменных, которые описывают случайный процесс, в данный момент времени называются состоянием случайного процесса . Случайный процесс совершает переход из одного состояния в другое, если значения переменных, задающих одно состояние, изменяются на значения, которые определяют другое состояние.

Число возможных состояний (пространство состояний) случайного процесса может быть конечным или бесконечным. Если число возможных состояний конечно или счетно (всем возможным состояниям могут быть присвоены порядковые номера), то случайный процесс называется процессом с дискретными состояниями . Например, число покупателей в магазине, число клиентов в банке в течение дня описываются случайными процессами с дискретными состояниями.

Если переменные, описывающие случайный процесс, могут принимать любые значения из конечного или бесконечного непрерывного интервала, а, значит, число состояний несчетно, то случайный процесс называется процессом с непрерывными состояниями . Например, температура воздуха в течение суток является случайным процессом с непрерывными состояниями.

Для случайных процессов с дискретными состояниями характерны скачкообразные переходы из одного состояния в другое, тогда, как в процессах с непрерывными состояниями переходы являются плавными. Далее будем рассматривать только процессы с дискретными состояниями, которых часто называют цепями .

Обозначим через g (t ) случайный процесс с дискретными состояниями, а возможные значенияg (t ), т.е. возможные состояния цепи, - через символыE 0 , E 1 , E 2 , … . Иногда для обозначения дискретных состояний используют числа 0, 1, 2,... из натурального ряда.

Случайный процесс g (t ) называетсяпроцессом с дискретным временем , если переходы процесса из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времениt 0 , t 1 , t 2 , … . Если переход процесса из состояния в состояние возможен в любой, заранее неизвестный момент времени, то случайный процесс называетсяпроцессом с непрерывным временем . В первом случае, очевидно, что интервалы времени между переходами являются детерминированными, а во втором - случайными величинами.

Процесс с дискретным временем имеет место либо, когда структура системы, которая описывается этим процессом, такова, что ее состояния могут изменяться только в заранее определенные моменты времени, либо когда предполагается, что для описания процесса (системы) достаточно знать состояния в определенные моменты времени. Тогда эти моменты можно пронумеровать и говорить о состоянии E i в момент времени t i .

Случайные процессы с дискретными состояниями могут изображаться в виде графа переходов (или состояний), в котором вершины соответствуют состояниям, а ориентированные дуги - переходам из одного состояния в другое. Если из состояния E i возможен переход только в одно состояниеE j , то этот факт на графе переходов отражается дугой, направленной из вершиныE i в вершинуE j (рис.1,а). Переходы из одного состояния в несколько других состояний и из нескольких состояний в одно состояние отражается на графе переходов, как показано на рис.1,б и 1,в.