На рис. 2 приведены условные плотности X для некоторых значений Y и прямая регрессии для r>0.

9. Средняя квадратическая регрессия.

Рассмотрим систему случайных величин (X,Y). Подберем такую функцию f(x), чтобы средний квадрат отклонения случайной величины Y от этой функции случайной величины X был минимальным, т.е. чтобы эта функция обеспечивала минимум математического ожидания квадрата отклонения Y от f(X). Иными словами, стоит задача из всех возможных функций выбрать такую, которая обеспечивает

(9.1)

Доказано, что этот минимум достигается, если f (x ) , определяемой уравнением регрессии Y на X (4.9). Однако, если уравнение регрессии неизвестно, то найти такую функцию из (9.1) невозможно. Поэтому решают задачу отыскания минимума выражения (9.1) для функций данного вида f(A,x), где A= (a 1 ,…. a ) – вектор коэффициента этой функции, т.е. ищется не сама функция обеспечивающая минимум среднего квадрата отклонения Y от f (X ) , а определяются коэффициенты заранее выбранной функции (например, линейной определяются коэффициенты заранее выбранной функции (например, линейной y= x + b , или квадратичной y = ax 2 + bx + c , или функции какого-нибудь другого вида) так, чтобы из всех функций выбранного вида, функция с этими коэффициентами обеспечивала минимум среднего квадрата отклонения Y от f (A , X ). Иными словами, нужно найти такой вектор коэффициента А, чтобы функция переменных

S=(A)=S() = M((Y-f(A,X)) 2) (9.2)

д остигала минимума .

Пусть A * =(a ,……, a ) обеспечивает этот минимум, т.е. является точкой минимума функции S(A). Тогда уравнение y= f (A * , x ) называется уравнением средней квадратической регрессии, а случайная величина Y * = f (A * , X ) приближением случайной величины Y функций данного вида случайной величины X , найденной по методу наименьших квадратов (МНК). Коэффициенты этой функции А * =(a ,……, a ) называется коэффициентами регрессии.

Введение

Теория вероятностей является одним из классических разделов математики. Она имеет длительную историю. Основы этого раздела науки были заложены великими математиками. Назову, например, Ферма, Бернулли, Паскаля. Позднее развитие теории вероятностей определились в работах многих ученых. Большой вклад в теорию вероятностей внесли ученые нашей страны: П.Л.Чебышев, А.М.Ляпунов, А.А.Марков, А.Н.Колмогоров. Вероятностные и статистические методы в настоящее время глубоко проникли в приложения. Они используются в физике, технике, экономке, биологии и медицине. Особенно возросла их роль в связи с развитием вычислительной техники.

Например, для изучения физических явлений производят наблюдения или опыты. Их результаты обычно регистрируют в виде значений некоторых наблюдаемых величин. При повторении опытов мы обнаруживаем разброс их результатов. Например, повторяя измерения одной и той же величины одним и тем же прибором при сохранении определенных условий (температура, влажность и т.п.), мы получаем результаты, которые хоть немного, но все же отличаются друг от друга. Даже многократные измерения не дают возможности точно предсказать результат следующего измерения. В этом смысле говорят, что результат измерения есть величина случайная. Еще более наглядным примером случайной величины может служить номер выигрышного билета в лотерее. Можно привести много других примеров случайных величин. Все же и в мире случайностей обнаруживаются определенные закономерности. Математический аппарат для изучения таких закономерностей и дает теория вероятностей. Таким образом, теория вероятностей занимается математическим анализом случайных событий и связанных с ними случайных величин.

1. Случайные величины

Понятие случайной величины является основным в теории вероятностей и ее приложениях. Случайными величинами, например, являются число выпавших очков при однократном бросании игральной кости, число распавшихся атомов радия за данный промежуток времени, число вызовов на телефонной станции за некоторый промежуток времени, отклонение от номинала некоторого размера детали при правильно налаженном технологическом процессе и т. д.

Таким образом, случайной величиной называется величина, которая в результате опыта может принимать то или иное значение, причем заранее известно какое именно.

Случайные величины можно разделить на две категории.

Дискретной случайной величиной называется такая величина, которая в результате опыта может принимать определенные значения с определенной вероятностью, образующие счетное множество (множество, элементы которого могут быть занумерованы).

Это множество может быть как конечным, так и бесконечным.

Например, количество выстрелов до первого попадания в цель является дискретной случайной величиной, т.к. эта величина может принимать и бесконечное, хотя и счетное количество значений.

Непрерывной случайной величиной называется такая величина, которая может принимать любые значения из некоторого конечного или бесконечного промежутка.

Очевидно, что число возможных значений непрерывной случайной величины бесконечно.

Для задания случайной величины недостаточно просто указать ее значение, необходимо также указать вероятность этого значения.

2. Равномерное распределение

Пусть сегмент оси Ox есть шкала некоторого прибора. Допустим, что вероятность попадания указателя в некоторый отрезок шкалы пропорциональна длине этого отрезка и не зависит от места отрезка на шкале. Отметка указателя прибора есть случайная величина

Таким образом

Теперь легко найти функцию F(x) распределения вероятностей случайной величины

Наконец, если

График функции

Плотность распределения вероятностей найдем по формуле. Если

Числовые характеристики системы случайных величин

Закон распределения полностью характеризует систему случайных величин, но использовать его на практике не всегда удобно в силу сложности. Зачастую бывает достаточно знать числовые характеристики составляющих систему случайных величин, к которым относятся: математические ожидания M[X], M[Y], дисперсии D[X], D[Y] и среднеквадратические отклонения. Они вычисляются по следующим формулам.

Дисперсии составляющих можно вычислять и по укороченным формулам

Важную роль в теории двумерных случайных величин играет корреляционный момент (ковариация) , характеризующий линейную связь между составляющими системы

Корреляционный момент вычисляется по следующим формулам.

Для дискретных систем случайных величин

Для непрерывных систем случайных величин

Наряду с корреляционным моментом используется безразмерная характеристика корреляционной связи - коэффициент корреляции

Для любых систем случайных величин

Случайные величины Х и Y называются некоррелированными, если

Независимые величины всегда некоррелированы.

Условным законом распределения случайной величины, входящей в систему, называется закон ее распределения, вычисленный при условии, что другая случайная величина приняла определенное значение. Для систем непрерывных случайных величин условные законы выражаются условными плотностями распределения составляющих

При этом, (6.9)

При этом

Законы равномерного и нормального распределения систем случайных величин

Равномерный закон. Если все значения случайных величин входящих в систему расположены внутри области D, и плотность вероятности системы имеет следующий вид

то (Х,У) подчинена равномерному закону распределения.

Нормальный закон. Если плотность распределения системы (Х,У) имеет вид

где - математические ожидания; - среднеквадратичные отклонения, а - коэффициент корреляции, то система подчинена нормальному закону распределения.

Для некоррелированных случайных величин нормальная плотность распределения

Пример 6.2. Планируется деятельность 3-х предприятий на очередной год. Система (X,Y)

где - номер предприятия

Размеры вложений (в тыс. усл. ден. ед.),

Задана таблицей

Закон распределения составляющей Х означает, что независимо от объема вложений первое предприятие будет иметь вложения с вероятностью 0,3, второе - с вероятностью 0,2 и третье - с вероятностью 0,5. Составляющей Y соответствует закон распределения

и это значит, что независимо от номера предприятия объем вложений может быть равен 3 тыс. усл. ден. ед. с вероятностью 0,5 или 4 тыс. усл.ден.ед. с вероятностью 0,5.

Для определения числовых характеристик составляющих воспользуемся найденными законами распределения Х и У и формулами для определения числовых характеристик дискретных систем

Средний объем вложений;

Отклонение от среднего объема вложений

Связь между номером предприятия и объемом вложений

Пример 6.3. На производстве за определенный период использовалось два вида сырья. Случайные величины X и Y - соответственно объемы сырья, выраженные в условных единицах. Плотность распределения вероятностей системы имеет вид

В том случае, когда для исследования случайных явлений приходиться использовать две случайные величины X и Y совместно, говорят, что имеет место система {X, Y } двух случайных величин. Возможные значения системы {X, Y } представляют собой случайные точки (x , y ) в области возможных значений системы.

Различают дискретные и непрерывные системы в зависимости от типа входящих в них случайных величин.

Закон распределения дискретной системы задается в виде таблицы или функции распределения.

Лекция 6. Законы распределения системы двух случайных величин

Таблица распределения системы {X, Y } содержит совокупность величин xi , yj и P (xi,yj ), где P (xi,yj )=P (X=xi,Y=yj ), n, m – числа возможных значений случайной величины X, Y, соответственно.

Функция распределения системы {X, Y } задается в виде:

Лекция 6. Законы распределения системы двух случайных величин

Закон распределения непрерывной системы {X, Y } может быть представлен функцией распределения F (x, y ) или плотностью распределения φ (x, y ):

Лекция 6. Законы распределения системы двух случайных величин

Частные распределения системы {X, Y } – это законы распределения каждой из случайных величин X и Y .

Если X и Y – дискретные случайные величины, то вероятности P (xi ) и P (yj ), необходимые для нахождения их законов распределения, находятся из таблицы распределения по формулам:

Для непрерывных систем {X, Y } частные плотности распределения имеют вид:

Лекция 6. Законы распределения системы двух случайных величин

Условные распределения определяются:

условными вероятностями P (xi/yj ), P (yj/xi ) для дискретных систем {X, Y } и условными плотностями распределения (x/y ), (y/x ) для непрерывных систем {X, Y }:

Лекция 6. Законы распределения системы двух случайных величин

Условия независимости случайных величин X и Y:

– для дискретных систем (8)

– для непрерывных систем (9)

При выполнении этих соотношений, следует:

(10) (11)

Вероятность попадания возможных значений непрерывной системы {X, Y } в область (D ) определяется по формуле:

(12)

Лекция 6. Законы распределения системы двух случайных величин

Пример 3.1

Закон распределения системы {X, Y} задан таблицей:

Требуется:

а) найти частные распределения X и Y;

б) условный закон распределения Y при X= -1;

в) определить, зависимы ли величины X и Y?

Лекция 6. Законы распределения системы двух случайных величин

Решение:

а) Найти частные распределения X и Y

б) Условный закон распределения Y при X= -1. При Х= -1 случайная величина Y имеет следующий закон распределения:

в) Определить, зависимы ли величины X и Y?

Так как в безусловном и условном законах распределения вероятности P(yj) и P(yj / X = -1) различны, то, следовательно, случайные величины X и Y зависимы.

Лекция 6. Законы распределения системы двух случайных величин

Пример 3.2

Дана система {X, Y}, равномерно распределенная в квадрате |x|+|y| 1 (см. рис. 22).

Определить: а) частные законы распределения X и Y; б) зависимы ли эти случайные величины?

Лекция 6. Законы распределения системы двух случайных величин

Решение:

Закон распределения {X, Y} имеет вид:

Плотность при |x|≤1 определяется по формуле:

Лекция 6. Законы распределения системы двух случайных величин

Тогда (см. рис. 23):

Аналогично для (y) получим:

Так как условие независимости не выполняется:

то случайные величины X и Y зависимы.

К числовым характеристикам системы {X, Y } относятся:

• числовые характеристики случайных величин X и Y :

mx , my , Dx , Dy , σx , σy ;

• числовые характеристики условных распределений :

mx/y , my/x , Dx/y , Dy/x , σx/y , σy/x ;

• числовые характеристики связи случайных величин :

Kxy и rxy

Лекция 7. Числовые характеристики системы двух случайных величин

Числовые характеристики первой группы определяются по ранее приведенным формулам.

Числовые характеристики второй группы применительно к непрерывной системе {X, Y } определяются по формулам:

Для дискретных систем {X, Y } эти формулы очевидны.

Лекция 7. Числовые характеристики системы двух случайных величин

Величины Kxy и rxy являются характеристиками линейной корреляционной зависимости между X и Y ; они определяются зависимостями:

где Kxy – корреляционный момент или момент связи между X и Y ;

– коэффициент корреляции между X и Y , -1  rx  1. (16)

Коэффициент корреляции характеризует степень линейной корреляционной зависимости между X и Y .

Лекция 7. Числовые характеристики системы двух случайных величин

Под корреляционной зависимостью понимается такая зависимость, когда с изменением одной случайной величины, например X , у другой – Y изменяется ее математическое ожидание (my/x ).

При |rxy |=1 имеет место линейная функциональная связь между X и Y , при rxy =0 случайные величины X и Y некоррелированы.

Если X и Y независимы, то они и некоррелированы. Если rxy =0, то случайные величины X и Y могут быть зависимы.

Лекция 7. Числовые характеристики системы двух случайных величин

Пример 3.3

В условиях примера 3.1. определить: mx, my, Dx, Dy, Kxy, rxy.

Решение:

Лекция 7. Числовые характеристики системы двух случайных величин

Пример 3.4

В условиях примера 3.2. определить числовые характеристики системы {X, Y}.

Решение:

Лекция 7. Числовые характеристики системы двух случайных величин

– это плотность равномерного распределения в интервале

(-(1-|x|), (1-|x|))

Аналогично можно записать выражения для mx/y , Dx/y .

В общем случае, когда случайные величины, входящие в систему {X, Y }, зависимы, плотность нормального распределения имеет вид:

(17)

Частные распределения определяются по формулам:

(18)

(19)

Лекция 8. Нормальный закон распределения системы двух случайных величин

Условные плотности (x/y ) и (y/x ) имеют вид нормальных распределений:

(20) (21)

где

(22) (23)

(24) (25)

Лекция 8. Нормальный закон распределения системы двух случайных величин

Если случайные величины X и Y независимы, то и плотность принимает вид:

Вероятность попадания нормально распределенной системы {X,Y} (в случае независимых случайных величин X и Y ) в прямоугольник со сторонами, параллельными осям координат, определятся с помощью функции Лапласа по формуле:

(27)

Лекция 8. Нормальный закон распределения системы двух случайных величин

Пример 3.5

Определить вероятность попадания снаряда в цель, имеющую форму прямоугольника с координатами центра: xц=10 м, yц =5 м. Стороны прямоугольника параллельны осям координат и равны: по оси ox: 2 =20 м, по оси oy: 2k = 40 м. Координаты точки прице-ливания: mx=5м, my =5 м. Характеристики рассеивания снарядов по осям ox и oy, соответственно, равны: σx=20 м, σy =10 м.

Решение: Обозначим площадь прямоугольника через D.

Тогда:

Тема 4. Функции случайных величин

Лекция 9. Закон распределения функции одного случайного аргумента

Порядок нахождения закона распределения функции Y=y (X ), где X – дискретная случайная величина, представлен в примере 4.1.

Если возможные значения случайных величин X и Y связаны функциональной зависимостью y=y (x ), где y (x ) – непрерывна и дифференцируема, и известен закон распределения случайной величины X- , то закон распределения случайной величины Y- для случая, когда y (x ) монотонно возрастает или убывает в диапазоне своих возможных значений, выражается формулой (1):

В формуле (1) x (y ) есть обратная функция.

В том случае, когда функция y (x ) имеет n участков убывания и возрастания, то эта формула записывается в виде (2).

Лекция 9. Закон распределения функции одного случайного аргумента

Пример 4.1

Случайная величина X имеет закон распределения:

Найти закон распределения случайной величины

Решение: Находим возможные значения функции

при =0, 1, 2, 3.

Они, соответственно, равны: 1, 2, 1, 0. Следовательно, возможными значениями являются: 0, 1, 2.

Лекция 9. Закон распределения функции одного случайного аргумента

Находим вероятности этих возможных значений:

Закон распределения Y:

Лекция 9. Закон распределения функции одного случайного аргумента

Пример 4.2

Найти плотность распределения случайной величины и построить ее график, если случайная величина X распределена равномерно на интервале

Решение: График функции

представлен на рис. 24.

Лекция 9. Закон распределения функции одного случайного аргумента

Случайная величина X имеет следующую плотность распределения:

Находим обратную функ­­цию x (y ) и ее производную:

Лекция 9. Закон распределения функции одного случайного аргумента

Окончательно получим следующее выражение для плотности

График этой плотности

представлен на рис. 25.

Лекция 10. Числовые характеристики функции случайных величин

Основные формулы:

Лекция 10. Числовые характеристики функции случайных величин

Лекция 10. Числовые характеристики функции случайных величин

где Xi – независимые случайные величины,

Лекция 10. Числовые характеристики функции случайных величин

Лекция 10. Числовые характеристики функции случайных величин

Для n случайных величин числовые характеристики задаются совокупностью и корреляционной матрицей:

Запись в виде треугольной матрицы справедлива, т.к.

Лекция 10. Числовые характеристики функции случайных величин

Корреляционная матрица может быть представлена в нормированном виде, т.е. матрицей коэффициентов корреляции:

Лекция 10. Числовые характеристики функции случайных величин

Пример 4.3

Определить числовые характеристики случайной величины

если и

Решение:

Случайная величина U есть линейная функция случайных аргументов X, Y и Z. Поэтому с использованием формул (11) и (17) данного раздела получим:

В теории вероятностей и её приложениях большую роль играет двумерное нормальное распределение. Плотность двумерной нормальной случайной величины (X,Y) имеет вид

Здесь
- математические ожидания величинX и Y;
- средние квадратичные отклонения величинX и Y; r – коэффициент корреляции величин X и Y.

Предположим, что случайные величины X и Y не коррелированы, то есть r=0. Тогда имеем:

(53)

Получили, что плотность распределения системы двух случайных величин (X,Y) равна произведению плотностей распределения компонент X и Y, а это значит, что X и Y – независимые случайные величины.

Таким образом, доказана следующая теорема : из некоррелированности нормально распределенных случайных величин следует их независимость . Поскольку из независимости любых случайных величин следует их некоррелированность, то можно сделать вывод, что термины «некоррелированные» и «независимые» величины для случая нормального распределения эквивалентны.

Приведём формулы для вероятности попадания нормально распределённой двумерной случайной величины в различные области на плоскости.

Пусть случайный вектор (X,Y), компоненты которого независимы, распределён по нормальному закону (53). Тогда вероятность попадания случайной точки (X,Y) в прямоугольник R , стороны которого параллельны координатным осям, равна

где
- функция Лапласа. Эта функция табулирована.

Пусть плотность распределения нормального закона системы случайных величин (X,Y) задана в виде (52). Ясно, что данная плотность сохраняет постоянное значение на эллипсах:

где С – постоянная; на этом основании такие эллипсы носят название эллипсов равных вероятностей . Можно показать, что вероятность попадания точки (X,Y) внутрь эллипса равной вероятности равна

(56)

Пример 10 . Случайные величины X и Y независимы и нормально распределены с Найти вероятность того, что случайная точка (X,Y) попадет в кольцо

Решение: Так как случайные величины X и Y независимы, то они не коррелированы и, следовательно, r = 0. Подставляя в (С), получаем

,

то есть эллипс равной вероятности выродился в круг равной вероятности. Тогда

Ответ: 0,1242.

3.2. Общий случай n-мерного нормального распределения

Плотность нормального распределения системы n случайных величин имеет вид:

где - определитель матрицы С - обратной к ковариационной матрице;
- математическое ожидание случайной величины Х i - i-той компоненты n -мерного нормального случайного вектора.

Из общего выражения вытекают все формы нормального закона для любого числа измерений и для любых видов зависимости между случайными величинами. В частности, при n = 2 ковариационная матрица имеет вид:

(58)

её определитель
; матрица С, обратная к ковариационной матрице,имеет вид

. (59)

Подставляя и элементы матрицы С в общую формулу (57), получаем формулу для нормального распределения на плоскости (52).

Если случайные величины
независимы, то плотность распределения системы
равна

При n = 2 эта формула принимает вид (53).