) предназначен для сравнения исключительно двух совокупностей. Однако часто он неверно используется для попарного сравнения большего количества групп (рис. 1), что вызывает т.н. эффект множественных сравнений (англ. multiple comparisons; Гланц 1999, с. 101-104). Об этом эффекте и о том, как с ним бороться, мы поговорим позднее. В этом же сообщении я опишу принципы однофакторного дисперсионного анализа , как раз предназначенного для одновременного сравнения средних значений двух и более групп. Принципы дисперсионного анализа (англ. an alysis o f va riance , ANOVA) были разработаны в 1920-х гг. сэром Рональдом Эйлмером Фишером (англ. Ronald Aylmer Fisher ) - "гением, едва не в одиночку заложившим основы современной статистики " (Hald 1998).

Может возникнуть вопрос: почему метод, используемый для сравнения средних значений, называется дисперсионным анализом? Все дело в том, что при установлении разницы между средними значениями мы в действительности сравниваем дисперсии анализируемых совокупностей. Однако обо всем по порядку...

Постановка задачи

Рассмотренный ниже пример заимствован из книги Maindonald & Braun (2010). Имеются данные о весе томатов (все растение целиком; weight , в кг), которые выращивали в течение 2 месяцев при трех разных экспериментальных условиях (trt , от treatment ) - на воде (water ), в среде с добавлением удобрения (nutrient ), а также в среде с добавлением удобрения и гербицида 2,4-D (nutrient+24D ):

# Создадим таблицу с данными: tomato <- data.frame (weight= c (1.5 , 1.9 , 1.3 , 1.5 , 2.4 , 1.5 , # water 1.5 , 1.2 , 1.2 , 2.1 , 2.9 , 1.6 , # nutrient 1.9 , 1.6 , 0.8 , 1.15 , 0.9 , 1.6 ) , # nutrient+24D trt = rep (c ("Water" , "Nutrient" , "Nutrient+24D" ) , c (6 , 6 , 6 ) ) ) # Просмотрим результат: weight weight trt 1 1.50 Water 2 1.90 Water 3 1.30 Water 4 1.50 Water 5 2.40 Water 6 1.50 Water 7 1.50 Nutrient 8 1.20 Nutrient 9 1.20 Nutrient 10 2.10 Nutrient 11 2.90 Nutrient 12 1.60 Nutrient 13 1.90 Nutrient+24D 14 1.60 Nutrient+24D 15 0.80 Nutrient+24D 16 1.15 Nutrient+24D 17 0.90 Nutrient+24D 18 1.60 Nutrient+24D

Переменная trt представляет собой фактор с тремя уровнями. Для более наглядного сравнения экспериментальных условий в последующем, сделаем уровень "water " базовым (англ. reference ), т.е. уровнем, с которым R будет сравнивать все остальные уровни. Это можно сделать при помощи функции relevel() :

Чтобы лучше понять свойства имеющихся данных, визуализируем их при помощи наблюдаемые различия между групповыми средними несущественны и вызваны влиянием случайных факторов (т.е. в действительности все полученные измерения веса растений происходят из одной нормально распределенной генеральной совокупности):

Подчеркнем еще раз, что рассматриваемый пример соответствует случаю однофакторного дисперсионного анализа: изучается действие одного фактора - условий выращивания (с тремя уровнями - Water , Nutrient и Nutrient+24D ) на интересующую нас переменную-отклик - вес растений.

К сожалению, исследователь почти никогда не имеет возможности изучить всю генеральную совокупность. Как же нам тогда узнать, верна ли приведенная выше нулевая гипотеза, располагая только выборочными данными? Мы можем сформулировать этот вопрос иначе: какова вероятность получить наблюдаемые различия между групповыми средними, извлекая случайные выборки из одной нормально распределенной генеральной совокупности ? Для ответа на этот вопрос на нам потребуется статистический критерий, который количественно характеризовал бы величину различий между сравниваемыми группами.

Основной целью дисперсионного анализа, фундаментальная концепция которого была предложена Фишером в 1920 г., Является исследование значимости различия между средними нескольких групп данных или переменных. Если сравниваются средние двух групп, дисперсионный анализ даст тот же результат, что и обычный г-критерий для независимых или зависимых выборок. Однако использование дисперсионного анализа имеет преимущества особенно для малых выборок.

В дисперсионном анализе проверка статистической значимости различия между средними нескольких групп осуществляется на основе выборочных дисперсий. Эта проверка проводится с помощью разбиения общей дисперсии (вариации) на части, одна из которых обусловлена случайной ошибкой (то есть внут-ришньогруповою изменчивостью), а вторая связана с различием средних значений. Если это различие значимо, нулевая гипотеза о существовании различия между средними значениями откидывается на определенном уровне значимости.

Дисперсионный однофакторный анализ

Дисперсионный однофакторный анализ используется в исследованиях изменения результативного признака под влиянием изменения условий или градаций фактора. Суть математических преобразований дисперсионной метода заключается в том, чтобы сопоставить дисперсии по факторам с дисперсией всех значений, полученных в эксперименте. Однофакторный анализ требует не менее трех градаций фактора и не менее двух испытаний в каждой градации. При проведении дисперсионного анализа необходимо проверить нормальность распределения исследуемой случайной величины и отсутствие различия дисперсий совокупностей. Это можно выполнить методами проверки статистических гипотез (см.раздел 5).

Предположим, что анализируется влияние фактора А на к уровнях А 1, ^ 4 2, а к. Например, в эксперименте это можно реализовать, если задействовать к выборок с различными градациями условий. На каждом уровне Ли (для каждой выборки) проведения п спостереженьх / 1, х / 2, х ш (см. Табл. 6.1).

Таблица 6.1

Номера наблюдений	Уровни фактора А
		х 21 ooo
	х первых	х 2 И o
			х кп
		Х2 o ..

Рассмотрим оценки различных дисперсий.

Дисперсия я 2 для уровня Аи (для определенной выборки) может быть записана как

Дисперсия я 0, характеризующий вариативность вне влияния фактора А

Общая дисперсия я всех пк наблюдений равна

Дисперсия я 2 А, характеризующий изменение средних х / под влиянием фактора А:

1 к _ =

к ~ 1 ¡= 1

Проверка влияния фактора А на смену средних может быть сведена к сравнению дисперсий я 2 А и я 2. Влияние фактора А считаться значимым на гальке

а если является значимым отношение 5 1я 2, то есть если

5 2 Л и ^> ^ а [к 1; к (п -1)], где к 1; к (п -1) - степени свободы ^ -распределение, 5 и я 7] - ^ -критерий Фишера. Пример 6.1. Двести предположение о том, что фактор скорости предъявления слов влияет на показатели их воспроизведения (данные в таблице рис. 8.1). Последовательность решения:

o Формулировка гипотез.

Н 0: фактор скорости не более выраженным, чем случайным; Н 1: фактор скорости более выраженным, чем случайным.

o Проверка предположений: исследуемый параметр нормальный распределение; выборки несвязанные одинаковых объемов; измерения по шкале отношений.

o Определение эмпирического критерия Г ЭМП базируется на сопоставлении квадратов сумм по столбцам с суммой квадратов всех эмпирических значений. Каждый столбец представляет выборку и соответствует определенной градации фактора скорости.

o Введенные обозначения:

п = 6 - количество наблюдений (строк)

к = 3 - количество факторов (столбиков)

пк = 6-3 = 18 - общее количество индивидуальных значений;

7 - индекс строк изменяется от 1 до п (7 = 1, 2, ..., п)

и - индекс столбиков изменяется от 1 до к (и = 1, 2, ..., к).

o Математические расчеты (см. рис 6.1 6.2):

i = 1 7 = 1 п м кп ^ и = 1)

Есть 1 = 6 2 + семь 2 + 6 2 + 5 2 + _ + 5 2 + 5 2 = 432; и 2 = - (34 2 + +29 2 + 23 2) = 421;

и 3 ^^ (34 + 29 + 23) 2 = 410,89; 3 o 6

Рис. 6.1. Результаты Рис. 6.2. Расчетные формулы

дисперсионного анализа однофакторного дисперсионного анализа

o Критическое значение ^ кр можно получить с помощью функции

РРАСПОБР () для уровня значимости для а = 0,05 (0,01) и числа степеней свободы к 1 = 3-1 = 2 и к (п -1) = 3 (6-1) = 15. Г 0и05 ~ 3,68 и Г 0и01 ~ 6,36.

o Принятие решения. Поскольку ¥ ГМП> Р 0? 01 (6,89> 6,36), нулевая гипотеза Н 0 отклоняется на уровне значимости 0,01.

o Формулировка выводов. Различия в объеме воспроизведения слов (фактор скорости) более выраженными, чем случайным. Эту зависимость можно представить графически на рис. 6.3.

Рис. 6.3. Зависимость среднего объема воспроизведенных слов от скорости предъявления

Расчеты однофакторной модели можно провести с помощью пакета "Анализ данных" раздел "Однофакторный дисперсионный анализ" (рис. 6.4).

Рис. 6.4. Меню пакета "Анализ данных" После введения соответствующих параметров (рис. 6.5) можно получить результаты однофакторного дисперсионного анализа (рис. 6.6).

Рис. 6.5. Диалоговое окно

Рис. 6.6. Результаты однофакторного дисперсионного анализа (а = 0,05)

Компьютерный пакет "Анализ данных" выполняет расчеты основных статистик (суммы, средние, дисперсии, значение эмпирических и теоретических критериев и т.п.), что дает основания исследователю для статистических выводов.

Применение статистики в этой заметке будет показано на сквозном примере. Предположим, что вы - руководитель производства в компании Perfect Parachute («Идеальный парашют»). Парашюты изготавливаются из синтетических волокон, поставляемых четырьмя разными поставщиками. Одной из основных характеристик парашюта является его прочность. Вам необходимо убедиться, что все поставляемые волокна обладают одинаковой прочностью. Чтобы ответить на этот вопрос, следует разработать схему эксперимента, в ходе которого измеряется прочность парашютов, сотканных из синтетических волокон разных поставщиков. Информация, полученная в ходе этого эксперимента, позволит определить, какой поставщик обеспечивают наибольшую прочность парашютов.

Многие приложения связаны с экспериментами, в которых рассматривается несколько групп или уровней одного фактора. Некоторые факторы, например, температура обжига керамики, могут иметь несколько числовых уровней (т.е. 300°, 350°, 400° и 450°). Другие факторы, например, местоположение товаров в супермаркете, могут иметь категориальные уровни (например, первый поставщик, второй поставщик, третий поставщик, четвертый поставщик). Однофакторные эксперименты, в ходе которых экспериментальные единицы случайным образом распределяются по группам или уровням фактора, называются полностью рандомизированными.

Использование F -критерия для оценки разностей между несколькими математическими ожиданиями

Если числовые измерения фактора в группах являются непрерывными и выполняются некоторые дополнительные условия, для сравнения математических ожиданий нескольких групп применяется дисперсионный анализ (ANOVA - An alysis o f Va riance). Дисперсионный анализ, использующий полностью рандомизированные планы, называется однофакторной процедурой ANOVA. В некотором смысле термин дисперсионный анализ является неточным, поскольку при этом анализе сравниваются разности между математическими ожиданиями групп, а не между дисперсиями. Однако сравнение математических ожиданий осуществляется именно на основе анализа вариации данных. В процедуре ANOVA полная вариация результатов измерений подразделяется на межгрупповую и внутригрупповую (рис. 1). Внутригрупповая вариация объясняется ошибкой эксперимента, а межгрупповая - эффектами условий эксперимента. Символ с обозначает количество групп.

Рис. 1. Разделение вариации в полностью рандомизированном эксперименте

Скачать заметку в формате или , примеры в формате

Предположим, что с групп извлечено из независимых генеральных совокупностей, имеющих нормальное распределение и одинаковую дисперсию. Нулевая гипотеза заключается в том, что математические ожидания генеральных совокупностей одинаковы: Н 0: μ 1 = μ 2 = … = μ с . Альтернативная гипотеза гласит, что не все математические ожидания одинаковы: Н 1 : не все μ j одинаковы j = 1, 2, …, с).

На рис. 2 представлена истинная нулевая гипотеза о математических ожиданиях пяти сравниваемых групп при условии, что генеральные совокупности имеют нормальное распределение и одинаковую дисперсию. Пять генеральных совокупностей, связанных с разными уровнями фактора, идентичны. Следовательно, они накладываются одна на другую, имея одинаковые математическое ожидание, вариацию и форму.

Рис. 2. Пять генеральных совокупностей имеют одинаковое математическое ожидание: μ 1 = μ 2 = μ 3 = μ 4 = μ 5

С другой стороны, предположим, что на самом деле нулевая гипотеза является ложной, причем четвертый уровень имеет наибольшее математическое ожидание, первый уровень - чуть меньшее математическое ожидание, а остальные уровни - одинаковые и еще меньшие математические ожидания (рис. 3). Обратите внимание на то, что за исключением величины математических ожиданий все пять генеральных совокупностей идентичны (т.е. имеют одинаковую изменчивость и форму).

Рис. 3. Наблюдается эффект условий эксперимента: μ 4 > μ 1 > μ 2 = μ 3 = μ 5

При проверке гипотезы о равенстве математических ожиданий нескольких генеральных совокупностей полная вариация разделяется на две части: межгрупповую вариацию, обусловленную разностями между группами, и внутригрупповую, обусловленную разностями между элементами, принадлежащими одной группе. Полная вариация выражается полной суммой квадратов (SST – sum of squares total). Поскольку нулевая гипотеза заключается в том, что математические ожидания всех с групп равны между собой, полная вариация равна сумме квадратов разностей между отдельными наблюдениями и общим средним (среднее средних) , вычисленным по всем выборкам. Полная вариация:

где - общее среднее, X ij - i -e наблюдение в j -й группе или уровне, n j - количество наблюдений в j -й группе, n - общее количество наблюдений во всех группах (т.е. n = n 1 + n 2 + … + n c ), с - количество изучаемых групп или уровней.

Межгрупповая вариация , называемая обычно межгрупповой суммой квадратов (SSA – sum of squares among groups), равна сумме квадратов разностей между выборочным средним каждой группы j и общим средним , умноженных на объем соответствующей группы n j :

где с - количество изучаемых групп или уровней, n j - количество наблюдений в j -й группе, j - среднее значение j -й группы, - общее среднее.

Внутригрупповая вариация , называемая обычно внутригрупповой суммой квадратов (SSW – sum of squares withing groups), равна сумме квадратов разностей между элементами каждой группы и выборочным средним этой группы j :

где Х ij - i -й элемент j -й группы, j - среднее значение j -й группы.

Поскольку сравнению подвергаются с уровней фактора, межгрупповая сумма квадратов имеет с – 1 степеней свободы. Каждый из с уровней обладает n j – 1 степенями свободы, поэтому внутригрупповая сумма квадратов имеет n – с степеней свободы, и

Кроме того, общая сумма квадратов имеет n – 1 степеней свободы, поскольку каждое наблюдение Х ij сравнивается с общим средним , вычисленным по всем n наблюдениям. Если каждую из этих сумм разделить на соответствующее количество степеней свободы, возникнут три вида дисперсии: межгрупповая (mean square among - MSA), внутригрупповая (mean square within - MSW) и полная (mean square total - MST):

Несмотря на то что основное предназначение дисперсионного анализа - сравнить математические ожидания с групп, чтобы выявить эффект условий эксперимента, его название обусловлено тем, что главным инструментом является анализ дисперсий разного типа. Если нулевая гипотеза является истинной, и между математическими ожиданиями с групп нет существенных различий, все три дисперсии - MSA, MSW и MST - являются оценками дисперсии σ 2 , присущей анализируемым данным. Таким образом, чтобы проверить нулевую гипотезу Н 0: μ 1 = μ 2 = … = μ с и альтернативную гипотезу Н 1 : не все μ j одинаковы j = 1, 2, …, с ), необходимо вычислить статистику F -критерия, представляющую собой отношение двух дисперсий, MSA и MSW. Тестовая F -статистика в однофакторном дисперсионном анализе

Статистика F -критерия подчиняется F -распределению с с – 1 степенями свободы в числителе MSA и n – с степенями свободы в знаменателе MSW . При заданном уровне значимости α нулевая гипотеза отклоняется, если вычисленная F F U , присущего F -распределению с с – 1 n – с степенями свободы в знаменателе. Таким образом, как показано на рис. 4, решающее правило формулируется следующим образом: нулевая гипотеза Н 0 отклоняется, если F > F U ; в противном случае она не отклоняется.

Рис. 4. Критическая область дисперсионного анализа при проверке гипотезы Н 0

Если нулевая гипотеза Н 0 является истинной, вычисленная F -статистика близка к 1, поскольку ее числитель и знаменатель являются оценками одной и той же величины - дисперсии σ 2 , присущей анализируемым данным. Если нулевая гипотеза Н 0 является ложной (и между математическими ожиданиями разных групп существует значительная разница), вычисленная F -статистика будет намного больше единицы, поскольку ее числитель, MSA, помимо естественной изменчивости данных, оценивает эффект условий эксперимента или разности между группами, в то время как знаменатель MSW оценивает лишь естественную изменчивость данных. Таким образом, процедура ANOVA представляет собой F -критерий, в котором при заданном уровне значимости α нулевая гипотеза отклоняется, если вычисленная F -статистика больше верхнего критического значения F U , присущего F -распределению с с – 1 степенями свободы в числителе и n – с степенями свободы в знаменателе, как показано на рис. 4.

Для иллюстрации однофакторного дисперсионного анализа вернемся к сценарию, изложенному в начале заметки. Цель эксперимента - определить, имеют ли парашюты, сотканные из синтетического волокна, полученного от разных поставщиков, одинаковую прочность. В каждой из групп соткано по пять парашютов. Группы разделены по поставщикам- Поставщик 1, Поставщик 2, Поставщик 3 и Поставщик 4. Прочность парашютов измеряется с помощью специального устройства, испытывающего ткань на разрыв с двух сторон. Сила, необходимая для разрыва парашюта, измеряется по особой шкале. Чем выше сила разрыва, тем прочнее парашют. Excel позволяет провести анализ F -статистики одним кликом. Пройдите по меню Данные → Анализ данных , и выберите строку Однофакторный дисперсионный анализ , заполните открывшееся окно (рис. 5). Результаты эксперимента (сила разрыва), некоторые описательные статистики и результаты однофакторного дисперсионного анализа представлены на рис. 6.

Рис. 5. Окно Однофакторный дисперсионный анализ Пакета анализа Excel

Рис. 6. Показатели прочности парашютов, сотканных из синтетических волокон, полученных от разных поставщиков, описательные статистики и результаты однофакторного дисперсионного анализа

Анализ рисунка 6 показывает, что между выборочными средними наблюдается некоторая разница. Средняя прочность волокон, полученных от первого поставщика, равна 19,52, от второго - 24,26, от третьего - 22,84 и от четвертого - 21,16. Можно ли назвать эту разницу статистически значимой? Распределение силы разрыва продемонстрировано на диаграмме разброса (рис. 7). На ней ясно видны разности как между группами, так и внутри них. Если бы объем каждой группы был больше, для их анализа можно было бы применить диаграмму «ствол и листья», блочную диаграмму или график нормального распределения.

Рис. 7. Диаграмма разброса прочности парашютов, сотканных из синтетических волокон, полученных от четырех поставщиков

Нулевая гипотеза утверждает, что между средними показателями прочности нет существенных различий: Н 0: μ 1 = μ 2 = μ 3 = μ 4 . Альтернативная гипотеза заключается в том, что существует по крайней мере один поставщик, у которого средняя прочность волокон отличается от других: Н 1 : не все μ j одинаковы (j = 1, 2, …, с ).

Общее среднее (см. рис. 6) =СРЗНАЧ(D12:D15) = 21,945; для определения также можно усреднить все 20 исходных чисел: =СРЗНАЧ(A3:D7). Значения дисперсий рассчитываются Пакетом анализа и отражаются в табличке Дисперсионный анализ (см. рис. 6): SSA = 63,286, SSW = 97,504, SST = 160,790 (см. колонку SS таблицы Дисперсионный анализ рисунка 6). Средние значения вычисляются путем деления этих сумм квадратов на соответствующее количество степеней свободы. Поскольку с = 4, а n = 20, получаем следующие значения степеней свободы; для SSA: с – 1 = 3; для SSW: n – c = 16; для SST: n – 1 = 19 (см. колонку df ). Таким образом: MSA = SSA / (с – 1) = 21,095; MSW = SSW / (n – c ) = 6,094; MST = SST / (n – 1 ) = 8,463 (см. колонку MS ). F -статистика = MSA / MSW = 3,462 (см. колонку F ).

Верхнее критическое значение F U , характерное для F -распределения, определяется по формуле =F.ОБР(0,95;3;16) = 3,239. Параметры функции =F.ОБР(): α = 0,05, числитель имеет три степени свободы, а знаменатель - 16. Таким образом, вычисленная F -статистика, равная 3,462, превышает верхнее критическое значение F U = 3,239, нулевая гипотеза отклоняется (рис. 8).

Рис. 8. Критическая область дисперсионного анализа при уровне значимости, равном 0,05, если числитель имеет три степени свободы, а знаменатель -16

р -значение, т.е. вероятность того, что при истинной нулевой гипотезе F -статистика не меньше 3,46, равно 0,041 или 4,1% (см. колонку р-Значение таблицы Дисперсионный анализ рисунка 6). Поскольку эта величина не превышает уровень значимости α = 5%, нулевая гипотеза отклоняется. Более того, р -значение свидетельствует о том, что вероятность обнаружить такую или большую разность между математическими ожиданиями генеральных совокупностей при условии, что на самом деле они одинаковы, равна 4,1%.

Итак. Между четырьмя выборочными средними существует разница. Нулевая гипотеза заключалась в том, что все математические ожидания четырех генеральных совокупностей равны между собой. В этих условиях мера полной изменчивости (т.е. полная вариация SST) прочности всех парашютов вычисляется путем суммирования квадратов разностей между каждым наблюдением X ij и общим средним . Затем полная вариация разделялась на два компонента (см. рис. 1). Первый компонент представлял собой межгрупповую вариацию SSA, а второй - внутригрупповую SSW.

Чем объясняется изменчивость данных? Иначе говоря, почему все наблюдения не одинаковы? Одна из причин заключается в том, что разные фирмы поставляют волокна разной прочности. Это частично объясняет, почему группы имеют разные математические ожидания: чем сильнее эффект условий эксперимента, тем больше разность между математическими ожиданиями групп. Другой причиной изменчивости данных является естественная изменчивость любого процесса, в данном случае - производства парашютов. Даже если бы все волокна приобретались у одного и того же поставщика, их прочность была бы неодинаковой при прочих равных условиях. Поскольку этот эффект проявляется в каждой из групп, он называется внутригрупповой вариацией.

Разности между выборочными средними называются межгрупповой вариацией SSA. Часть внутригрупповой вариации, как уже указывалось, объясняется принадлежностью данных разным группам. Однако даже если бы группы были совершенно одинаковыми (т.е. нулевая гипотеза была бы истинной), межгрупповая вариация все равно существовала. Причина этого заключается в естественной изменчивости процесса производства парашютов. Поскольку выборки разные, их выборочные средние отличаются друг от друга. Следовательно, если нулевая гипотеза является истинной, как межгрупповая, так и внутригрупповая изменчивость представляют собой оценку изменчивости генеральной совокупности. Если нулевая гипотеза является ложной, межгрупповая гипотеза будет больше. Именно этот факт лежит в основе F -критерия для сравнения разностей между математическими ожиданиями нескольких групп.

После выполнения однофакторного дисперсионного анализа и обнаружения значительной разницы между фирмами остается неизвестным, какой же из поставщиков существенно отличается от остальных. Нам известно лишь, что математические ожидания генеральных совокупностей не равны. Иначе говоря, по крайней мере одно из математических ожиданий существенно отличается от других. Чтобы определить, какой из поставщиков отличается от других, можно воспользоваться процедурой Тьюки , использующей попарное сравнение между поставщиками. Эта процедура была разработана Джоном Тьюки. Впоследствии он и К. Крамер независимо друг от друга модифицировали эту процедуру для ситуаций, в которых объемы выборок отличаются друг от друга.

Множественное сравнение: процедура Тьюки-Крамера

В нашем сценарии для сравнения прочности парашютов использовался однофакторный дисперсионный анализ. Обнаружив значительные различия между математическими ожиданиями четырех групп, необходимо определить, какие именно группы отличаются друг от друга. Хотя существует несколько способов решить эту задачу, мы опишем лишь процедуру множественного сравнения Тьюки-Крамера. Этот метод является примером процедур апостериорного сравнения (post hoc comparison), поскольку проверяемая гипотеза формулируется после анализа данных. Процедура Тьюки-Крамера позволяет одновременно сравнить все пары групп. На первом этапе вычисляются разности X j – X j ’ , где j ≠ j ’ , между математическими ожиданиями с(с – 1)/2 групп. Критический размах процедуры Тьюки-Крамера вычисляется по формуле:

где Q U - верхнее критическое значение распределения стьюдентизированного размаха, имеющего с степеней свободы в числителе и n – с степеней свободы в знаменателе.

Если объемы выборок не одинаковы, критический размах вычисляется для каждой пары математических ожиданий отдельно. На последнем этапе каждая из с(с – 1)/2 пар математических ожиданий сравнивается с соответствующим критическим размахом. Элементы пары считаются значимо различными, если модуль разности |X j – X j ’ | между ними превышает критический размах.

Применим процедуру Тьюки-Крамера к задаче о прочности парашютов. Поскольку компания, производящая парашюты, имеет четыре поставщика, следует проверить 4(4 – 1)/2 = 6 пар поставщиков (рис. 9).

Рис. 9. Попарные сравнения выборочных средних

Поскольку все группы имеют одинаковый объем (т.е. все n j = n j ’ ), достаточно вычислить только один критический размах. Для этого по таблице Дисперсионного анализа (рис. 6) определим величину MSW = 6,094. Затем найдем величину Q U при α = 0,05, с = 4 (число степеней свободы в числителе) и n – с = 20 – 4 = 16 (число степеней свободы в знаменателе). К сожалению, я не нашел соответствующей функции в Excel, так что воспользовался таблицей (рис. 10).

Рис. 10. Критическое значение стьюдентизированного размаха Q U

Получаем:

Поскольку лишь 4,74 > 4,47 (см. нижнюю таблицу рис. 9), статистически значимая разница существует между первым и вторым поставщиком. Все остальные пары имеют выборочные средние, которые не позволяют говорить о их различии. Следовательно, средняя прочность парашютов, сотканных из волокон, приобретенных у первого поставщика, значимо меньше, чем у второго.

Необходимые условия однофакторного дисперсионного анализа

При решении задачи о прочности парашютов мы не проверяли, выполняются ли условия, при которых можно использовать однофакторный F -критерий. Как же узнать, можно ли применять однофакторный F -критерий при анализе конкретных экспериментальных данных? Однофакторный F -критерий можно применять, только если выполняются три основных предположения: экспериментальные данные должны быть случайными и независимыми, иметь нормальное распределение, а их дисперсии должны быть одинаковыми.

Первое предположение - случайность и независимость данных - должно выполняться всегда, поскольку корректность любого эксперимента зависит от случайности выбора и/или процесса рандомизации. Чтобы избежать искажения результатов, необходимо, чтобы данные извлекались из с генеральных совокупностей случайно и независимо друг от друга. Аналогично данные должны быть случайным образом распределенными по с уровням интересующего нас фактора (экспериментальным группам). Нарушение этих условий может серьезно исказить результаты дисперсионного анализа.

Второе предположение - нормальность - означает, что данные извлечены из нормально распределенных генеральных совокупностей. Как и для t -критерия, однофакторный дисперсионный анализ на основе F -критерия относительно мало чувствителен к нарушению этого условия. Если распределение не слишком значительно отличается от нормального, уровень значимости F -критерия изменяется мало, особенно если объем выборок достаточно велик. Если же условие о нормальности распределения нарушается серьезно, следует применять .

Третье предположение - однородность дисперсии - означает, что дисперсии каждой генеральной совокупности равны между собой (т.е. σ 1 2 = σ 2 2 = … = σ j 2). Это предположение позволяет решить, разделять или объединять внутригрупповые дисперсии. Если объемы групп совпадают, условие однородности дисперсии слабо влияет на выводы, полученные с помощью F -критерия. Однако, если объемы выборок неодинаковы, нарушение условия о равенстве дисперсий может серьезно исказить результаты дисперсионного анализа. Таким образом, следует стремиться к тому, чтобы объемы выборок были одинаковыми. Одним из методов проверки предположения об однородности дисперсии является критерий Левенэ , описанный ниже.

Если из всех трех условий нарушается лишь условие об однородности дисперсии, можно применять процедуру, аналогичную t -критерию, использующему раздельную дисперсию (подробнее см. ). Однако, если предположения о нормальном распределении и однородности дисперсии нарушаются одновременно, необходимо выполнить нормализацию данных и уменьшить разности между дисперсиями или применить непараметрическую процедуру.

Критерий Левенэ для проверки однородности дисперсии

Несмотря на то что F -критерий относительно устойчив к нарушениям условия о равенстве дисперсий в группах, грубое нарушение этого предположения существенно влияет на уровень значимости и мощность критерия. Возможно, одним из наиболее мощных является критерий Левенэ . Для проверки равенства дисперсий с генеральных совокупностей проверим следующие гипотезы:

Н 0: σ 1 2 = σ 2 2 = … = σ j 2

Н 1 : не все σ j 2 одинаковы (j = 1, 2, …, с )

Модифицированный критерий Левенэ основан на утверждении, что если изменчивость в группах одинакова, для проверки нулевой гипотезы о равенстве дисперсий можно применить анализ дисперсии абсолютных величин разностей между наблюдениями и медианами групп. Итак, сначала следует вычислить абсолютные величины разностей между наблюдениями и медианами в каждой группе, а затем выполнить однофакторный дисперсионный анализ полученных абсолютных величин разностей. Для иллюстрации критерия Левенэ вернемся к сценарию, изложенному в начале заметки. Используя данные, представленные на рис. 6, проведем аналогичный анализ, но в отношении модулей разниц исходных данных и медиан по каждой выборке отдельно (рис. 11).

Введение

Цель работы: познакомится с таким статистическим методом, как дисперсионный анализ.

Дисперсионный анализ (от латинского Dispersio – рассеивание) – статистический метод, позволяющий анализировать влияние различных факторов на исследуемую переменную. Метод был разработан биологом Р. Фишером в 1925 году и применялся первоначально для оценки экспериментов в растениеводстве. В дальнейшем выяснилась общенаучная значимость дисперсионного анализа для экспериментов в психологии, педагогике, медицине и др.

Целью дисперсионного анализа является проверка значимости различия между средними с помощью сравнения дисперсий. Дисперсию измеряемого признака разлагают на независимые слагаемые, каждое из которых характеризует влияние того или иного фактора или их взаимодействия. Последующее сравнение таких слагаемых позволяет оценить значимость каждого изучаемого фактора, а также их комбинации.

При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии.

При проведении исследования рынка часто встает вопрос о сопоставимости результатов. Например, проводя опросы по поводу потребления какого-либо товара в различных регионах страны, необходимо сделать выводы, на сколько данные опроса отличаются или не отличаются друг от друга. Сопоставлять отдельные показатели не имеет смысла и поэтому процедура сравнения и последующей оценки производится по некоторым усредненным значениям и отклонениям от этой усредненной оценки. Изучается вариация признака. За меру вариации может быть принята дисперсия. Дисперсия σ2 – мера вариации, определяемая как средняя из отклонений признака, возведенных в квадрат.

На практике часто возникают задачи более общего характера – задачи проверки существенности различий средних выборочных нескольких совокупностей. Например, требуется оценить влияние различного сырья на качество производимой продукции, решить задачу о влиянии количества удобрений на урожайность с/х продукции.

Иногда дисперсионный анализ применяется, чтобы установить однородность нескольких совокупностей (дисперсии этих совокупностей одинаковы по предположению; если дисперсионный анализ покажет, что и математические ожидания одинаковы, то в этом смысле совокупности однородны). Однородные же совокупности можно объединить в одну и тем самым получить о ней более полную информацию, следовательно, и более надежные выводы.

Дисперсионный анализ

1.1 Основные понятия дисперсионного анализа

В процессе наблюдения за исследуемым объектом качественные факторы произвольно или заданным образом изменяются. Конкретная реализация фактора (например, определенный температурный режим, выбранное оборудование или материал) называется уровнем фактора или способом обработки. Модель дисперсионного анализа с фиксированными уровнями факторов называют моделью I, модель со случайными факторами - моделью II. Благодаря варьированию фактора можно исследовать его влияние на величину отклика. В настоящее время общая теория дисперсионного анализа разработана для моделей I.

В зависимости от количества факторов, определяющих вариацию результативного признака, дисперсионный анализ подразделяют на однофакторный и многофакторный.

Основными схемами организации исходных данных с двумя и более факторами являются:

Перекрестная классификация, характерная для моделей I, в которых каждый уровень одного фактора сочетается при планировании эксперимента с каждой градацией другого фактора;

Иерархическая (гнездовая) классификация, характерная для модели II, в которой каждому случайному, наудачу выбранному значению одного фактора соответствует свое подмножество значений второго фактора.

Если одновременно исследуется зависимость отклика от качественных и количественных факторов, т.е. факторов смешанной природы, то используется ковариационный анализ /3/.

При обработке данных эксперимента наиболее разработанными и поэтому распространенными считаются две модели. Их различие обусловлено спецификой планирования самого эксперимента. В модели дисперсионного анализа с фиксированными эффектами исследователь намеренно устанавливает строго определенные уровни изучаемого фактора. Термин «фиксированный эффект» в данном контексте имеет тот смысл, что самим исследователем фиксируется количество уровней фактора и различия между ними. При повторении эксперимента он или другой исследователь выберет те же самые уровни фактора. В модели со случайными эффектами уровни значения фактора выбираются исследователем случайно из широкого диапазона значений фактора, и при повторных экспериментах, естественно, этот диапазон будет другим.

Таким образом, данные модели отличаются между собой способом выбора уровней фактора, что, очевидно, в первую очередь влияет на возможность обобщения полученных экспериментальных результатов. Для дисперсионного анализа однофакторных экспериментов различие этих двух моделей не столь существенно, однако в многофакторном дисперсионном анализе оно может оказаться весьма важным.

При проведении дисперсионного анализа должны выполняться следующие статистические допущения: независимо от уровня фактора величины отклика имеют нормальный (Гауссовский) закон распределения и одинаковую дисперсию. Такое равенство дисперсий называется гомогенностью. Таким образом, изменение способа обработки сказывается лишь на положении случайной величины отклика, которое характеризуется средним значением или медианой. Поэтому все наблюдения отклика принадлежат сдвиговому семейству нормальных распределений.

Говорят, что техника дисперсионного анализа является "робастной". Этот термин, используемый статистиками, означает, что данные допущения могут быть в некоторой степени нарушены, но несмотря на это, технику можно использовать.

При неизвестном законе распределения величин отклика используют непараметрические (чаще всего ранговые) методы анализа.

В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты. Вариацию, обусловленную влиянием фактора, положенного в основу группировки, характеризует межгрупповая дисперсия σ2. Она является мерой вариации частных средних по группам вокруг общей средней и определяется по формуле:

,

где k - число групп;

nj - число единиц в j-ой группе;

Частная средняя по j-ой группе;

Общая средняя по совокупности единиц.

Вариацию, обусловленную влиянием прочих факторов, характеризует в каждой группе внутригрупповая дисперсия σj2.

.

Между общей дисперсией σ02, внутригрупповой дисперсией σ2 и межгрупповой дисперсией существует соотношение:

Внутригрупповая дисперсия объясняет влияние неучтенных при группировке факторов, а межгрупповая дисперсия объясняет влияние факторов группировки на среднее значение по группе /2/.

Однофакторный дисперсионный анализ

Однофакторная дисперсионная модель имеет вид:

x ij = μ + F j + ε ij, (1)

где х ij – значение исследуемой переменой, полученной на i-м уровне фактора (i=1,2,...,т) c j-м порядковым номером (j=1,2,...,n);

F i – эффект, обусловленный влиянием i-го уровня фактора;

ε ij – случайная компонента, или возмущение, вызванное влиянием неконтролируемых факторов, т.е. вариацией переменой внутри отдельного уровня.

Основные предпосылки дисперсионного анализа:

Математическое ожидание возмущения ε ij равно нулю для любых i, т.е.

M(ε ij) = 0; (2)

Возмущения ε ij взаимно независимы;

Дисперсия переменной x ij (или возмущения ε ij) постоянна для

любых i, j, т.е.

D(ε ij) = σ 2 ; (3)

Переменная x ij (или возмущение ε ij) имеет нормальный закон

распределения N(0;σ 2).

Влияние уровней фактора может быть как фиксированным или систематическим (модель I), так и случайным (модель II).

Пусть, например, необходимо выяснить, имеются ли существенные различия между партиями изделий по некоторому показателю качества, т.е. проверить влияние на качество одного фактора - партии изделий. Если включить в исследование все партии сырья, то влияние уровня такого фактора систематическое (модель I), а полученные выводы применимы только к тем отдельным партиям, которые привлекались при исследовании. Если же включить только отобранную случайно часть партий, то влияние фактора случайное (модель II). В многофакторных комплексах возможна смешанная модель III, в которой одни факторы имеют случайные уровни, а другие – фиксированные.

Пусть имеется m партий изделий. Из каждой партии отобрано соответственно n 1 , n 2 , …, n m изделий (для простоты полагается, что n 1 =n 2 =...=n m =n). Значения показателя качества этих изделий представлены в матрице наблюдений:

x 11 x 12 … x 1n

x 21 x 22 … x 2n

………………… = (x ij), (i = 1,2, …, m; j = 1,2, …, n).

x m1 x m2 … x mn

Необходимо проверить существенность влияния партий изделий на их качество.

Если полагать, что элементы строк матрицы наблюдений – это численные значения случайных величин Х 1 ,Х 2 ,...,Х m , выражающих качество изделий и имеющих нормальный закон распределения с математическими ожиданиями соответственно a 1 ,а 2 ,...,а m и одинаковыми дисперсиями σ 2 , то данная задача сводится к проверке нулевой гипотезы Н 0: a 1 =a 2 =...= а m , осуществляемой в дисперсионном анализе.

Усреднение по какому-либо индексу обозначено звездочкой (или точкой) вместо индекса, тогда средний показатель качества изделий i-й партии, или групповая средняя для i-го уровня фактора, примет вид:

где i* – среднее значение по столбцам;

Ij – элемент матрицы наблюдений;

n – объем выборки.

А общая средняя:

(5)

Сумма квадратов отклонений наблюдений х ij от общей средней ** выглядит так:

2 = 2 + 2 +

2 2 . (6)

Q = Q 1 + Q 2 + Q 3 .

Последнее слагаемое равно нулю

так как сумма отклонений значений переменной от ее средней равна нулю, т.е.

2 =0.

Первое слагаемое можно записать в виде:

В результате получается тождество:

Q = Q 1 + Q 2 , (8)

где - общая, или полная, сумма квадратов отклонений;

- сумма квадратов отклонений групповых средних от общей средней, или межгрупповая (факторная) сумма квадратов отклонений;

- сумма квадратов отклонений наблюдений от групповых средних, или внутригрупповая (остаточная) сумма квадратов отклонений.

В разложении (8) заключена основная идея дисперсионного анализа. Применительно к рассматриваемой задаче равенство (8) показывает, что общая вариация показателя качества, измеренная суммой Q, складывается из двух компонент – Q 1 и Q 2 , характеризующих изменчивость этого показателя между партиями (Q 1) и изменчивость внутри партий (Q 2), характеризующих одинаковую для всех партий вариацию под воздействием неучтенных факторов.

В дисперсионном анализе анализируются не сами суммы квадратов отклонений, а так называемые средние квадраты, являющиеся несмещенными оценками соответствующих дисперсий, которые получаются делением сумм квадратов отклонений на соответствующее число степеней свободы.

Число степеней свободы определяется как общее число наблюдений минус число связывающих их уравнений. Поэтому для среднего квадрата s 1 2 , являющегося несмещенной оценкой межгрупповой дисперсии, число степеней свободы k 1 =m-1, так как при его расчете используются m групповых средних, связанных между собой одним уравнением (5). А для среднего квадрата s22, являющегося несмещенной оценкой внутригрупповой дисперсии, число степеней свободы k2=mn-m, т.к. при ее расчете используются все mn наблюдений, связанных между собой m уравнениями (4).

Таким образом:

Если найти математические ожидания средних квадратов и , подставить в их формулы выражение xij (1) через параметры модели, то получится:

(9)

т.к. с учетом свойств математического ожидания

(10)

Для модели I с фиксированными уровнями фактора F i (i=1,2,...,m) – величины неслучайные, поэтому

M(S ) = 2 /(m-1) +σ 2 .

Гипотеза H 0 примет вид F i = F * (i = 1,2,...,m), т.е. влияние всех уровней фактора одно и то же. В случае справедливости этой гипотезы

M(S )= M(S )= σ 2 .

(12)

(13)

(14)

т.е. сами средние, вообще говоря, находить не обязательно.

Таким образом, процедура однофакторного дисперсионного анализа состоит в проверке гипотезы H 0 о том, что имеется одна группа однородных экспериментальных данных против альтернативы о том, что таких групп больше, чем одна. Под однородностью понимается одинаковость средних значений и дисперсий в любом подмножестве данных. При этом дисперсии могут быть как известны, так и неизвестны заранее. Если имеются основания полагать, что известная или неизвестная дисперсия измерений одинакова по всей совокупности данных, то задача однофакторного дисперсионного анализа сводится к исследованию значимости различия средних в группах данных /1/.

Однофакторная дисперсионная модель имеет вид

где Xjj - значение исследуемой переменной, полученной на г-м уровне фактора (г = 1, 2,..., т) су-м порядковым номером (j- 1,2,..., п); /у - эффект, обусловленный влиянием г-го уровня фактора; е^. - случайная компонента, или возмущение, вызванное влиянием неконтролируемых факторов, т.е. вариацией переменной внутри отдельного уровня.

Под уровнем фактора понимается некоторая его мера или состояние, например, количество вносимых удобрений, вид плавки металла или номер партии деталей и т.п.

Основные предпосылки дисперсионного анализа.

1. Математическое ожидание возмущения ? (/ - равно нулю для любых i, т.е.

• 2. Возмущения взаимно независимы.
• 3. Дисперсия возмущения (или переменной Ху) постоянна для любых ij> т.е.

4. Возмущение е# (или переменная Ху) имеет нормальный закон распределения N(0; а 2).

Влияние уровней фактора может быть как фиксированным , или систематическим (модель I), так и случайным (модель II).

Пусть, например, необходимо выяснить, имеются ли существенные различия между партиями изделий по некоторому показателю качества, т.е. проверить влияние на качество одного фактора - партии изделий. Если включить в исследование все партии сырья, то влияние уровня такого фактора систематическое (модель I), а полученные выводы применимы только к тем отдельным партиям, которые привлекались при исследовании; если же включить только отобранную случайно часть партий, то влияние фактора случайное (модель II). В многофакторных комплексах возможна смешанная модель III, в которой одни факторы имеют случайные уровни, а другие - фиксированные.

Рассмотрим эту задачу подробнее. Пусть имеется т партий изделий. Из каждой партии отобрано соответственно п Л, п 2 ,п т изделий (для простоты полагаем, что щ = п 2 =... = п т = п). Значения показателя качества этих изделий представим в виде матрицы наблюдений

Необходимо проверить существенность влияния партий изделий на их качество.

Если полагать, что элементы строк матрицы наблюдений - это численные значения (реализации) случайных величин X t , Х 2 ,..., Х т, выражающих качество изделий и имеющих нормальный закон распределения с математическими ожиданиями соответственно a v а 2 , ..., а т и одинаковыми дисперсиями а 2 , то данная задача сводится к проверке нулевой гипотезы # 0: a v = a 2l = ... = а т,осуществляемой в дисперсионном анализе.

Обозначим усреднение по какому-либо индексу звездочкой (или точкой) вместо индекса, тогда средний показатель качества изделий г’-й партии, или групповая средняя для г-го уровня фактора, примет вид

а общая средняя -

Рассмотрим сумму квадратов отклонений наблюдений от общей средней х„:

или Q = Q, + Q 2 + ?>з Последнее слагаемое

так как сумма отклонений значений переменной от ее средней, т.е. ? 1.г у - х) равна нулю. ) =х

Первое слагаемое можно записать в виде

В результате получим следующее тождество:

т п. _

где Q = Y, X [ х ij _ х„, I 2 - общая, или полная, сумма квадратов отклонений; 7=1

Q, - n^}