Применение статистики в этой заметке будет показано на сквозном примере. Предположим, что вы - руководитель производства в компании Perfect Parachute («Идеальный парашют»). Парашюты изготавливаются из синтетических волокон, поставляемых четырьмя разными поставщиками. Одной из основных характеристик парашюта является его прочность. Вам необходимо убедиться, что все поставляемые волокна обладают одинаковой прочностью. Чтобы ответить на этот вопрос, следует разработать схему эксперимента, в ходе которого измеряется прочность парашютов, сотканных из синтетических волокон разных поставщиков. Информация, полученная в ходе этого эксперимента, позволит определить, какой поставщик обеспечивают наибольшую прочность парашютов.
Многие приложения связаны с экспериментами, в которых рассматривается несколько групп или уровней одного фактора. Некоторые факторы, например, температура обжига керамики, могут иметь несколько числовых уровней (т.е. 300°, 350°, 400° и 450°). Другие факторы, например, местоположение товаров в супермаркете, могут иметь категориальные уровни (например, первый поставщик, второй поставщик, третий поставщик, четвертый поставщик). Однофакторные эксперименты, в ходе которых экспериментальные единицы случайным образом распределяются по группам или уровням фактора, называются полностью рандомизированными.
Использование F -критерия для оценки разностей между несколькими математическими ожиданиями
Если числовые измерения фактора в группах являются непрерывными и выполняются некоторые дополнительные условия, для сравнения математических ожиданий нескольких групп применяется дисперсионный анализ (ANOVA - An alysis o f Va riance). Дисперсионный анализ, использующий полностью рандомизированные планы, называется однофакторной процедурой ANOVA. В некотором смысле термин дисперсионный анализ является неточным, поскольку при этом анализе сравниваются разности между математическими ожиданиями групп, а не между дисперсиями. Однако сравнение математических ожиданий осуществляется именно на основе анализа вариации данных. В процедуре ANOVA полная вариация результатов измерений подразделяется на межгрупповую и внутригрупповую (рис. 1). Внутригрупповая вариация объясняется ошибкой эксперимента, а межгрупповая - эффектами условий эксперимента. Символ с обозначает количество групп.
Рис. 1. Разделение вариации в полностью рандомизированном эксперименте
Скачать заметку в формате или , примеры в формате
Предположим, что с групп извлечено из независимых генеральных совокупностей, имеющих нормальное распределение и одинаковую дисперсию. Нулевая гипотеза заключается в том, что математические ожидания генеральных совокупностей одинаковы: Н 0: μ 1 = μ 2 = … = μ с . Альтернативная гипотеза гласит, что не все математические ожидания одинаковы: Н 1 : не все μ j одинаковы j = 1, 2, …, с).
На рис. 2 представлена истинная нулевая гипотеза о математических ожиданиях пяти сравниваемых групп при условии, что генеральные совокупности имеют нормальное распределение и одинаковую дисперсию. Пять генеральных совокупностей, связанных с разными уровнями фактора, идентичны. Следовательно, они накладываются одна на другую, имея одинаковые математическое ожидание, вариацию и форму.
Рис. 2. Пять генеральных совокупностей имеют одинаковое математическое ожидание: μ 1 = μ 2 = μ 3 = μ 4 = μ 5
С другой стороны, предположим, что на самом деле нулевая гипотеза является ложной, причем четвертый уровень имеет наибольшее математическое ожидание, первый уровень - чуть меньшее математическое ожидание, а остальные уровни - одинаковые и еще меньшие математические ожидания (рис. 3). Обратите внимание на то, что за исключением величины математических ожиданий все пять генеральных совокупностей идентичны (т.е. имеют одинаковую изменчивость и форму).
Рис. 3. Наблюдается эффект условий эксперимента: μ 4 > μ 1 > μ 2 = μ 3 = μ 5
При проверке гипотезы о равенстве математических ожиданий нескольких генеральных совокупностей полная вариация разделяется на две части: межгрупповую вариацию, обусловленную разностями между группами, и внутригрупповую, обусловленную разностями между элементами, принадлежащими одной группе. Полная вариация выражается полной суммой квадратов (SST – sum of squares total). Поскольку нулевая гипотеза заключается в том, что математические ожидания всех с групп равны между собой, полная вариация равна сумме квадратов разностей между отдельными наблюдениями и общим средним (среднее средних) , вычисленным по всем выборкам. Полная вариация:
где 
- общее среднее, X ij
- i
-e наблюдение в j
-й группе или уровне, n j
- количество наблюдений в j
-й группе, n
- общее количество наблюдений во всех группах (т.е. n
= n
1
+ n 2
+ … + n c
), с
- количество изучаемых групп или уровней.
Межгрупповая вариация , называемая обычно межгрупповой суммой квадратов (SSA – sum of squares among groups), равна сумме квадратов разностей между выборочным средним каждой группы j и общим средним , умноженных на объем соответствующей группы n j :
где с - количество изучаемых групп или уровней, n j - количество наблюдений в j -й группе, j - среднее значение j -й группы, - общее среднее.
Внутригрупповая вариация , называемая обычно внутригрупповой суммой квадратов (SSW – sum of squares withing groups), равна сумме квадратов разностей между элементами каждой группы и выборочным средним этой группы j :
где Х ij - i -й элемент j -й группы, j - среднее значение j -й группы.
Поскольку сравнению подвергаются с уровней фактора, межгрупповая сумма квадратов имеет с – 1 степеней свободы. Каждый из с уровней обладает n j – 1 степенями свободы, поэтому внутригрупповая сумма квадратов имеет n – с степеней свободы, и
Кроме того, общая сумма квадратов имеет n – 1 степеней свободы, поскольку каждое наблюдение Х ij сравнивается с общим средним , вычисленным по всем n наблюдениям. Если каждую из этих сумм разделить на соответствующее количество степеней свободы, возникнут три вида дисперсии: межгрупповая (mean square among - MSA), внутригрупповая (mean square within - MSW) и полная (mean square total - MST):
Несмотря на то что основное предназначение дисперсионного анализа - сравнить математические ожидания с групп, чтобы выявить эффект условий эксперимента, его название обусловлено тем, что главным инструментом является анализ дисперсий разного типа. Если нулевая гипотеза является истинной, и между математическими ожиданиями с групп нет существенных различий, все три дисперсии - MSA, MSW и MST - являются оценками дисперсии σ 2 , присущей анализируемым данным. Таким образом, чтобы проверить нулевую гипотезу Н 0: μ 1 = μ 2 = … = μ с и альтернативную гипотезу Н 1 : не все μ j одинаковы j = 1, 2, …, с ), необходимо вычислить статистику F -критерия, представляющую собой отношение двух дисперсий, MSA и MSW. Тестовая F -статистика в однофакторном дисперсионном анализе
Статистика F -критерия подчиняется F -распределению с с – 1 степенями свободы в числителе MSA и n – с степенями свободы в знаменателе MSW . При заданном уровне значимости α нулевая гипотеза отклоняется, если вычисленная F F U , присущего F -распределению с с – 1 n – с степенями свободы в знаменателе. Таким образом, как показано на рис. 4, решающее правило формулируется следующим образом: нулевая гипотеза Н 0 отклоняется, если F > F U ; в противном случае она не отклоняется.
Рис. 4. Критическая область дисперсионного анализа при проверке гипотезы Н 0
Если нулевая гипотеза Н 0 является истинной, вычисленная F -статистика близка к 1, поскольку ее числитель и знаменатель являются оценками одной и той же величины - дисперсии σ 2 , присущей анализируемым данным. Если нулевая гипотеза Н 0 является ложной (и между математическими ожиданиями разных групп существует значительная разница), вычисленная F -статистика будет намного больше единицы, поскольку ее числитель, MSA, помимо естественной изменчивости данных, оценивает эффект условий эксперимента или разности между группами, в то время как знаменатель MSW оценивает лишь естественную изменчивость данных. Таким образом, процедура ANOVA представляет собой F -критерий, в котором при заданном уровне значимости α нулевая гипотеза отклоняется, если вычисленная F -статистика больше верхнего критического значения F U , присущего F -распределению с с – 1 степенями свободы в числителе и n – с степенями свободы в знаменателе, как показано на рис. 4.
Для иллюстрации однофакторного дисперсионного анализа вернемся к сценарию, изложенному в начале заметки. Цель эксперимента - определить, имеют ли парашюты, сотканные из синтетического волокна, полученного от разных поставщиков, одинаковую прочность. В каждой из групп соткано по пять парашютов. Группы разделены по поставщикам- Поставщик 1, Поставщик 2, Поставщик 3 и Поставщик 4. Прочность парашютов измеряется с помощью специального устройства, испытывающего ткань на разрыв с двух сторон. Сила, необходимая для разрыва парашюта, измеряется по особой шкале. Чем выше сила разрыва, тем прочнее парашют. Excel позволяет провести анализ F -статистики одним кликом. Пройдите по меню Данные → Анализ данных , и выберите строку Однофакторный дисперсионный анализ , заполните открывшееся окно (рис. 5). Результаты эксперимента (сила разрыва), некоторые описательные статистики и результаты однофакторного дисперсионного анализа представлены на рис. 6.
Рис. 5. Окно Однофакторный дисперсионный анализ Пакета анализа Excel
Рис. 6. Показатели прочности парашютов, сотканных из синтетических волокон, полученных от разных поставщиков, описательные статистики и результаты однофакторного дисперсионного анализа
Анализ рисунка 6 показывает, что между выборочными средними наблюдается некоторая разница. Средняя прочность волокон, полученных от первого поставщика, равна 19,52, от второго - 24,26, от третьего - 22,84 и от четвертого - 21,16. Можно ли назвать эту разницу статистически значимой? Распределение силы разрыва продемонстрировано на диаграмме разброса (рис. 7). На ней ясно видны разности как между группами, так и внутри них. Если бы объем каждой группы был больше, для их анализа можно было бы применить диаграмму «ствол и листья», блочную диаграмму или график нормального распределения.
Рис. 7. Диаграмма разброса прочности парашютов, сотканных из синтетических волокон, полученных от четырех поставщиков
Нулевая гипотеза утверждает, что между средними показателями прочности нет существенных различий: Н 0: μ 1 = μ 2 = μ 3 = μ 4 . Альтернативная гипотеза заключается в том, что существует по крайней мере один поставщик, у которого средняя прочность волокон отличается от других: Н 1 : не все μ j одинаковы (j = 1, 2, …, с ).
Общее среднее (см. рис. 6) =СРЗНАЧ(D12:D15) = 21,945; для определения также можно усреднить все 20 исходных чисел: =СРЗНАЧ(A3:D7). Значения дисперсий рассчитываются Пакетом анализа и отражаются в табличке Дисперсионный анализ (см. рис. 6): SSA = 63,286, SSW = 97,504, SST = 160,790 (см. колонку SS таблицы Дисперсионный анализ рисунка 6). Средние значения вычисляются путем деления этих сумм квадратов на соответствующее количество степеней свободы. Поскольку с = 4, а n = 20, получаем следующие значения степеней свободы; для SSA: с – 1 = 3; для SSW: n – c = 16; для SST: n – 1 = 19 (см. колонку df ). Таким образом: MSA = SSA / (с – 1) = 21,095; MSW = SSW / (n – c ) = 6,094; MST = SST / (n – 1 ) = 8,463 (см. колонку MS ). F -статистика = MSA / MSW = 3,462 (см. колонку F ).
Верхнее критическое значение F U , характерное для F -распределения, определяется по формуле =F.ОБР(0,95;3;16) = 3,239. Параметры функции =F.ОБР(): α = 0,05, числитель имеет три степени свободы, а знаменатель - 16. Таким образом, вычисленная F -статистика, равная 3,462, превышает верхнее критическое значение F U = 3,239, нулевая гипотеза отклоняется (рис. 8).
Рис. 8. Критическая область дисперсионного анализа при уровне значимости, равном 0,05, если числитель имеет три степени свободы, а знаменатель -16
р -значение, т.е. вероятность того, что при истинной нулевой гипотезе F -статистика не меньше 3,46, равно 0,041 или 4,1% (см. колонку р-Значение таблицы Дисперсионный анализ рисунка 6). Поскольку эта величина не превышает уровень значимости α = 5%, нулевая гипотеза отклоняется. Более того, р -значение свидетельствует о том, что вероятность обнаружить такую или большую разность между математическими ожиданиями генеральных совокупностей при условии, что на самом деле они одинаковы, равна 4,1%.
Итак. Между четырьмя выборочными средними существует разница. Нулевая гипотеза заключалась в том, что все математические ожидания четырех генеральных совокупностей равны между собой. В этих условиях мера полной изменчивости (т.е. полная вариация SST) прочности всех парашютов вычисляется путем суммирования квадратов разностей между каждым наблюдением X ij и общим средним . Затем полная вариация разделялась на два компонента (см. рис. 1). Первый компонент представлял собой межгрупповую вариацию SSA, а второй - внутригрупповую SSW.
Чем объясняется изменчивость данных? Иначе говоря, почему все наблюдения не одинаковы? Одна из причин заключается в том, что разные фирмы поставляют волокна разной прочности. Это частично объясняет, почему группы имеют разные математические ожидания: чем сильнее эффект условий эксперимента, тем больше разность между математическими ожиданиями групп. Другой причиной изменчивости данных является естественная изменчивость любого процесса, в данном случае - производства парашютов. Даже если бы все волокна приобретались у одного и того же поставщика, их прочность была бы неодинаковой при прочих равных условиях. Поскольку этот эффект проявляется в каждой из групп, он называется внутригрупповой вариацией.
Разности между выборочными средними называются межгрупповой вариацией SSA. Часть внутригрупповой вариации, как уже указывалось, объясняется принадлежностью данных разным группам. Однако даже если бы группы были совершенно одинаковыми (т.е. нулевая гипотеза была бы истинной), межгрупповая вариация все равно существовала. Причина этого заключается в естественной изменчивости процесса производства парашютов. Поскольку выборки разные, их выборочные средние отличаются друг от друга. Следовательно, если нулевая гипотеза является истинной, как межгрупповая, так и внутригрупповая изменчивость представляют собой оценку изменчивости генеральной совокупности. Если нулевая гипотеза является ложной, межгрупповая гипотеза будет больше. Именно этот факт лежит в основе F -критерия для сравнения разностей между математическими ожиданиями нескольких групп.
После выполнения однофакторного дисперсионного анализа и обнаружения значительной разницы между фирмами остается неизвестным, какой же из поставщиков существенно отличается от остальных. Нам известно лишь, что математические ожидания генеральных совокупностей не равны. Иначе говоря, по крайней мере одно из математических ожиданий существенно отличается от других. Чтобы определить, какой из поставщиков отличается от других, можно воспользоваться процедурой Тьюки , использующей попарное сравнение между поставщиками. Эта процедура была разработана Джоном Тьюки. Впоследствии он и К. Крамер независимо друг от друга модифицировали эту процедуру для ситуаций, в которых объемы выборок отличаются друг от друга.
Множественное сравнение: процедура Тьюки-Крамера
В нашем сценарии для сравнения прочности парашютов использовался однофакторный дисперсионный анализ. Обнаружив значительные различия между математическими ожиданиями четырех групп, необходимо определить, какие именно группы отличаются друг от друга. Хотя существует несколько способов решить эту задачу, мы опишем лишь процедуру множественного сравнения Тьюки-Крамера. Этот метод является примером процедур апостериорного сравнения (post hoc comparison), поскольку проверяемая гипотеза формулируется после анализа данных. Процедура Тьюки-Крамера позволяет одновременно сравнить все пары групп. На первом этапе вычисляются разности X j – X j ’ , где j ≠ j ’ , между математическими ожиданиями с(с – 1)/2 групп. Критический размах процедуры Тьюки-Крамера вычисляется по формуле:
где Q U - верхнее критическое значение распределения стьюдентизированного размаха, имеющего с степеней свободы в числителе и n – с степеней свободы в знаменателе.
Если объемы выборок не одинаковы, критический размах вычисляется для каждой пары математических ожиданий отдельно. На последнем этапе каждая из с(с – 1)/2 пар математических ожиданий сравнивается с соответствующим критическим размахом. Элементы пары считаются значимо различными, если модуль разности |X j – X j ’ | между ними превышает критический размах.
Применим процедуру Тьюки-Крамера к задаче о прочности парашютов. Поскольку компания, производящая парашюты, имеет четыре поставщика, следует проверить 4(4 – 1)/2 = 6 пар поставщиков (рис. 9).
Рис. 9. Попарные сравнения выборочных средних
Поскольку все группы имеют одинаковый объем (т.е. все n j = n j ’ ), достаточно вычислить только один критический размах. Для этого по таблице Дисперсионного анализа (рис. 6) определим величину MSW = 6,094. Затем найдем величину Q U при α = 0,05, с = 4 (число степеней свободы в числителе) и n – с = 20 – 4 = 16 (число степеней свободы в знаменателе). К сожалению, я не нашел соответствующей функции в Excel, так что воспользовался таблицей (рис. 10).
Рис. 10. Критическое значение стьюдентизированного размаха Q U
Получаем:
Поскольку лишь 4,74 > 4,47 (см. нижнюю таблицу рис. 9), статистически значимая разница существует между первым и вторым поставщиком. Все остальные пары имеют выборочные средние, которые не позволяют говорить о их различии. Следовательно, средняя прочность парашютов, сотканных из волокон, приобретенных у первого поставщика, значимо меньше, чем у второго.
Необходимые условия однофакторного дисперсионного анализа
При решении задачи о прочности парашютов мы не проверяли, выполняются ли условия, при которых можно использовать однофакторный F -критерий. Как же узнать, можно ли применять однофакторный F -критерий при анализе конкретных экспериментальных данных? Однофакторный F -критерий можно применять, только если выполняются три основных предположения: экспериментальные данные должны быть случайными и независимыми, иметь нормальное распределение, а их дисперсии должны быть одинаковыми.
Первое предположение - случайность и независимость данных - должно выполняться всегда, поскольку корректность любого эксперимента зависит от случайности выбора и/или процесса рандомизации. Чтобы избежать искажения результатов, необходимо, чтобы данные извлекались из с генеральных совокупностей случайно и независимо друг от друга. Аналогично данные должны быть случайным образом распределенными по с уровням интересующего нас фактора (экспериментальным группам). Нарушение этих условий может серьезно исказить результаты дисперсионного анализа.
Второе предположение - нормальность - означает, что данные извлечены из нормально распределенных генеральных совокупностей. Как и для t -критерия, однофакторный дисперсионный анализ на основе F -критерия относительно мало чувствителен к нарушению этого условия. Если распределение не слишком значительно отличается от нормального, уровень значимости F -критерия изменяется мало, особенно если объем выборок достаточно велик. Если же условие о нормальности распределения нарушается серьезно, следует применять .
Третье предположение - однородность дисперсии - означает, что дисперсии каждой генеральной совокупности равны между собой (т.е. σ 1 2 = σ 2 2 = … = σ j 2). Это предположение позволяет решить, разделять или объединять внутригрупповые дисперсии. Если объемы групп совпадают, условие однородности дисперсии слабо влияет на выводы, полученные с помощью F -критерия. Однако, если объемы выборок неодинаковы, нарушение условия о равенстве дисперсий может серьезно исказить результаты дисперсионного анализа. Таким образом, следует стремиться к тому, чтобы объемы выборок были одинаковыми. Одним из методов проверки предположения об однородности дисперсии является критерий Левенэ , описанный ниже.
Если из всех трех условий нарушается лишь условие об однородности дисперсии, можно применять процедуру, аналогичную t -критерию, использующему раздельную дисперсию (подробнее см. ). Однако, если предположения о нормальном распределении и однородности дисперсии нарушаются одновременно, необходимо выполнить нормализацию данных и уменьшить разности между дисперсиями или применить непараметрическую процедуру.
Критерий Левенэ для проверки однородности дисперсии
Несмотря на то что F -критерий относительно устойчив к нарушениям условия о равенстве дисперсий в группах, грубое нарушение этого предположения существенно влияет на уровень значимости и мощность критерия. Возможно, одним из наиболее мощных является критерий Левенэ . Для проверки равенства дисперсий с генеральных совокупностей проверим следующие гипотезы:
Н 0: σ 1 2 = σ 2 2 = … = σ j 2
Н 1 : не все σ j 2 одинаковы (j = 1, 2, …, с )
Модифицированный критерий Левенэ основан на утверждении, что если изменчивость в группах одинакова, для проверки нулевой гипотезы о равенстве дисперсий можно применить анализ дисперсии абсолютных величин разностей между наблюдениями и медианами групп. Итак, сначала следует вычислить абсолютные величины разностей между наблюдениями и медианами в каждой группе, а затем выполнить однофакторный дисперсионный анализ полученных абсолютных величин разностей. Для иллюстрации критерия Левенэ вернемся к сценарию, изложенному в начале заметки. Используя данные, представленные на рис. 6, проведем аналогичный анализ, но в отношении модулей разниц исходных данных и медиан по каждой выборке отдельно (рис. 11).
Дисперсионный анализ
Курсовая работа по дисциплине: «Системный анализ»
Исполнитель студент гр. 99 ИСЭ-2 Жбанов В.В.
Оренбургский государственный университет
Факультет информационных технологий
Кафедра прикладной информатики
г. Оренбург-2003
Введение
Цель работы: познакомится с таким статистическим методом, как дисперсионный анализ.
Дисперсионный анализ (от латинского Dispersio – рассеивание) – статистический метод, позволяющий анализировать влияние различных факторов на исследуемую переменную. Метод был разработан биологом Р. Фишером в 1925 году и применялся первоначально для оценки экспериментов в растениеводстве. В дальнейшем выяснилась общенаучная значимость дисперсионного анализа для экспериментов в психологии, педагогике, медицине и др.
Целью дисперсионного анализа является проверка значимости различия между средними с помощью сравнения дисперсий. Дисперсию измеряемого признака разлагают на независимые слагаемые, каждое из которых характеризует влияние того или иного фактора или их взаимодействия. Последующее сравнение таких слагаемых позволяет оценить значимость каждого изучаемого фактора, а также их комбинации /1/.
При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии.
При проведении исследования рынка часто встает вопрос о сопоставимости результатов. Например, проводя опросы по поводу потребления какого-либо товара в различных регионах страны, необходимо сделать выводы, на сколько данные опроса отличаются или не отличаются друг от друга. Сопоставлять отдельные показатели не имеет смысла и поэтому процедура сравнения и последующей оценки производится по некоторым усредненным значениям и отклонениям от этой усредненной оценки. Изучается вариация признака. За меру вариации может быть принята дисперсия. Дисперсия σ 2 – мера вариации, определяемая как средняя из отклонений признака, возведенных в квадрат.
На практике часто возникают задачи более общего характера – задачи проверки существенности различий средних выборочных нескольких совокупностей. Например, требуется оценить влияние различного сырья на качество производимой продукции, решить задачу о влиянии количества удобрений на урожайность с/х продукции.
Иногда дисперсионный анализ применяется, чтобы установить однородность нескольких совокупностей (дисперсии этих совокупностей одинаковы по предположению; если дисперсионный анализ покажет, что и математические ожидания одинаковы, то в этом смысле совокупности однородны). Однородные же совокупности можно объединить в одну и тем самым получить о ней более полную информацию, следовательно, и более надежные выводы /2/.
1 Дисперсионный анализ
1.1 Основные понятия дисперсионного анализа
В процессе наблюдения за исследуемым объектом качественные факторы произвольно или заданным образом изменяются. Конкретная реализация фактора (например, определенный температурный режим, выбранное оборудование или материал) называется уровнем фактора или способом обработки. Модель дисперсионного анализа с фиксированными уровнями факторов называют моделью I, модель со случайными факторами - моделью II. Благодаря варьированию фактора можно исследовать его влияние на величину отклика. В настоящее время общая теория дисперсионного анализа разработана для моделей I.
В зависимости от количества факторов, определяющих вариацию результативного признака, дисперсионный анализ подразделяют на однофакторный и многофакторный.
Основными схемами организации исходных данных с двумя и более факторами являются:
Перекрестная классификация, характерная для моделей I, в которых каждый уровень одного фактора сочетается при планировании эксперимента с каждой градацией другого фактора;
Иерархическая (гнездовая) классификация, характерная для модели II, в которой каждому случайному, наудачу выбранному значению одного фактора соответствует свое подмножество значений второго фактора.
Если одновременно исследуется зависимость отклика от качественных и количественных факторов, т.е. факторов смешанной природы, то используется ковариационный анализ /3/.
Таким образом, данные модели отличаются между собой способом выбора уровней фактора, что, очевидно, в первую очередь влияет на возможность обобщения полученных экспериментальных результатов. Для дисперсионного анализа однофакторных экспериментов различие этих двух моделей не столь существенно, однако в многофакторном дисперсионном анализе оно может оказаться весьма важным.
При проведении дисперсионного анализа должны выполняться следующие статистические допущения: независимо от уровня фактора величины отклика имеют нормальный (Гауссовский) закон распределения и одинаковую дисперсию. Такое равенство дисперсий называется гомогенностью. Таким образом, изменение способа обработки сказывается лишь на положении случайной величины отклика, которое характеризуется средним значением или медианой. Поэтому все наблюдения отклика принадлежат сдвиговому семейству нормальных распределений.
Говорят, что техника дисперсионного анализа является "робастной". Этот термин, используемый статистиками, означает, что данные допущения могут быть в некоторой степени нарушены, но несмотря на это, технику можно использовать.
При неизвестном законе распределения величин отклика используют непараметрические (чаще всего ранговые) методы анализа.
В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты. Вариацию, обусловленную влиянием фактора, положенного в основу группировки, характеризует межгрупповая дисперсия σ 2 . Она является мерой вариации частных средних по группам
вокруг общей средней и определяется по формуле:
,
где k - число групп;
n j - число единиц в j-ой группе;
- частная средняя по j-ой группе; - общая средняя по совокупности единиц.Вариацию, обусловленную влиянием прочих факторов, характеризует в каждой группе внутригрупповая дисперсия σ j 2 .
.
Между общей дисперсией σ 0 2 , внутригрупповой дисперсией σ 2 и межгрупповой дисперсией
существует соотношение: + σ 2 .Внутригрупповая дисперсия объясняет влияние неучтенных при группировке факторов, а межгрупповая дисперсия объясняет влияние факторов группировки на среднее значение по группе /2/.
1.2 Однофакторный дисперсионный анализ
Однофакторная дисперсионная модель имеет вид:
x ij = μ + F j + ε ij , (1)
где х ij – значение исследуемой переменой, полученной на i-м уровне фактора (i=1,2,...,т) c j-м порядковым номером (j=1,2,...,n);
F i – эффект, обусловленный влиянием i-го уровня фактора;
ε ij – случайная компонента, или возмущение, вызванное влиянием неконтролируемых факторов, т.е. вариацией переменой внутри отдельного уровня.
Основные предпосылки дисперсионного анализа:
Математическое ожидание возмущения ε ij равно нулю для любых i, т.е.
M(ε ij) = 0; (2)
Возмущения ε ij взаимно независимы;
Дисперсия переменной x ij (или возмущения ε ij) постоянна для
любых i, j, т.е.
D(ε ij) = σ 2 ; (3)
Переменная x ij (или возмущение ε ij) имеет нормальный закон
распределения N(0;σ 2).
Влияние уровней фактора может быть как фиксированным или систематическим (модель I), так и случайным (модель II).
Пусть, например, необходимо выяснить, имеются ли существенные различия между партиями изделий по некоторому показателю качества, т.е. проверить влияние на качество одного фактора - партии изделий. Если включить в исследование все партии сырья, то влияние уровня такого фактора систематическое (модель I), а полученные выводы применимы только к тем отдельным партиям, которые привлекались при исследовании. Если же включить только отобранную случайно часть партий, то влияние фактора случайное (модель II). В многофакторных комплексах возможна смешанная модель III, в которой одни факторы имеют случайные уровни, а другие – фиксированные.
5.1. Что такое дисперсионный анализ?
Дисперсионный анализ разработан в 20-х годах XX века английским математиком и генетиком Рональдом Фишером. По данным опроса среди ученых, где выяснялось, кто сильнее всего повлиял на биологию XX века, первенство получил именно сэр Фишер (за свои заслуги он был награжден рыцарским званием - одним из высших отличий в Великобритании); в этом отношении Фишер сравним с Чарльзом Дарвином, оказавшим наибольшее влияние на биологию XIX века.
Дисперсионный анализ (Analis of variance) является сейчас отдельной отраслью статистики. Он основан на открытом Фишером факте, что меру изменчивости изучаемой величины можно разложить на части, соответствующие влияющим на эту величину факторам и случайным отклонениям.
Чтобы понять суть дисперсионного анализа, мы выполним однотипные расчеты дважды: «вручную» (с калькулятором) и с помощью программы Statistica. Для упрощения нашей задачи мы будем работать не с результатами действительного описания разнообразия зеленых лягушек, а с вымышленным примером, который касается сравнения женщин и мужчин у людей. Рассмотрим разнообразие роста 12 взрослых человек: 7 женщин и 5 мужчин.
Таблица 5.1.1. Пример для однофакторного дисперсионного анализа: данные о поле и росте 12 людей
Проведем однофакторный дисперсионный анализ: сравним, статистически значимо или нет отличаются ли мужчины и женщины в охарактеризованной группе по росту.
5.2. Тест на нормальность распределения
Дальнейшие рассуждения основываются на том, что распределение в рассматриваемой выборке нормальное или близкое к нормальному. Если распределение далеко от нормального, дисперсия (варианса) не является адекватной мерой его его изменчивости. Впрочем, дисперсионный анализ относительно устойчив к отклонениям распределения от нормальности.
Тест этих данных на нормальность можно провести двумя разными способами. Первый: Statistics / Basic Statistics/Tables / Descriptive statistics / Вкладка Normality. Во вкладке Normality можно выбрать используемые тесты нормальности распределения. При нажатии на кнопку Frequency tables появится частотная таблица, а кнопки Histograms - гистограмма. На таблице и гистограмме будут приведены результаты различных тестов.
Второй способ связан с использованием соответствующих возможнойтсей при построении гистограмм. В диалоге построения гистограмм (Grafs / Histograms...) следует выбрать вкладку Advanced. В ее нижней части есть блок Statistics. Отметим на ней Shapiro-Wilk test и Kolmogorov-Smirnov test, как это показано на рисунке.
Рис. 5.2.1. Статистические тесты на нормальность распределения в диалоге построения гистограмм
Как видно по гистограмме, распределение роста в нашей выборке отличается от нормального (в середине - «провал»).
Рис. 5.2.2. Гистограмма, построенная с параметрами, указанными на предыдущем рисунке
Третья строка в заголовке графика указывает параметры нормального распределения, к которому оказалось ближе всего наблюдаемое распределение. Генеральное среднее составляет 173, генеральное стандартное отклонение - 10,4. Внизу во врезке на графике указаны результаты тестов на нормальность. D - это критерий Колмогорова-Смирнова, а SW-W - Шапиро-Вилка. Как видно, для всех использованных тестов отличия распределения по росту от нормального распределения оказались статистически незначимыми (p во всех случаях больше, чем 0,05).
Итак, формально говоря, тесты на соответствие распределения нормальному не «запретили» нам использовать параметрический метод, основанный на предположении о нормальном распределении. Как уже сказано, дисперсионный анализ относительно устойчив к отклонениям от нормальности, поэтому мы им все-таки воспользуемся.
5.3. Однофакторный дисперсионный анализ: вычисления «вручную»
Для характеристики изменчивости роста людей в приведенном примере вычислим сумму квадратов отклонений (в английском обозначается как SS
, Sum of Squares или ) отдельных значений от среднего: 
. Среднее значение для роста в приведенном примере составляет 173 сантиметра. Исходя из этого,
SS = (186–173) 2 + (169–173) 2 + (166–173) 2 + (188–173) 2 + (172–173) 2 + (179–173) 2 + (165–173) 2 + (174–173) 2 + (163–173) 2 + (162–173) 2 + (162–173) 2 + (190–173) 2 ;
SS = 132 + 42 + 72 + 152 + 12 + 62 + 82 + 12 + 102 + 112 + 112 + 172;
SS = 169 + 16 + 49 + 225 + 1 + 36 + 64 + 1 + 100 + 121 + 121 + 289 = 1192.
Полученная величина (1192) - мера изменчивости всей совокупности данных. Однако они состоят из двух групп, для каждой из которых можно выделить свою среднюю. В приведенных данных средний рост женщин - 168 см, а мужчин - 180 см.
Вычислим сумму квадратов отклонений для женщин:
SS f = (169–168) 2 + (166–168) 2 + (172–168) 2 + (179–168) 2 + (163–168) 2 + (162–168) 2 ;
SS f = 12 + 22 + 42 + 112 + 32 + 52 + 62 = 1 + 4 + 16 + 121 + 9 + 25 + 36 = 212.
Также вычислим сумму квадратов отклонений для мужчин:
SS m = (186–180) 2 + (188–180) 2 + (174–180) 2 + (162–180) 2 + (190–180) 2 ;
SS m = 62 + 82 + 62 + 182 + 102 = 36 + 64 + 36 + 324 + 100 = 560.
От чего зависит исследуемая величина в соответствии с логикой дисперсионного анализа?
Две вычисленные величины, SS f и SS m , характеризуют внутригрупповую вариансу, которую в дисперсионном анализе принято называть «ошибкой». Происхождение этого названия связано со следующей логикой.
От чего зависит рост человека в рассматриваемом примере? Прежде всего, от среднего роста людей вообще, вне зависимости от их пола. Во вторую очередь - от пола. Если люди одного пола (мужского) выше, чем другого (женского), это можно представить в виде сложения с «общечеловеческой» средней какой-то величины, эффекта пола. Наконец, люди одного пола отличаются по росту в силу индивидуальных отличий. В рамках модели, описывающей рост как сумму общечеловеческой средней и поправки на пол, индивидуальные отличия необъяснимы, и их можно рассматривать как «ошибку».
Итак, в соответствии с логикой дисперсионного анализа, исследуемая величина определяется следующим образом: 
, где x ij
- i-тое значение изучаемой величины при j-том значении изучаемого фактора; - генеральное среднее; F j
- влияние j-того значения изучаемого фактора; - «ошибка», вклад индивидуальности объекта, к которому относится величина
x ij
.
Межгрупповая сумма квадратов
Итак, SS ошибки = SS f + SS m = 212 + 560 = 772. Этой величиной мы описали внутригрупповую изменчивость (при выделении групп по полу). Но есть и вторая часть изменчивости - межгрупповая, которую мы назовем SS эффекта (поскольку речь идет об эффекте разделения совокупности рассматриваемых объектов на женщин и мужчин).
Среднее каждой группы отличается от общей средней. Вычисляя вклад этого отличия в общую меру изменчивости, мы должны умножить отличие групповой и общей средней на число объектов в каждой группе.
SS эффекта = = 7×(168–173) 2 + 5×(180–173) 2 = 7×52 + 5×72 = 7×25 + 5×49 = 175 + 245 = 420.
Здесь проявился открытый Фишером принцип постоянства суммы квадратов: SS = SS эффекта + SS ошибки , т.е. для данного примера, 1192 = 440 + 722.
Средние квадраты
Сравнивая в нашем примере межгрупповую и внутригрупповую суммы квадратов, мы можем увидеть, что первая связана с варьированием двух групп, а вторая - 12 величин в 2 группах. Количество степеней свободы (df ) для какого-то параметра может быть определено как разность количества объектов в группе и количества зависимостей (уравнений), которое связывает эти величины.
В нашем примере df эффекта = 2–1 = 1, а df ошибки = 12–2 = 10.
Мы можем разделить суммы квадратов на число их степеней свободы, получив средние квадраты (MS , Means of Squares). Сделав это, мы можем установить, что MS - ни что иное, как вариансы («дисперсии», результат деления суммы квадратов на число степеней свободы). После этого открытия мы можем понять структуру таблицы дисперсионного анализа. Для нашего примера она будет иметь следующий вид.
|
Эффект |
|||||
|
Ошибка |
МS эффекта и МS ошибки являются оценками межгрупповой и внутригрупповой вариансы, и, значит, их можно сравнить по критерию F (критерию Снедекора, названному в честь Фишера), предназначенному для сравнения варианс. Этот критерий представляет собой просто частное от деления большей вариансы на меньшую. В нашем случае это 420 / 77,2 = 5,440.
Определение статистической значимости критерия Фишера по таблицам
Если бы мы определяли статистическую значимость эффекта вручную, по таблицам, нам было бы необходимо сравнить полученное значение критерия F с критическим, соответствующим определенному уровню статистической значимости при заданных степенях свободы.
Рис. 5.3.1. Фрагмент таблицы с критическими значениями критерия F
Как можно убедиться, для уровня статистической значимости p=0,05 критическое значение критерия F составляет 4,96. Это означает, что в нашем примере действие изучавшегося пола зарегистрировано с уровнем статистической значимости 0,05.
Полученный результат можно интерпретировать так. Вероятность нулевой гипотезы, согласно которой средний рост женщин и мужчин одинаков, а зарегистрированная разница в их росте связана со случайностью при формировании выборок, составляет менее 5%. Это означает, что мы должны выбрать альтернативную гипотезу, заключающуюся в том, что средний рост женщин и мужчин отличается.
5.4. Однофакторный дисперсионный анализ (ANOVA) в пакете Statistica
В тех случаях, когда расчеты производятся не вручную, а с помощью соответствующих программ (например, пакета Statistica) величина p определяется автоматически. Можно убедиться, что она несколько выше критического значения.
Чтобы проанализировать обсуждаемый пример с помощью простейшего варианта дисперсионного анализа, нужно запустить для файла с соответствующими данными процедуру Statistics / ANOVA и выбрать в окне Type of analysis вариант One-way ANOVA (однофакторный дисперсионный анализ), а в окне Specification method - вариант Quick specs dialog.
Рис. 5.4.1. Диалог General ANOVA/MANOVA (Дисперсионный анализ)
В открывшемся окне быстрого диалога в поле Variables нужно указать те столбцы, которые содержат данные, изменчивость которых мы изучаем (Dependent variable list; в нашем случае - столбец Growth), а также столбец, содержащие значения, разбивающие изучаемую величину на группы (Catigorical predictor (factor); в нашем случае - столбец Sex). В данном варианте анализа, в отличие от многофакторного анализа, может рассматриваться только один фактор.
Рис. 5.4.2. Диалог One-Way ANOVA (Однофакторный дисперсионный анализ)
В окне Factor codes следует указать те значения рассматриваемого фактора, которые нужно обрабатывать в ходе данного анализа. Все имеющиеся значения можно посмотреть с помощью кнопки Zoom; если, как в нашем примере, нужно рассматривать все значения фактора (а для пола в нашем примере их всего два), можно нажать кнопку All. Когда заданы обрабатываемые столбцы и коды фактора, можно нажать кнопку OK и перейти в окно быстрого анализа результатов: ANOVA Results 1, во вкладку Quick.
Рис. 5.4.3. Вкладка Quick окна результатов дисперсионного анализа
Кнопка All effects/Graphs позволяет увидеть, как соотносятся средние двух групп. Над графиком указывается число степеней свободы, а также значения F и p для рассматриваемого фактора.
Рис. 5.4.4. Графическое отображение результатов дисперсионного анализа
Кнопка All effects позволяет получить таблицу дисперсионного анализа, аналогичную описанной выше (с некоторыми существенными отличиями).
Рис. 5.4.5. Таблица с результатами дисперсионного анализа (сравните с аналогичной табличей, полученной "вручную")
В нижней строке таблицы указана сумма квадратов, количество степеней свободы и средние квадраты для ошибки (внутригрупповой изменчивости). На строку выше - аналогичные показатели для исследуемого фактора (в данном случае - признака Sex), a также критерий F (отношение средних квадратов эффекта к средним квадратам ошибки), и уровень его статистической значимости. То, что действие рассматриваемого фактора оказалось статистически значимым, показывает выделение красным цветом.
А в первой строке приведены данные по показателю «Intercept». Эта строка таблицы представляет загадку для пользователей, приобщающихся к пакету Statistica в его 6-й или более поздней версии. Величина Intercept (пересечение, перехват), вероятно, связана с разложением суммы квадратов всех значений данных (т.е. 1862 + 1692 … = 360340). Указанное для нее значение критерия F получено путем деления MS Intercept /MS Error = 353220 / 77,2 = 4575,389 и, естественно, дает очень низкое значение p . Интересно, что в Statistica-5 эта величина вообще не вычислялась, а руководства по использованию более поздних версий пакета никак не комментируют ее введение. Вероятно, лучшее, что может сделать биолог, работающий с пакетом Statistica-6 и последующих версий, это попросту игнорировать строку Intercept в таблице дисперсионного анализа.
5.5. ANOVA и критерии Стьюдента и Фишера: что лучше?
Как вы могли заметить, те данные, которые мы сравнивали с помощью однофакторного дисперсионного анализа, мы могли исследовать и с помощью критериев Стьюдента и Фишера. Сравним эти два метода. Для этого вычислим разницу в росте мужчин и женщин с использованием этих критериев. Для этого нам придется пройти по пути Statistics / Basic Statistics / t-test, independent, by groups. Естественно, Dependent variables - это переменная Growth, а Grouping variable - переменная Sex.
Рис. 5.5.1. Сравнение данных, обработанных с помощью ANOVA, по критериям Стьюдента и Фишера
Как можно убедиться, результат тот же самый, что и при использовании ANOVA. p = 0,041874 в обоих случаях, как показанном на рис. 5.4.5, так и показанном на рис. 5.5.2 (убедитесь в этом сами!).
Рис. 5.5.2. Результаты анализа (подробная расшифровка таблицы результатов - в пункте, посвященном критерию Стьюдента)
Важно подчеркнуть, что хотя критерий F с математической точки зрения в рассматриваемом анализе по критериям Стьюдента и Фишера тот же самый, что в ANOVA (и выражает отношение варианс), смысл его в результатах анализа, представляемых итоговой таблицей, совсем иной. При сравнении по критериям Стьюдента и Фишера сравнение средних значений выборок проводится по критерию Стьюдента, и сравнение их изменчивости проводится по критерию Фишера. В результатах анализа выводится не сама варианса, а ее квадратный корень - стандартное отклонение.
В дисперсионном анализе, напротив, критерий Фишера используется для сравнения средних разных выборок (как мы обсудили, это осуществляется с помощью разделения суммы квадратов на части и сравнения средней суммы квадратов, соответствующей меж- и внутригрупповой изменчивости).
Впрочем, приведенное отличие касается скорее представления результатов статистического исследования, чем его сути. Как указывает, например, Гланц (1999, с. 99), сравнение групп по критерию Стьюдента можно рассматривать как частный случай дисперсионного анализа для двух выборок.
Итак, сравнение выборок по критериям Стьюдента и Фишера имеет одно важное преимущество перед дисперсионным анализом: в нем можно сравнить выборки с точки зрения их изменчивости. Но преимущества дисперсионного анализа все равно весомее. К их числу, например, относится возможность одновременного сравнения нескольких выборок.
Общие определения
Целью дисперсионного анализа (ANOVA – Analysis of Variation) является проверка значимости различия между средними в разных группах с помощью сравнения дисперсий этих групп. Разделение общей дисперсии на несколько источников (связанных с различными эффектами в плане), позволяет сравнить дисперсию, вызванную различием между группами, с дисперсией, вызванной внутригрупповой изменчивостью.
Проверяемая гипотеза состоит в том, что различия между группами нет. При истинности нулевой гипотезы, оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии. При ложности - значимо отклоняться.
В целом дисперсионный анализ может быть разделён на несколько видов:
одномерный (одна зависимая переменная) и многомерный (несколько зависимых переменных);
однофакторный (одна группирующая переменная) и многофакторный (несколько группирующих переменных) с возможным взаимодействием между факторами;
с простыми измерениями (зависимая переменная измеряется лишь один раз) и с повторными (зависимая переменная измеряется несколько раз).
В STATISITICA реализованы все известные модели дисперсионного анализа.
В STATISITICA дисперсионный анализ можно провести с помощью модуля Дисперсионный анализ в блоке STATISITICA Base (Анализ -> Дисперсионный анализ(ДА)) . Для построения модели специального вида используется полная версия Дисперсионного анализа, представленная в модулях Общие линейные модели , Обобщённые линейные и нелинейные модели , Общие регрессионные модели , Общие модели частных наименьших квадратов из блока Углубленные методы анализа (STATISTICA Advanced Linear/Non-Linear Models ).
в начало
Пошаговый пример в STATISTICA
Мы будем иллюстрировать возможности дисперсионного анализа в STATISITICA , рассматривая пошаговый модельный пример.
Исходный файл данных описывает совокупность людей с разным уровнем дохода, образования, возраста и пола. Рассмотрим, как влияют уровень образования, возраст и пол на уровень дохода.
По возрасту все люди были разделены на четыре группы:
до 30 лет;
от 31 до 40 лет;
от 41 до 50 лет;
от 51 года.
По уровню образования произошло деление на 5 групп:
незаконченное среднее;
среднее;
среднее профессиональное;
незаконченное высшее;
высшее.
Так как данные модельные, то полученные результаты будут носить в основном качественный характер и иллюстрировать способ проведения анализа.
Шаг 1. Выбор анализа
Выберем дисперсионный анализ из меню: Анализ -> Углубленные методы анализа -> Общие линейные модели .
Рис. 1. Выбор дисперсионного анализа из выпадающего меню STATISTICA
Далее откроется окно, в котором представлены различные виды анализа. Выбираем Вид анализа – Факторный Дисперсионный анализ .
Рис. 2. Выбор вида анализа
В этом окне также можете выбрать способ построения модели: диалоговый режим или использовать мастер анализа. Выберем диалоговый режим.
Шаг 2. Задание переменных
Из открытого файла данных выберем переменные для анализа, щелкните кнопку Переменные , выберете:
Доход – зависимая переменная,
Уровень образования , Пол и Возраст – категориальные факторы (предикторы).
Заметим, что Коды факторов в этом простом примере можно не задавать. При нажатии на кнопку OK , STATISTICA задаст их автоматически.
Рис. 3. Задание переменных
Шаг 3. Изменение опций
Обратимся к вкладке Опции в окне GLM Факторный ДА .
Рис. 4. Вкладка Опции
В этом диалоговом окне вы можете:
выбрать случайные факторы;
задать тип параметризации модели;
указать тип сумм квадратов (SS), имеется 6 различных сумм квадратов (SS);
включить проведение кросс-проверки.
Оставим все установки по умолчанию (этого достаточно в большинстве случаев) и нажмём кнопку ОК .
Шаг 4. Анализ результатов – просмотр всех эффектов
Результаты анализа можно посмотреть в окне Результаты с помощью вкладок и группы кнопок. Рассмотрим, например, вкладку Итоги .
Рис. 5. Окно анализа результатов: вкладка Итоги
С этой вкладки можно получить доступ ко всем основным результатам. Воспользуйтесь остальными вкладками для получения дополнительных результатов. Кнопка Меньше позволяет изменить диалоговое окно результатов, удалив вкладки, которые, как правило, не используются.
При нажатии кнопки Проверить все эффекты получаем следующую таблицу.
Рис. 6. Таблица всех эффектов
Эта таблица выводит основные результаты анализа: суммы квадратов, степени свободы, значения F-критерия, уровни значимости.
Для удобства исследования значимые эффекты (p<.05) выделены красным цветом. Два главных эффекта (Уровень образования и Возраст ) и некоторые взаимодействия в данном примере являются значимыми (p<.05).
Шаг 5. Анализ результатов – просмотр заданных эффектов
Чтобы посмотреть, каким образом средний уровень дохода различается по категориям, удобнее всего воспользоваться графическими средствами. При нажатии на кнопку Все эффекты/графики появится следующее диалоговое окно.
Рис. 7. Окно Таблица всех эффектов
В окне перечислены все рассматриваемые эффекты. Статистически значимые эффекты помечены *.
Например, выберем эффект Возраст , в группе Отображать укажем Таблицу и нажмём ОК . Появится таблица, в которой для каждого уровня эффекта приведено среднее значение зависимой переменной (Доход) , величина стандартной ошибки и границы доверительных пределов.
Рис. 8. Таблица с описательными статистиками по уровням переменной Возраст
Эту таблицу удобно представить в графическом виде. Для этого выберем График в группе Отображать диалогового окна Таблица всех эффектов и нажмём ОК . Появится соответствующий график.
Рис. 9. График зависимости среднего дохода от возраста
Из графика ясно видно, что между группами людей разного возраста есть разница в уровне дохода. Чем выше возраст, тем больше доход.
Аналогичные операции проведём для взаимодействия нескольких факторов. В диалоговом окне выберем Пол *Возраст и нажмём ОК .
Рис. 10. График зависимости среднего дохода от пола и возраста
Получен неожиданный результат: для опрошенных людей в возрасте до 50 лет уровень дохода растёт с возрастом и не зависит от пола; для опрошенных людей старше 50 лет женщины имеют значимо больший доход, чем мужчины.
Стоит построить полученный график в разрезе уровня образования. Возможно, такая закономерность нарушается в некоторых категориях или, наоборот, носит универсальный характер. Для этого выберем Уровень образования * Пол * Возраст и нажмём ОК .
Рис. 11. График зависимости среднего дохода от пола, возраста, уровня образования
Видим, что полученная зависимость не характерна для среднего и среднего профессионального образования. В остальных случаях она справедлива.
Шаг 6. Анализ результатов – оценка качества модели
Выше в основном использовались графические средства дисперсионного анализа. Рассмотрим некоторые другие полезные результаты, которые можно получить.
Во-первых, интересно посмотреть, какую долю изменчивости объясняют рассматриваемые факторы и их взаимодействия. Для этого во вкладке Итоги нажмём на кнопку Общая R модели . Появится следующая таблица.
Рис. 12. Таблица SS модели и SS остатков
Число в столбце Множеств. R2 – квадрат множественного коэффициента корреляции; оно показывает, какую долю изменчивости объясняет построенная модель. В нашем случае R2 = 0.195, что говорит о невысоком качестве модели. В самом деле, на уровень дохода влияют не только факторы, внесённые в модель.
Шаг 7. Анализ результатов – анализ контрастов
Часто требуется не только установить различие в среднем значении зависимой переменной для разных категорий, но и установить величину различия для заданных категорий. Для этого следует исследовать контрасты.
Выше было показано, что уровень дохода для мужчин и женщин значимо отличается для возраста от 51, в остальных случаях различие не значимо. Выведем разницу в уровне дохода для мужчин и женщин в возрасте выше 51 года и между 40 и 50 годами.
Для этого перейдём во вкладку Контрасты и выставим все значения следующим образом.
Рис. 13. Вкладка Контрасты
При нажатии кнопки Вычислить появится несколько таблиц. Нас интересует таблица с оценками контрастов.
Рис. 14. Таблица Оценки контрастов
Можно сделать следующие выводы:
для мужчин и женщин старше 51 года разница в уровне дохода составляет 48,7 тыс. долл. Разница значима;
для мужчин и женщин в возрасте от 41 до 50 лет разница в уровне дохода составляет 1,73 тыс. долл. Разница не значима.
Аналогично можно задать более сложные контрасты или воспользоваться одним из заранее заданных наборов.
Шаг 8. Дополнительные результаты
Используя остальные вкладки окна результатов можно получить следующие результаты:
средние значения зависимой переменной для выбранного эффекта – вкладка Средние ;
проверка апостериорных критериев (post hoc) – вкладка Апостериорные ;
проверка сделанных для проведения дисперсионного анализа предположений – вкладка Предположения ;
построение профилей отклика/желательности – вкладка Профили ;
анализ остатков – вкладка Остатки ;
вывод матриц, используемых в анализе – вкладка Матрицы ;
-
Результаты проведения опытов и испытаний могут зависеть от некоторых факторов, влияющих на изменчивость средних значений случайной величины . Значения факторов называют уровнями факторов, а величину называют результативным признаком. Например, объем выполненных на стройке работ может зависеть от работающей бригады. В этом случае номер бригады является уровнем фактора, а объем работ за смену - результативным признаком.
Метод дисперсионного анализа , или ANOVA (Analysis of Variance - дисперсионный анализ), служит для исследования статистической значимости различия между средними при трех и более выборках (уровнях фактора). Для сравнения средних в двух выборках используется t -критерий .
Процедура сравнения средних называется дисперсионным анализом, так как при исследовании статистической значимости различия между средними нескольких групп наблюдений проводится анализ выборочных дисперсий. Фундаментальная концепция дисперсионного анализа была предложена Фишером .
Сущность метода состоит в разделении общей дисперсии на две части, одна из которых обусловлена случайной ошибкой (то есть внутригрупповой изменчивостью), а вторая связана с различием средних значений. Последняя компонента дисперсии затем используется для анализа статистической значимости различия между средними значениями. Если это различие значимо, нулевая гипотеза отвергается и принимается альтернативная гипотеза о существовании различия между средними.
Переменные, значения которых определяется с помощью измерений в ходе эксперимента (например, экономическая эффективность, урожайность, результат тестирования), называются зависимыми переменными или признаками. Переменные, которыми можно управлять при проведении эксперимента (например, уровень управления, тип почвы, методы обучения) называются факторами или независимыми переменными.
В классическом дисперсионном анализе полагается, что исследуемые величины имеют нормальное распределение с постоянной дисперсией и средними значениями, которые могут отличаться для разных выборочных совокупностей. В качестве критерия проверки нулевых гипотез используется отношение дисперсии групповых средних и остаточной дисперсии. Однако было показано, что дисперсионный анализ справедлив и для негауссовских случайных величин, причем при объеме выборок для каждого уровня фактора n > 4 погрешность невысока. Если требуется высокая точность выводов, а распределение неизвестно, то следует использовать непараметрические критерии, например, использовать ранговый дисперсионный анализ.
Однофакторный дисперсионный анализ
Пусть проводится m групп измерений значений случайной величины Y при различных уровнях значения некоторого фактора, и a 1 , a 2 , a m - математическое ожидание результативного признака при уровнях фактора A (1) , A (2) , A (m) (i =1, 2, m ) соответственно.
Предположение о независимости результативного признака от фактора сводится к проверке нулевой гипотезы о равенстве групповых математических ожиданий
H 0: a 1 = a 2 = a m (6.12)
Проверка гипотезы возможна при соблюдении следующих требований для каждого уровня фактора:
1) наблюдения независимы и проводятся в одинаковых условиях;
2) измеряемая случайная величина имеет нормальный закон распределения с постоянной для различных уровней фактора генеральной дисперсией σ 2 . То есть справедлива гипотеза
H 0: σ 1 2 = σ 2 2 = σ m 2 .
Для проверки гипотезы о равенстве дисперсий трех и более нормальных распределений применяется критерий Бартлета.
Если гипотеза H 0: σ 1 2 = σ 2 2 = σ m 2 подтверждается, то приступают к проверке гипотезы о равенстве групповых математических ожиданий H 0: a 1 = a 2 = a m , то есть собственно к дисперсионному анализу. В основе дисперсионного анализа лежит положение, что изменчивость результативного признака вызвана как изменением уровней фактора А, так и изменчивостью значений случайных неконтролируемых факторов. Случайные факторы называются остаточными.
Можно доказать, что общая выборочная дисперсия может быть представлена в виде суммы дисперсии групповых средних и средней из групповых дисперсий
, гдеОбщая дисперсия выборки;
Дисперсия групповых средних (), рассчитанных для каждого уровня фактора;
Средняя по групповым дисперсиям (), рассчитанным для каждого уровня фактора. связана с влиянием на Y остаточных (случайных) факторов.
Перейдя от разложения для генеральной дисперсии к выборочным значениям, получим
, (6.13)Представляет собой взвешенную сумму квадратов отклонений выборочных средних по каждому уровню A (i) от общего выборочного среднего,
Среднее значение квадратов отклонений внутри уровней.
Случайные величины , , имеют следующие значения для степеней свобод соответственно: n - 1, m - 1, n - m . Здесь n - общее число выборочных значений, m - число уровней фактора.
В математической статистике доказывается, что если нулевая гипотеза о равенстве средних (10.8) верна, то величина
имеет F -распределение с числом степеней свободы k = m - 1 и l = n- m , то есть
(6.14)При выполнении нулевой гипотезы внутригрупповая дисперсия будет практически совпадать с общей дисперсией, подсчитанной без учета групповой принадлежности. В дисперсионном анализе, как правило, числитель в больше знаменателя. В противном случае считается, что наблюдения не подтверждают влияние фактора на результирующий признак и дальнейший анализ не проводится. Полученные внутригрупповые дисперсии можно сравнить с помощью F -критерия, проверяющего, действительно ли отношение дисперсий значимо больше 1.
В связи с этим для проверки гипотезы (6.12) с помощью F -критерия анализируется правосторонняя критическая область
.Если рассчитанное значение F попадает в указанный интервал, то нулевая гипотеза отвергается, и считается установленным влияние фактора А на результативный признак Y .
Приведем пример расчета сумм квадратов и выборочных дисперсий. Рассмотрим набор данных, представленный в таблице 6.2. В данном примере требуется определить, есть ли значимое различие в производительности бригад.
Таблица 6.2. Пример расчета сумм квадратов
