Факторный анализ

Факторный анализ

Факторный анализ — многомерный статистический метод, применяемый для изучения взаимосвязей между значениями переменных.

  Краткая история

Факторный анализ впервые  возник в психометрике и в настоящее  время широко используется не только в психологии, но и в нейрофизиологии, социологии, политологии, в экономике, статистике и других науках. Основные идеи Факторного анализа были заложены английским психологом и антропологом, основателем евгеники Гальтоном  Ф. (1822—1911), внесшим также большой  вклад в исследование индивидуальных различий. Но в разработку Факторного анализа внесли вклад многие ученые. Разработкой и внедрением Факторного анализа в психологию занимались такие ученые как: Спирмен Ч. (1904, 1927, 1946), Терстоун Л. (1935, 1947, 1951) и Кеттел Р. (1946, 1947, 1951) Также нельзя не упомянуть  английского математика и философа Пирсона К., в значительной степени  развившего идеи Ф. Гальтона, американского  математика Хотеллинга Г., разработавшего современный вариант метода главных  компонент. Внимания заслуживает и  английский психолог Айзенк Г., широко использовавший Факторный анализ для  разработки психологической теории личности. Математически факторный  анализ разрабатывался Хотеллингом, Харманом, Кайзером, Терстоуном, Такером и  др. Сегодня факторный анализ включён  во все пакеты статистической обработки  данных — R, SAS, SPSS, Statistica и т. д. 

Задачи  и условия факторного анализа 

Факторный анализ позволяет  решить две важные проблемы исследователя: описать объект измерения всесторонне  и в то же время компактно. С  помощью факторного анализа возможно выявление скрытых переменных факторов, отвечающих за наличие линейных статистических связей корреляций между наблюдаемыми переменными.

Например, анализируя оценки, полученные по нескольким шкалам, исследователь замечает, что они  сходны между собой и имеют  высокий коэффициент корреляции, он может предположить, что существует некоторая латентная переменная, с помощью которой можно объяснить наблюдаемое сходство полученных оценок. Такую латентную переменную называют фактором. Данный фактор влияет на многочисленные показатели других переменных, что приводит нас к возможности и необходимости выделить его как наиболее общий, более высокого порядка.

Таким образом можно выделить 2 цели факторного анализа:

1. определение взаимосвязей между переменными, их классификация, т. н. «объективная R-классификация»;
2. сокращение числа переменных.

Для выявления наиболее значимых факторов и, как следствие, факторной структуры, наиболее оправданно применять метод главных компонентов (МГК). Суть данного метода состоит  в замене коррелированных компонентов  некоррелированными факторами. Другой важной характеристикой метода является возможность ограничиться наиболее информативными главными компонентами и исключить остальные из анализа, что упрощает интерпретацию результатов. Достоинство МГК также в том, что он — единственный математически  обоснованный метод факторного анализа.

Факторный анализ может  быть  1) разведочным — он осуществляется при исследовании скрытой факторной  структуры без предположения  о числе факторов и их нагрузках; и 2) конфирматорным, предназначенным  для проверки гипотез о числе  факторов и их нагрузках. Практическое выполнение факторного анализа начинается с проверки его условий.

В обязательные условия  факторного анализа входят:

• Все признаки должны быть количественными.
• Число признаков должно быть в два раза больше числа переменных.
• Выборка должна быть однородна.
• Исходные переменные должны быть распределены симметрично.
• Факторный анализ осуществляется по коррелирующим переменным.

При анализе в  один фактор объединяются сильно коррелирующие  между собой переменные, как следствие  происходит перераспределение дисперсии  между компонентами и получается максимально простая и наглядная  структура факторов. После объединения  коррелированность компонент внутри каждого фактора между собой  будет выше, чем их коррелированность  с компонентами из других факторов. Эта процедура также позволяет  выделить латентные переменные, что  бывает особенно важно при анализе  социальных представлений и ценностей. 

Процедура вращения. Выделение  и интерпретация  факторов. 

Сущностью факторного анализа является процедура вращения факторов, то есть перераспределения  дисперсии по определённому методу. Вращение бывает ортогональным и  косоугольным. При первом виде вращения каждый последующий фактор определяется так, чтобы максимизировать изменчивость, оставшуюся от предыдущих, поэтому  факторы оказываются независимыми, некоррелированными друг от друга (к  этому типу относится МГК). Второй вид — это преобразование, при  котором факторы коррелируют  друг с другом. Преимущество косоугольного  вращения состоит в следующем: когда  в результате его выполнения получаются ортогональные факторы, можно быть уверенным, что эта ортогональность  действительно им свойственна, а  не привнесена искусственно. Однако если цель ортогональных вращений — определение  простой структуры факторных  нагрузок, то целью большинства косоугольных вращений является определение простой  структуры вторичных факторов, то есть косоугольное вращение следует  использовать в частных случаях. Поэтому ортогональное вращение предпочтительнее. Существует около 13 методов вращения в обоих видах, в статистической программе SPSS 10 доступны пять: три ортогональных, один косоугольный и один комбинированный, однако из всех наиболее употребителен ортогональный  метод «варимакс». Метод «варимакс» максимизирует разброс квадратов  нагрузок для каждого фактора, что  приводит к увеличению больших и  уменьшению малых значений факторных  нагрузок. В результате простая структура  получается для каждого фактора  в отдельности.

Главной проблемой  факторного анализа является выделение  и интерпретация главных факторов. При отборе компонент исследователь  обычно сталкивается с существенными  трудностями, так как не существует однозначного критерия выделения факторов, и потому здесь неизбежен субъективизм интерпретаций результатов. Существует несколько часто употребляемых  критериев определения числа  факторов. Некоторые из них являются альтернативными по отношению к  другим, а часть этих критериев  можно использовать вместе, чтобы  один дополнял другой:

Критерий  Кайзера или критерий собственных чисел. Этот критерий предложен Кайзером, и является, вероятно, наиболее широко используемым. Отбираются только факторы с собственными значениями равными или большими 1. Это означает, что если фактор не выделяет дисперсию, эквивалентную, по крайней мере, дисперсии одной переменной, то он опускается.

Критерий  каменистой осыпи или критерий отсеивания. Он является графическим методом, впервые предложенным психологом Кэттелом. Собственные значения возможно изобразить в виде простого графика. Кэттел предложил найти такое место на графике, где убывание собственных значений слева направо максимально замедляется. Предполагается, что справа от этой точки находится только «факториальная осыпь» — «осыпь» является геологическим термином, обозначающим обломки горных пород, скапливающиеся в нижней части скалистого склона. Однако этот критерий отличается высокой субъективностью и, в отличие от предыдущего критерия, статистически необоснован. Недостатки обоих критериев заключаются в том, что первый иногда сохраняет слишком много факторов, в то время как второй, напротив, может сохранить слишком мало факторов; однако оба критерия вполне хороши при нормальных условиях, когда имеется относительно небольшое число факторов и много переменных. На практике возникает важный вопрос: когда полученное решение может быть содержательно интерпретировано. В этой связи предлагается использовать ещё несколько критериев. 
 

Критерий  значимости. Он особенно эффективен, когда модель генеральной совокупности известна и отсутствуют второстепенные факторы. Но критерий непригоден для поиска изменений в модели и реализуем только в факторном анализе по методу наименьших квадратов или максимального правдоподобия.

Критерий  доли воспроизводимой  дисперсии. Факторы ранжируются по доле детерминируемой дисперсии, когда процент дисперсии оказывается несущественным, выделение следует остановить. Желательно, чтобы выделенные факторы объясняли более 80 % разброса. Недостатки критерия: во-первых, субъективность выделения, во-вторых, специфика данных может быть такова, что все главные факторы не смогут совокупно объяснить желательного процента разброса. Поэтому главные факторы должны вместе объяснять не меньше 50,1 % дисперсии.

Критерий  интерпретируемости и инвариантности. Данный критерий сочетает статистическую точность с субъективными интересами. Согласно ему, главные факторы можно выделять до тех пор, пока будет возможна их ясная интерпретация. Она, в свою очередь, зависит от величины факторных нагрузок, то есть если в факторе есть хотя бы одна сильная нагрузка, он может быть интерпретирован. Возможен и обратный вариант — если сильные нагрузки имеются, однако интерпретация затруднительна, от этой компоненты предпочтительно отказаться. 

Практика показывает, что если вращение не произвело существенных изменений в структуре факторного пространства, это свидетельствует  о его устойчивости и стабильности данных. Возможны ещё два варианта: 1) сильное перераспределение дисперсии  — результат выявления латентного фактора; 2) очень незначительное изменение (десятые, сотые или тысячные доли нагрузки) или его отсутствие вообще, при этом сильные корреляции может  иметь только один фактор, — однофакторное  распределение. Последнее возможно, например, когда на предмет наличия  определённого свойства проверяются  несколько социальных групп, однако искомое свойство есть только у одной  из них. 

Факторы имеют две  характеристики: объём объясняемой  дисперсии и нагрузки. Если рассматривать  их с точки зрения геометрической аналогии, то касательно первой отметим, что фактор, лежащий вдоль оси  ОХ, может максимально объяснять 70 % дисперсии (первый главный фактор), фактор, лежащий вдоль оси ОУ, способен детерминировать не более 30 % (второй главный фактор). То есть в идеальной ситуации вся дисперсия  может быть объяснена двумя главными факторами с указанными долями[4]. В обычной ситуации может наблюдаться  два или более главных факторов, а также остаётся часть неинтерпретируемой дисперсии (геометрические искажения), исключаемая из анализа по причине  незначимости. Нагрузки, опять же с  точки зрения геометрии, есть проекции от точек на оси ОХ и ОУ (при  трёх- и более факторной структуре  также на ось ОZ). Проекции — это  коэффициенты корреляции, точки —  наблюдения, таким образом, факторные  нагрузки являются мерами связи. Так  как сильной считается корреляция с коэффициентом Пирсона R ≥ 0,7, то в нагрузках нужно уделять  внимание только сильным связям. Факторные  нагрузки могут обладать свойством  биполярности — наличием положительных  и отрицательных показателей  в одном факторе. Если биполярность присутствует, то показатели, входящие в состав фактора, дихотомичны и  находятся в противоположных координатах. 

Методы  факторного анализа: 

Метод главных компонент  (англ. Principal component analysis, PCA) — один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации. Изобретен К. Пирсоном (англ. Karl Pearson) в 1901 г. Применяется во многих областях, таких как распознавание образов, компьютерное зрение, сжатие данных и т. п. Вычисление главных компонент сводится к вычислению собственных векторов и собственных значений ковариационной матрицы исходных данных. Иногда метод главных компонент называют преобразованием Кархунена-Лоэва (англ. Karhunen-Loeve) или преобразованием Хотеллинга (англ. Hotelling transform). Другие способы уменьшения размерности данных — это метод независимых компонент, многомерное шкалирование, а также многочисленные нелинейные обобщения: метод главных кривых и многообразий, метод упругих карт, поиск наилучшей проекции (англ. Projection Pursuit), нейросетевые методы «узкого горла», самоорганизующиеся карты Кохонена и др.

Корреля́ция (корреляционная зависимость) — статистическая взаимосвязь двух или нескольких случайных величин (либо величин, которые можно с некоторой допустимой степенью точности считать таковыми). При этом, изменения значений одной или нескольких из этих величин приводят к систематическому изменению значений другой или других величин.

 Математической  мерой корреляции двух случайных  величин служит корреляционное  отношение , либо коэффициент  корреляции. В случае, если изменение  одной случайной величины не  ведёт к закономерному изменению  другой случайной величины, но  приводит к изменению другой  статистической характеристики  данной случайной величины, то  подобная связь не считается  корреляционной, хотя и является  статистической.

Впервые в научный  оборот термин «корреляция» ввёл французский  палеонтолог Жорж Кювье в XVIII веке. Он разработал «закон корреляции» частей и органов живых существ, с помощью которого можно восстановить облик ископаемого животного, имея в распоряжении лишь часть его останков. В статистике слово «корреляция» первым стал использовать английский биолог и статистик Фрэнсис Гальтон в конце XIX века. 

Некоторые виды коэффициентов  корреляции могут быть положительными или отрицательными (возможна также  ситуация отсутствия статистической взаимосвязи  — например, для независимых случайных  величин). Если предполагается, что  на значениях переменных задано отношение  строгого порядка, то отрицательная  корреляция — корреляция, при которой  увеличение одной переменной связано  с уменьшением другой переменной, при этом коэффициент корреляции может быть отрицательным; положительная  корреляция в таких условиях —  корреляция, при которой увеличение одной переменной связано с увеличением  другой переменной, при этом коэффициент  корреляции может быть положительным.