Кластерный анализ исходных данных

Таблица № 7.

Средние кластеры

Рисунок 9 - Дендрограмма горизонтальной связи

Таблица № 8.

Евклидовы расстояния между кластерами

Рисунок 10 - График средних для каждого кластера

Факторный анализ

С возрастанием количества анализируемых признаков быстро растет трудность изучения и классификации характеризуемых ими объектов. Между тем, любые сложнопостроенные системы, как правило, управляются сравнительно небольшим набором факторов. Выявлению и анализу этих факторов посвящен широкий круг вычислительных процедур, обычно объединяемых названием «факторный анализ». Следует однако, помнить, что в названной области выделяется несколько самостоятельных процедур: метод главных компонент (МГК), R–метод факторного анализа, Q–метод факторного анализа, анализ главных координат, анализ соответствия. Все эти методы основаны на выделении собственных значений и собственных векторов ковариационной или корреляционной матрицы, поскольку заранее предполагается, что в наборе многомерных наблюдений скрыта простая структура, выражающаяся через дисперсии и ковариации переменных.

Метод главных компонент позволяет выявить группы элементов, наиболее тесно связанных с тем или иным мощным фактором. Элементы, однонаправлено изменяющие свое состояние под действием общего фактора, могут быть объединены в комбинации, называемые главными компонентами. Число последних намного меньше исходного числа параметров, в то же время они несут практически всю полезную информацию об изменчивости свойств, заключенную в исходной совокупности.

Главные компоненты вычисляются по формулам:

1ГК = ∑ω_ilx_i = ω_1l ·х₁ + ω₁х₂ +.... +ω_n1х_n;

2ГК = ∑ω_i2x_i;

3ГК = ∑ω_i3x_i и т.д..

Здесь x_i - значения параметров, ω_ij - факторные нагрузки (это влияние j -го фактора на i -й элемент, т.е. своего рода коэффициент корреляции между ними).

Таким образом, для нахождения главных компонент нам необходимо вычислить матрицу факторных нагрузок W. Она определяется из соотношения:

W = uΛ^½

где u - матрица собственных векторов, а Λ - матрица собственных чисел корреляционной матрицы R. Элементы матрицы Λ определяются как корни характеристического уравнения:

|R-λ׀| = 0, где I - единичная матрица.

Вычислив этот определитель, получаем уравнение, степень которого и число полученных корней равны числу строк в корреляционной матрице R. При этом λ₁ >λ₂ >λ₃... >λ_n, a ∑λ_i = n. Матрица u, находится из выражения:

(R - λ1)u=0

Подставляя в это уравнение найденные значения λ_i, получаем для каждого λ_i вектор значений u_i.

Таблица №9. Факторные нагрузки

Рисунок 11 – Диаграмма факторных нагрузок

Как видим, 1-й фактор значимо влияет на все элементы. Такой фактор обычно называют генеральным. Генеральный фактор отрицательно сказывается на контрастности корреляционной матрицы, обуславливая перекрытие выделяемых групп. Дать главным факторам геологическую интерпретацию не всегда возможно, но когда это удается, информативность метода резко возрастает. В частности, в рассмотренном примере со 2-м фактором, видимо, связан процесс карбонатизации пород. Дать интерпретацию 1-му фактору сложнее.

Метод главных компонент можно использовать и для распознавания образов. Для этого в координатах двух ГК выносятся значения для эталонных объектов и локализуются области, отвечающие этим объектам

Таким образом МГК сводится к линейному преобразованию М исходных переменных в т новых переменных, каждая из которых является линейной комбинацией исходных переменных. При этом МГК не является статистическим методом и мы практически не имеем формальных критериев для отбрасывания некоторых переменных или компонент, дающих очень малый вклад в суммарную дисперсию. О правильности своих действий мы можем судить только после проведения анализа МГК.

Рисунок 12 - Определение промышленного типа месторождения по методу главных компонент.

а - 1-й промтип, б - 2-й промтип, в – непромышленнные объекты, г - изучаемое рудопроявление.

В отличие от МГК, факторный анализ считается статистическим методом, поскольку в его основе лежат некоторые предположения о природе изучаемой совокупности. Предполагается, что связь между m переменными является отражением корреляционной зависимости каждой из переменных с р взаимно некоррелированными факторами, причем р<m (если р = m, модель эквивалентна МГК). Поэтому дисперсию для m переменных можно вычислить с помощью дисперсии р – факторов плюс вклад, происхождение которого одинаково для всех переменных.

В Q-методе факторного анализа, в отличие от R-метода, анализируются взаимосвязи между наблюдениями, а не переменными.

Одно из главных препятствий в применении геологами различных модификаций факторного анализа заключено в абстрактности понятий собственных векторов и собственных значений корреляционных матриц. Между тем, эти категории имеют вполне определенный содержательный и геометрический смысл. На рис. видно, что строки корреляционной матрицы можно представить как произвольные оси двумерного эллипсоида, тогда собственные вектора, дают направление главных осей эллипсоида, а корень из величины собственного значения – длину главных полуосей. Поскольку собственные значения включают в себя дисперсии переменных, очевидно, что и факторы отражают дисперсии (точнее, стандартные отклонения). При этом наклон и длина главных осей эллипсоида наглядно свидетельствуют о влиянии фактора на значения конкретной переменной.

Рисунок 13 - Графическое изображение собственных векторов корреляционной матрицы.

Поскольку одна из главных задач факторного анализа - сокращение размерности исходного пространства признаков, важнейшим вопросом является выбор количества сохраненных факторов. Формального ответа на этот вопрос не существует, поэтому в большинстве случаев рекомендуется сохранять столько факторов, сколько имеется собственных чисел, больших 1, то есть сохраняются факторы, вклад которых в дисперсию больше, чем у каждой из исходных переменных. Эта рекомендация полезна в тех случаях, когда исходные данные хорошо скоррелированы и первые 2-3 фактора дают основной вклад в общую дисперсию. Если же переменные скоррелированы слабо, то половина и даже больше факторов может иметь собственные числа большие единицы. Число факторов получается слишком большим, причем вклад каждого из них в дисперсию невелик, а содержательная интерпретация затруднительна. В таких случаях применение факторной модели следует признать нецелесообразным.

В ряде случаев бывает затруднительно дать интерпретацию факторов даже если переменные хорошо скоррелированы. Перекрытие групп переменных зачастую обусловлено тем, что положение р ортогональных факторных осей в m-мерном пространстве определяется положением m–р ненужных ортогональных осей в выборочном пространстве. Исключив из рассмотрения ненужные оси, мы можем произвести вращение оставшихся факторных осей таким образом, чтобы выделенные группы наилучшим образом расположились в новых координатах. В наиболее часто используемом методе (метод варимакс Кайзера) вращение осуществляется до тех пор, пока проекции каждой переменной на факторные оси не окажутся близкими либо к нулю, либо к ±1. Чаще всего такое вращение приводит к тому, что для каждого фактора мы получаем несколько больших значений нагрузок и много близких к нулю. Это существенно облегчает содержательную интерпретацию факторов. Если же вращение факторных осей лишь ухудшает первоначальный результат, это свидетельствует либо о взаимной коррелированности факторов, либо о неприменимости выбранной факторной модели.

Графическое представление процедуры вращения факторных осей для двумерного случая дано на рис..

Рисунок 14 - Вращение факторных осей для двумерного случая.

Проекции векторов переменных на факторные оси соответствуют их факторным нагрузкам. Видно, что после вращения разделение элементов на группы значительно улучшилось. При этом длина векторов и их относительное положение не изменились.

Таким образом, факторный анализ сочетает в себе преимущества и возможности как методов группирования, так и распознавания образов. В частности, он может быть использован как вариант множественной регрессии для вычисления восстановленных значений переменной:

Хвост. = S⋅ω_j⋅Z′_j+х⋅ε΄,

где S – диагональная матрица m х m оценок стандартов m переменных;

ω_j – факторная нагрузка j фактора;

Z´_j – вектор-строка значений фактора j;

х - среднее значение параметра по выборочным данным;

ε΄ -вектор-строка размером N (число наблюдений) вида {1, 1, 1,.... 1}.

Таким способом можно оценить влияние каждого выделенного фактора (процесса) на распределение конкретного элемента и геометризовать в пространстве интенсивность этого влияния. Эта задача обычна при создании генетических моделей и прогнозо-поисковых комплексов.

Заключение

Данная контрольная работа, основной целью, которой было выяснить и понять распределение полезных компонентов в гранитах Восточного Забайкалья, по данным полученным в результате опробования и проведения рентгенофлуоресцентного анализа проб, содержит в себе результаты проведения анализов в программе «Statistica», с составлением таблиц и графических диаграмм.

Было проведено 6 анализов:

1. Статистический анализ – анализ с помощью, которого были получены статистические характеристики для каждого компонента, которые образуют гранитные породы (SiO₂. TiO₂, Al₂O₃, Fe₂O₃, MnO, MgO, CaO, Na₂O, K₂O, P₂O₅, ППП), представленные в таблице 2.

2. Корреляционный анализ – анализ, заключался в изучении коэффициентов корреляции между переменными, в результате, которого была создана таблица корреляции по всем элементам (таблица 3), где явно прослеживалась линейная взаимосвязь, на основании, которой были представлены диаграммы рассеяния (рисунок 6).

3. Регрессионный анализ – анализ, смысл которого, заключался в построении зависимостей между группами числовых переменных; в результате анализа была составлена таблица предсказанных значений и остатков, с зависимой переменной TiO₂ и MgO, на основании, которой был составлен нормальный вероятностный график остатков, который наглядно показывает отсутствие больших отклонений от высказанных предположений.

4. Кластерный анализ – ряд методов, который использовался для группировки объектов в кластеры на основе сходства их характерных признаков; в результате анализа «иерархическая классификация» были составлены дендрограммы горизонтальные и вертикальные, которые показывают степень близости кластеров, и последовательность их объединения и разделения, где в нашем случае наиболее дальше расположен элемент SiO₂.

Было выявлено 4 кластера, на основании, которых были построены таблицы описательных статистик для каждого кластера, и для каждого кластера было выявлено содержание элементов в каждом из них, и составлен график средних для каждого кластера, где явно видна степень активности кластера 1 (SiO₂), как самостоятельного элемента, процентное содержание, которого относит г/п к одному из классов магматических горных пород.

5. Факторный анализ – проведение анализа заключалось в выявлении влияния факторных нагрузок на элементы, в результате, чего была составлена таблица факторных нагрузок, и диаграмма факторных нагрузок, на котором явно прослеживается сосредотачивание группы элементов или их присутствие по отдельности.

В результате проведения всех анализов, можно предположительно сделать вывод о том, что результаты рентгенофлуоресцентного анализа верны, и содержание элементов, которые образуют 1 тип пород (граниты) правильны, что доказывает проведение статистических анализов, которые являются неточными, но характер поведения элементов показали явно.