Kovaryans matrisi; Kovaryan matrisi, hangi tip değişkenler için var olan varyan kavramının çok boyutlu durumlara genelleştirilmesidir?
skaler-değerli
İstatistik'te, kovaryans matrisi (veya varyans-kovaryans matrisi veya varyans matrisi), rassal vektörlerin elemanları arasındaki kovaryansları içeren matristir. Kovaryans matrisi, skaler-değerli rassal değişkenler için var olan varyans kavramının çok boyutlu durumlara genelleştirilmesidir. Tanımlama: Eğer şu sütun vektörü içine : \mathbf X = \begin{bmatrix}X_1 \\\ \vdots \\\ X_n \end{bmatrix} giren değişkenlerin her biri sonlu varyansı olan rassal değişken iseler, o halde (i, j) elemanı bir kovaryans olan matris Σ kovaryans matrisi olur: : \Sigma_{ij} = \mathrm{cov}(X_i, X_j) = \mathrm{E}\begin{bmatrix} (X_i - \mu_i)(X_j - \mu_j) \end{bmatrix} burada : \mu_i = \mathrm{E}(X_i)\, X vektöründeki iinci değişkenin beklenen değeri olur. Diğer bir deyişle, elimizde şu vardır: : \Sigma = \begin{bmatrix} \mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\\ \\\ \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\\ \\\ \vdots & \vdots & \ddots & \vdots \\\ \\\ \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)] \end{bmatrix}. Bu matrisin tersi' olan matris, yani \Sigma^{-1}, ters kovaryans matrisi ya da konsantrasyon matrisi veya kesinlik matrisi olarak anılır.Wasserman, Larry (2004), All of Statistics: A Concise Course in Statistical Inference Bu "ters kovaryans matrisi"nın elemanları kısmî korelasyonlar veya kısmî varyanslara yapılan atıflarla açıklanabilirler. Kulanılan notasyonlarda ve isimlendirmede çatışmalar: İstatistik literatüründe bu kavram için isimlendirme tek-örnek olarak degil, değişik şekillerde yapılmaktadır: * Amerikan olasılık teoricisi William Feller'in takipcileri bu matrise X rassal vektörünün Varyans matrisi adını verirler, çünkü bu tek-boyutlu varyans kavramının doğal olarak daha yüksek boyutlarda genelleştirilmesidir. * Diğerleri bu matris covaryans matris olarak isimlendirirler, cunku bu X matrisinin skaler parcalarinin arasinda olan kovaryanslarin matrisidir. Böylece : \operatorname{var}(\textbf{X}) = \operatorname{cov}(\textbf{X}) = \mathrm{E} \left[ (\textbf{X} - \mathrm{E} [\textbf{X}]) (\textbf{X} - \mathrm{E} [\textbf{X}])^\top \right]. Ama iki vektör arasındaki karşılıklı-kovaryans için notasyon sadece tek bir standarta uyar: : \operatorname{cov}(\textbf{X},\textbf{Y}) = \mathrm{E} \left[ (\textbf{X} - \mathrm{E}[\textbf{X}]) (\textbf{Y} - \mathrm{E}[\textbf{Y}])^\top \right]. Özel var notasyonu William Feller'in An Introduction to Probability Theory and Its Applications, adlı eserinde kullanılır, ama her iki alternatif notasyon da standart olarak kullanılmaktadır, bu iki değişik başta açılanıp öğrenilmekte ve anlayıp kullananlar için bir anlam karışıklığına neden olmamaktadır. \Sigma matrisi ise çok zaman varyans-kovaryans matris olarak anılır, çünkü bu matrisin diagonal elemanları varyanslardır. Özellikleri: X p-boyutlu bir rassal degisken ve Y q-boyutlu bir rassal degisken için \Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right] ve \mu = \mathrm{E}(\textbf{X}), olarak verilmisse, su temel ozellikler bulunmaktadır: # \Sigma = \mathrm{E}(\mathbf{X X^\top}) - \mathbf{\mu}\mathbf{\mu^\top} # \Sigma \, bir positif semi-definit matrisdir. # \operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A}\, \operatorname{var}(\mathbf{X})\, \mathbf{A^\top} # \operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^\top # \operatorname{cov}(\mathbf{X}_1 + \mathbf{X}_2,\mathbf{Y}) = \operatorname{cov}(\mathbf{X}_1,\mathbf{Y}) + \operatorname{cov}(\mathbf{X}_2, \mathbf{Y}) # Eger p = q, ise o zaman \operatorname{var}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y}) # \operatorname{cov}(\mathbf{AX}, \mathbf{B}^\top\mathbf{Y}) = \mathbf{A}\, \operatorname{cov}(\mathbf{X}, \mathbf{Y}) \,\mathbf{B} # Eğer \mathbf{X} ve \mathbf{Y} birbirlerinden bağımsız iseler, o halde \operatorname{cov}(\mathbf{X}, \mathbf{Y}) = 0 burada \mathbf{X}, \mathbf{X}_1 ve \mathbf{X}_2 rassal p×1 derecede vektör, \mathbf{Y} rassal q×1 derecede vektör, \mathbf{a} ise q×1 derecede vektör, \mathbf{A} ve \mathbf{B} (q×p) dereceli matrislerdir. Bu kovaryans matrisi değişik alanlarda uygulamaları bulunan bir matematik araçtır. Bu matrisden bir transformayon matrisi çıkartılabilir ve bu veride bulunan bütün korelasyonların elimine edilebilmesini mümkun kılar. Bu transformasyon matrisi bularak tüm korelasyonları elimine etme analizine temel bileşenler ("principal components) analizi adı verilir.