Matriu de covariància

En estadística i teoria de la probabilitat, la matriu de covariància és una matriu que conté la covariància entre els elements d'un vector. És la generalització natural a dimensions superiors del concepte de variància d'una variable aleatòria escalar.^[1]

Definició

Si les entrades del vector-columna

${\displaystyle X={\begin{bmatrix}X_{1}\\\vdots \\X_{n}\end{bmatrix}}}$

són variables aleatòries, cadascuna amb variància finita, llavors la matriu de covariància Σ és la matriu l'entrada ( i , j ) és la covariància

${\displaystyle \Sigma _{ij}=\mathrm {I} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{j}-\mu _{j})\end{bmatrix}}}$

on

${\displaystyle \mathrm {M} _{i}=\mathrm {I} (X_{i})\,}$

és el valor esperat de l'entrada i -èsima del vector X . En altres paraules, tenim

${\displaystyle \Sigma ={\begin{bmatrix}\mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}}.}$

Com una generalització de la variància

L'anterior definició és equivalent a la igualtat matricial

${\displaystyle \Sigma =\mathrm {I} \left[\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)^{\top }\right]}$

Per tant, s'entén que això generalitza a majors dimensions el concepte de variància d'una variable aleatòria escalar X , definida com

${\displaystyle \Sigma ^{2}=\mathrm {var} (X)=\mathrm {I} [(X-\mu )^{2}],\,}$

on

${\displaystyle \mathrm {M} =\mathrm {I} (X).\,}$

Propietats

Per ${\displaystyle \Sigma =\mathrm {I} \left[\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)^{\top }\right]}$ i ${\displaystyle \mu =\mathrm {I} ({\textbf {X}})}$, les següents propietats fonamentals es demostren correctes:

1. ${\displaystyle \Sigma =\mathrm {I} (\mathbf {XX^{\top }} )-\mathbf {\mu } \mathbf {\mu ^{\top }} }$

1. ${\displaystyle \mathbf {\Sigma } }$ és semidefinida positiva

1. ${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A^{\top }} }$

1. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {I} )=\operatorname {cov} (\mathbf {I} ,\mathbf {X} )^{\top }}$

1. ${\displaystyle \operatorname {cov} (\mathbf {X_{1}} +\mathbf {x_{2}} ,\mathbf {I} )=\operatorname {cov} (\mathbf {X_{1}} ,\mathbf {I} )+\operatorname {cov} (\mathbf {x_{2}} ,\mathbf {I} )}$

1. Si els vectors ${\displaystyle \mathbf {X} }$ i ${\displaystyle \mathbf {I} }$ són d'igual dimensió, llavors ${\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {I} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {I} )+\operatorname {cov} (\mathbf {I} ,\mathbf {X} )+\operatorname {var} (\mathbf {I} )}$

1. ${\displaystyle \operatorname {cov} (\mathbf {AX} ,\mathbf {BY} )=\mathbf {A} \,\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\,\mathbf {B} ^{\top }}$

1. Si ${\displaystyle \mathbf {X} }$ i ${\displaystyle \mathbf {I} }$ són independents, llavors ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {I} )=0}$

on ${\displaystyle \mathbf {X} ,\mathbf {X_{1}} }$ i ${\displaystyle \mathbf {x_{2}} }$ són vectors aleatoris de dimensió ${\displaystyle \mathbf {(p\times 1)} }$, ${\displaystyle \mathbf {I} }$ és un vector aleatori ${\displaystyle \mathbf {(q\times 1)} }$, ${\displaystyle \mathbf {a} }$ és ${\displaystyle \mathbf {(p\times 1)} }$, ${\displaystyle \mathbf {A} }$ i ${\displaystyle \mathbf {B} }$ són matrius de ${\displaystyle \mathbf {(p\times q)} }$.

La matriu de covariància (encara que molt simple) és una eina molt útil en diversos camps. A partir d'ella es pot derivar una transformació lineal que pot de-correlacionar les dades o, des d'un altre punt de vista, trobar una base òptima per representar les dades de forma òptima (vegeu quocient de Rayleigh per la prova formal i altres propietats de les matrius de covariància). Això es diu anàlisi del component principal (PCA per les seves sigles en anglès) en estadística, i transformada de Karhunen-Loev a processament de la imatge.

Bibliografia addicional

• Covariance Matrix a MathWorld
• Van Kampen, N. G. Teoria processes in physics and chemistry . New York: North-Holland, 1981.

Nota