Desigualtat de Cramér-Rao

En estadística, el llindar de Cramér-Rao (abreujada CRB per les seves sigles de l'anglès) o llindar inferior de Cramér-Rao (CRLB), anomenat així en honor de Harald Cramér i Calyampudi Radhakrishna Rao, expressa una cota inferior per a la variància d'un estimador no esbiaixat, basat en la informació de Fisher.[1][2][3]

Estableix que la inversa multiplicativa de la informació de Fisher d'un paràmetre θ {\displaystyle \theta } , I ( θ ) {\displaystyle {\mathcal {I}}(\theta )} , és una cota inferior per a la variància d'un estimador no esbiaixat del paràmetre (denotat mitjançant θ ^ {\displaystyle {\widehat {\theta }}} ). f {\displaystyle f} és la funció de versemblança.

v a r ( θ ^ ) ≥ 1 I ( θ ) = 1 E [ [ ∂ ∂ θ log ⁡ f ( X ; θ ) ] 2 ] {\displaystyle \mathrm {var} \left({\widehat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}(\theta )}}={\frac {1}{\mathrm {E} \left[\left[{\frac {\partial }{\partial \theta }}\log f(X;\theta )\right]^{2}\right]}}}

En alguns casos, no existeix un estimador no esbiaixats que pugui aconseguir aquest llindar inferior.

A aquesta cota la hi coneix també com la desigualtat de Cramér-Rao o com la desigualtat d'informació.

Condicions de regularitat

La cota depèn de dues condicions de regularitat febles de la funció de densitat de probabilitat, f ( x ; θ ) {\displaystyle f(x;\theta )} , i de l'estimador : T ( X ) {\displaystyle T(X)}

  • La informació de Fisher sempre està definida; en altres paraules, per a tot x {\displaystyle x} tal que f ( x ; θ ) > 0 {\displaystyle f(x;\theta )>0} ,
∂ ∂ θ ln ⁡ f ( x ; θ ) {\displaystyle {\frac {\partial }{\partial \theta }}\ln f(x;\theta )}
és finit.
  • Les operacions d'integració pel que fa a x i de diferenciació pel que fa a poden intercanviar-se en l'esperança de ; és a dir, θ {\displaystyle \theta } T {\displaystyle T}
∂ ∂ θ [ ∫ T ( x ) f ( x ; θ ) d x ] = ∫ T ( x ) [ ∂ ∂ θ f ( x ; θ ) ] d x {\displaystyle {\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx}
sempre que el membre dret de l'equació sigui finit.

En alguns casos, un estimador esbiaixat pot tenir tant variància com a error quadràtic mig per sota de la cota inferior de Cramér-Rao (la cota inferior s'aplica solament a estimadors no esbiaixats).

Si s'estén la segona condició de regularitat a la segona derivada, llavors es pot usar una forma alternativa de la informació de Fisher per obtenir una nova desigualtat de Cramér-Rao

v a r ( θ ^ ) ≥ 1 I ( θ ) = 1 − E [ d 2 d θ 2 log ⁡ f ( X ; θ ) ] {\displaystyle \mathrm {var} \left({\widehat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}(\theta )}}={\frac {1}{-\mathrm {E} \left[{\frac {d^{2}}{d\theta ^{2}}}\log f(X;\theta )\right]}}}

En alguns casos pot resultar més senzill prendre l'esperança pel que fa a la segona derivada que prendre-la respecte del quadrat de la primera derivada.

Exemple

Distribució normal multivariada

Pel cas d'una sistribució normal multivariant de dimensió d

x ∼ N d ( μ ( θ ) , C ( θ ) ) {\displaystyle {\boldsymbol {x}}\sim N_{d}\left({\boldsymbol {\mu }}\left({\boldsymbol {\theta }}\right),C\left({\boldsymbol {\theta }}\right)\right)}

amb la funció de densitat de probabilitat


f ( x ; θ ) = 1 ( 2 π ) d | C | exp ⁡ ( − 1 2 ( x − μ ) T C − 1 ( x − μ ) ) , {\displaystyle f\left({\boldsymbol {x}};{\boldsymbol {\theta }}\right)={\frac {1}{\sqrt {(2\pi )^{d}\left|C\right|}}}\exp \left(-{\frac {1}{2}}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)^{T}C^{-1}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)\right),}

la matriu d'informació de Fisher té les entrades

I m , k = ∂ μ T ∂ θ m C − 1 ∂ μ ∂ θ k + 1 2 t r ( C − 1 ∂ C ∂ θ m C − 1 ∂ C ∂ θ k ) {\displaystyle {\mathcal {I}}_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}C^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\mathrm {tr} \left(C^{-1}{\frac {\partial C}{\partial \theta _{m}}}C^{-1}{\frac {\partial C}{\partial \theta _{k}}}\right)}

on t r {\displaystyle tr} és la traça de la matriu.

En particular, si w [ n ] {\displaystyle w[n]} és soroll blanc gaussià (una mostra d' N {\displaystyle N} observacions independents) amb variança coneguda σ 2 {\displaystyle \sigma ^{2}} , és a dir,

w [ n ] ∼ N N ( μ ( θ ) , σ 2 I ) , {\displaystyle w[n]\sim \mathbb {N} _{N}\left({\boldsymbol {\mu }}(\theta ),\sigma ^{2}{\mathcal {I}}\right),}

i θ {\displaystyle \theta } és un escalar, aleshores la matriu d'informació de Fisher és de dimensió 1 × 1

I ( θ ) = ( ∂ μ ( θ ) ∂ θ m ) T C − 1 ( ∂ μ ( θ ) ∂ θ k ) = ∑ i = 0 N 1 σ 2 = N σ 2 , {\displaystyle {\mathcal {I}}(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{m}}}\right)^{T}C^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{k}}}\right)=\sum _{i=0}^{N}{\frac {1}{\sigma ^{2}}}={\frac {N}{\sigma ^{2}}},}

i per tant el llindar de Cramér-Rao és

v a r ( θ ) ≥ σ 2 N . {\displaystyle \mathrm {var} \left(\theta \right)\geq {\frac {\sigma ^{2}}{N}}.}

Referències

  1. ↑ Cramér, Harald. Mathematical Methods of Statistics. Princeton Univ. Press, 1946. ISBN 0-691-08004-6. OCLC 185436716. 
  2. ↑ Rao, Calyampudi Radakrishna «Information and the accuracy attainable in the estimation of statistical parameters». Bulletin of the Calcutta Mathematical Society, 37, 1945, pàg. 81–89.
  3. ↑ Rao, Calyampudi Radakrishna. S. Das Gupta. Selected Papers of C. R. Rao. Wiley, 1994. ISBN 978-0-470-22091-7. OCLC 174244259. 

Bibliografia

  • Kay, Steven M. Statistical Signal Processing, Volume I: Estimation Theory. Prentice Hall, 1993, p. ch. 3. ISBN 0-13-345711-7. 

Enllaços externs

  • FandPLimitTool Arxivat 2012-12-15 at Archive.is un programa que calcula la informació de Fisher i el llindar inferior de Cramér-Rao en l'aplicació específica de la macroscòpica d'una única molècula.