Mittlere quadratische Fehler
In der Statistik ist der mittlere quadratische Fehler eines Schätzers eines Parameters der Dimension 1 ( mittlerer quadratischer Fehler ( ), auf Englisch) ein Maß, das die "Genauigkeit" dieses Schätzers kennzeichnet. Es wird häufiger als "quadratischer Fehler" bezeichnet ("Mittelwert" wird impliziert); es wird manchmal auch als "quadratisches Risiko" bezeichnet.
θ^{\ displaystyle {\ hat {\ theta}}}θ{\ displaystyle \ theta}MSE{\ displaystyle \ operatorname {MSE}}
Der quadratische Mittelwertfehler wird definiert durch:
Definition - MSE((θ^)=defE.[((θ^- -θ)2]]{\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}}) \, {\ overset {\ text {def}} {=}} \, \ mathbb {E} \ left [({\ hat {\ Theta}} - \ Theta) ^ {2} \ right]}
Eigenschaften
Ausdruck
Wir können den mittleren quadratischen Fehler als Funktion der Vorspannung und der Varianz des Schätzers ausdrücken :
Satz - MSE((θ^)=Vorspannen((θ^)2+Var((θ^){\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}}) = \ operatorname {Bias} ({\ hat {\ theta}}) ^ {2} + \ operatorname {Var} ({\ hat {\ Theta}})}
Demonstration
Erinnern Sie sich zunächst daran, dass und Konstanten sind, die die Verwendung der Linearität der Erwartung ermöglichen : .
Vorspannen((θ^)=defE.((θ^)- -θ{\ displaystyle \ operatorname {Bias} ({\ hat {\ theta}}) \, {\ overset {\ text {def}} {=}} \, \ mathbb {E} ({\ hat {\ theta}} ) - \ theta}E.((θ^){\ displaystyle \ mathbb {E} ({\ hat {\ theta}})}E.((vs.1X.+vs.2)=vs.1E.((X.)+vs.2{\ displaystyle \ mathbb {E} (c_ {1} X + c_ {2}) = c_ {1} \ mathbb {E} (X) + c_ {2}}
MSE((θ^)=defE.[((θ^- -θ)2]]=E.[((θ^- -E.((θ^)+Vorspannen((θ^))2]]=E.[((θ^- -E.((θ^))2+2((θ^- -E.((θ^))Vorspannen((θ^)+Vorspannen((θ^)2]]=E.[((θ^- -E.((θ^))2]]+2E.((θ^- -E.((θ^))Vorspannen((θ^)+Vorspannen((θ^)2=Var((θ^)+2((E.((θ^)- -E.((θ^))Vorspannen((θ^)+Vorspannen((θ^)2=Var((θ^)+Vorspannen((θ^)2{\ displaystyle {\ begin {align} \ operatorname {MSE} ({\ hat {\ theta}}) \, {\ overset {\ text {def}} {=}} \, \ mathbb {E} \ left [ ({\ hat {\ theta}} - \ theta) ^ {2} \ right] & = \ mathbb {E} \ left [\ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) + \ operatorname {Bias} ({\ hat {\ theta}}) \ right) ^ {2} \ right] \\ & = \ mathbb {E} \ left [\ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) \ right) ^ {2} +2 \ left ({\ hat {\ theta}} - \ mathbb {E} ({ \ hat {\ theta}}) \ right) \ operatorname {Bias} ({\ hat {\ theta}}) + \ operatorname {Bias} ({\ hat {\ theta}}) ^ {2} \ right] \ \ & = \ mathbb {E} \ left [\ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) \ right) ^ {2} \ right] +2 \ mathbb {E} \ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) \ right) \ operatorname {Bias} ({\ hat {\ theta}}) + \ operatorname {Bias} ({\ hat {\ theta}}) ^ {2} \\ & = \ operatorname {Var} ({\ hat {\ theta}}) + 2 \ left (\ mathbb {E} ( {\ hat {\ theta}}) - \ mathbb {E} ({\ hat {\ theta}}) \ right) \ operatorname {Bias} ({\ hat {\ theta}}) + \ operatorname {Bias} ( {\ hat {\ theta}}) ^ {2} \\ & = \ operatorname { Var} ({\ hat {\ theta}}) + \ operatorname {Bias} ({\ hat {\ theta}}) ^ {2} \ end {align}}}
Schild
Corollary - Die Varianz ist immer positiv oder Null , .
MSE((θ^)≥0{\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}}) \ geq 0}
Minimierung
Satz - Betrachten Sie einen unverzerrten Schätzer des Parameters , so dass (wenn der quadratische Mittelwertfehler Null ist, ist er bereits minimal, siehe Abschnitt "Vorzeichen" oben).
θ¯{\ displaystyle {\ bar {\ theta}}}θ{\ displaystyle \ theta}MSE((θ¯)>0{\ displaystyle \ operatorname {MSE} ({\ bar {\ theta}})> 0}
Unter allen Schätzern, die proportional zu sind , ist der quadratische mittlere Fehler für den Schätzer minimal .
θ¯{\ displaystyle {\ bar {\ theta}}}θˇ=defθ2θ2+MSE((θ¯)θ¯{\ displaystyle {\ check {\ theta}} \, {\ overset {\ text {def}} {=}} \, {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}} {\ bar {\ theta}}}
Dieser minimale mittlere quadratische Fehler ist gültig .
MSE((θˇ)=θ2MSE((θ¯)θ2+MSE((θ¯){\ displaystyle \ operatorname {MSE} ({\ check {\ theta}}) = {\ frac {\ theta ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})} {\ theta ^ { 2} + \ operatorname {MSE} ({\ bar {\ theta}})}}
Demonstration
Per Definition des unverzerrten Schätzers, daher .
E.((θ¯)=θ{\ displaystyle \ mathbb {E} ({\ bar {\ theta}}) = \ theta}Var((θ¯)=MSE((θ¯){\ displaystyle \ operatorname {Var} ({\ bar {\ theta}}) = \ operatorname {MSE} ({\ bar {\ theta}})}
Lassen Sie deshalb:
θ^α=αθ¯{\ displaystyle {\ hat {\ theta}} _ {\ alpha} = \ alpha {\ bar {\ theta}}}
- durch Linearität des Erwartungs , ;E.((θ^α)=E.((αθ¯)=αE.((θ¯)=αθ{\ displaystyle \ mathbb {E} ({\ hat {\ theta}} _ {\ alpha}) = \ mathbb {E} (\ alpha {\ bar {\ theta}}) = \ alpha \ mathbb {E} ( {\ bar {\ theta}}) = \ alpha \ theta}
- durch Varianzhomogenität , ;Var((θ^α)=Var((αθ¯)=α2Var((θ¯)=α2MSE((θ¯){\ displaystyle \ operatorname {Var} ({\ hat {\ theta}} _ {\ alpha}) = \ operatorname {Var} (\ alpha {\ bar {\ theta}}) = \ alpha ^ {2} \ operatorname {Var} ({\ bar {\ theta}}) = \ alpha ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})}
von wo .
MSE((θ^α)=((αθ- -θ)2+α2MSE((θ¯)=((α- -1)2θ2+α2MSE((θ¯){\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}} _ {\ alpha}) = (\ alpha \ theta - \ theta) ^ {2} + \ alpha ^ {2} \ operatorname {MSE} ( {\ bar {\ theta}}) = (\ alpha -1) ^ {2} \ theta ^ {2} + \ alpha ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})}
Indem wir in Bezug auf treiben , finden wir .
α{\ displaystyle \ alpha}MSE'((θ^α)=2((α- -1)θ2+2αMSE((θ¯)=2((θ2+MSE((θ¯))α- -2θ2{\ displaystyle \ operatorname {MSE} '({\ hat {\ theta}} _ {\ alpha}) = 2 (\ alpha -1) \ theta ^ {2} +2 \ alpha \ operatorname {MSE} ({\ bar {\ theta}}) = 2 \ left (\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}}) \ right) \ alpha -2 \ theta ^ {2}}
Wie angenommen wurde , ist diese Ableitung eine lineare Funktion des Direktivkoeffizienten, die streng positiv ist, also aufhebt , streng negativ ist und positiv ist , also minimal ist .
MSE((θ¯)>0{\ displaystyle \ operatorname {MSE} ({\ bar {\ theta}})> 0}α0=θ2θ2+MSE((θ¯){\ displaystyle \ alpha _ {0} = {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}}α<α0{\ displaystyle \ alpha <\ alpha _ {0}}α>α0{\ displaystyle \ alpha> \ alpha _ {0}}α0{\ displaystyle \ alpha _ {0}}MSE((θ^α){\ displaystyle \ operatorname {MSE} ({\ hat {\ theta}} _ {\ alpha})}
Der mittlere quadratische Fehler ist daher minimal für .
θ^α0=θ2θ2+MSE((θ¯)θ¯=defθˇ{\ displaystyle {\ hat {\ theta}} _ {\ alpha _ {0}} = {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar { \ theta}})}} {\ bar {\ theta}} \, {\ overset {\ text {def}} {=}} \, {\ check {\ theta}}}Dieses Minimum ist wert:
MSE((θˇ)=MSE((θ^α0)=((α0- -1)2θ2+α02MSE((θ¯)=((- -MSE((θ¯)θ2+MSE((θ¯))2θ2+((θ2θ2+MSE((θ¯))2MSE((θ¯)=θ2MSE((θ¯)2+θ4MSE((θ¯)((θ2+MSE((θ¯))2=((θ2MSE((θ¯))((MSE((θ¯)+θ2)((θ2+MSE((θ¯))2=θ2MSE((θ¯)θ2+MSE((θ¯){\ displaystyle {\ begin {align} \ operatorname {MSE} ({\ check {\ theta}}) & = \ operatorname {MSE} ({\ hat {\ theta}} _ {\ alpha _ {0}}) \\ & = (\ alpha _ {0} -1) ^ {2} \ theta ^ {2} + \ alpha _ {0} ^ {2} \ operatorname {MSE} ({\ bar {\ theta}}) \\ & = \ left (- {\ frac {\ operatorname {MSE} ({\ bar {\ theta}})} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}} )}} \ right) ^ {2} \ theta ^ {2} + \ left ({\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}} \ right) ^ {2} \ operatorname {MSE} ({\ bar {\ theta}}) \\ & = {\ frac {\ theta ^ {2} \ operatorname {MSE} ({\ bar {\ theta}}) ^ {2} + \ theta ^ {4} \ operatorname {MSE} ({\ bar {\ theta}})} {\ left (\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}}) \ right) ^ {2}}} \\ & = {\ frac {\ left (\ theta ^ {2} \ operatorname {MSE} ({\ bar {\ theta}} ) \ right) \ left (\ operatorname {MSE} ({\ bar {\ theta}}) + \ theta ^ {2} \ right)} {\ left (\ theta ^ {2} + \ operatorname {MSE} ( {\ bar {\ theta}}) \ right) ^ {2}}} \\ & = {\ frac {\ theta ^ {2} \ operatorname {MSE} ({\ bar {\ theta}})} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}} \ end {align}}}
Hinweis: Da der Wert von Natur aus unbekannt ist (andernfalls würden wir keinen Schätzer suchen), ist diese Formel nur dann von praktischem Interesse, wenn sich der Koeffizient zu einer unabhängigen Konstante vereinfacht , dh genau dann, wenn er proportional zu (ist) siehe Beispiel unten).
θ{\ displaystyle \ theta}θ2θ2+MSE((θ¯){\ displaystyle {\ tfrac {\ theta ^ {2}} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}})}}θ{\ displaystyle \ theta}MSE((θ¯){\ displaystyle \ operatorname {MSE} ({\ bar {\ theta}})}θ2{\ displaystyle \ theta ^ {2}}
Nützlichkeit
Vergleich der Schätzer
Wenn die beiden zu vergleichenden Schätzer unverzerrt sind, ist der effizientere Schätzer einfach derjenige mit der geringsten Varianz. Wenn ein Schätzer sowohl eine größere Abweichung (im absoluten Wert) als auch eine größere Varianz als ein anderer Schätzer aufweist, ist letzterer offensichtlich besser.
Wenn ein Schätzer jedoch eine größere Abweichung (im absoluten Wert), aber eine geringere Varianz aufweist, ist der Vergleich nicht mehr unmittelbar: Der mittlere quadratische Fehler ermöglicht dann eine Entscheidung.
Beispiel:
Vergleichen wir die beiden häufigsten Varianzschätzer:
snicht- -12=def1nicht- -1∑ich=1nicht((yich- -y¯)2{\ displaystyle s_ {n-1} ^ {2} \, {\ overset {\ text {def}} {=}} \, {\ frac {1} {n-1}} \ sum _ {i = 1 } ^ {n} \ left (y_ {i} - {\ overline {y}} \ right) ^ {2}} und
snicht2=def1nicht∑ich=1nicht((yich- -y¯)2=nicht- -1nichtsnicht- -12{\ displaystyle s_ {n} ^ {2} \, {\ overset {\ text {def}} {=}} \, {\ frac {1} {n}} \ sum _ {i = 1} ^ {n } \ left (y_ {i} - {\ overline {y}} \ right) ^ {2} = {\ frac {n-1} {n}} s_ {n-1} ^ {2}}
Für ein Unentschieden mit Ersatz und ein Wahrscheinlichkeitsgesetz, dessen normalisierte Kurtosis als Null angenommen wird ( z. B. das Normalgesetz ), zeigen die Berechnungen Folgendes (siehe Greene, Abschnitt C.5.1):
E.((snicht- -12)=σ2{\ displaystyle \ mathbb {E} (s_ {n-1} ^ {2}) = \ sigma ^ {2}}von wo ,
Vorspannen((snicht- -12)=0{\ displaystyle \ operatorname {Bias} (s_ {n-1} ^ {2}) = 0}
Var((snicht- -12)=2σ4nicht- -1{\ displaystyle \ operatorname {Var} (s_ {n-1} ^ {2}) = {\ frac {2 \ sigma ^ {4}} {n-1}}}von wo ;
MSE((snicht- -12)=2σ4nicht- -1{\ displaystyle \ operatorname {MSE} (s_ {n-1} ^ {2}) = {\ frac {2 \ sigma ^ {4}} {n-1}}}
E.((snicht2)=nicht- -1nichtE.((snicht- -12)=nicht- -1nichtσ2{\ displaystyle \ mathbb {E} (s_ {n} ^ {2}) = {\ frac {n-1} {n}} \ mathbb {E} (s_ {n-1} ^ {2}) = { \ frac {n-1} {n}} \ sigma ^ {2}}von wo ,
Vorspannen((snicht2)=- -σ2nicht{\ displaystyle \ operatorname {Bias} (s_ {n} ^ {2}) = - {\ frac {\ sigma ^ {2}} {n}}}
Var((snicht2)=((nicht- -1nicht)2Var((snicht- -12)=((nicht- -1nicht)22σ4nicht- -1=2((nicht- -1)σ4nicht2{\ displaystyle \ operatorname {Var} (s_ {n} ^ {2}) = \ left ({\ frac {n-1} {n}} \ right) ^ {2} \ operatorname {Var} (s_ {n -1} ^ {2}) = \ left ({\ frac {n-1} {n}} \ right) ^ {2} {\ frac {2 \ sigma ^ {4}} {n-1}} = {\ frac {2 (n-1) \ sigma ^ {4}} {n ^ {2}}}}von wo .
MSE((snicht2)=((2nicht- -1)σ4nicht2{\ displaystyle \ operatorname {MSE} (s_ {n} ^ {2}) = {\ frac {(2n-1) \ sigma ^ {4}} {n ^ {2}}}}
Der Schätzer ist unvoreingenommen, hat jedoch eine größere Varianz (geringere Effizienz) als der Schätzer .
snicht- -12{\ displaystyle s_ {n-1} ^ {2}}snicht2{\ displaystyle s_ {n} ^ {2}}
Der Vergleich der mittleren quadratischen Fehler ergibt:
MSE((snicht2)- -MSE((snicht- -12)=σ4((2nicht- -1nicht2- -2nicht- -1)=- -((3nicht- -1)σ4nicht2((nicht- -1)<0{\ displaystyle \ operatorname {MSE} (s_ {n} ^ {2}) - \ operatorname {MSE} (s_ {n-1} ^ {2}) = \ sigma ^ {4} \ left ({\ frac { 2n-1} {n ^ {2}}} - {\ frac {2} {n-1}} \ right) = - {\ frac {(3n-1) \ sigma ^ {4}} {n ^ { 2} (n-1)}} <0}Der voreingenommene Schätzer ist daher hinsichtlich des mittleren quadratischen Fehlers besser.
snicht2{\ displaystyle s_ {n} ^ {2}}
Im Fall einer Auslosung mit Ersetzung und einer Null-Kurtosis stellen wir durch Anwenden des oben angegebenen Minimierungssatzes auf den unverzerrten Schätzer fest , dass der Schätzer der Schätzer ist, der den mittleren quadratischen Fehler minimiert, wobei letzterer dann gültig ist .
snicht- -12{\ displaystyle s_ {n-1} ^ {2}}snicht+12=nichtnicht+1snicht2=nicht- -1nicht+1snicht- -12{\ displaystyle s_ {n + 1} ^ {2} = {\ frac {n} {n + 1}} s_ {n} ^ {2} = {\ frac {n-1} {n + 1}} s_ {n-1} ^ {2}}2σ4nicht+1{\ displaystyle {\ frac {2 \ sigma ^ {4}} {n + 1}}}
Konvergenz des Schätzers
Es ist möglich zu bestimmen, ob ein Schätzer in seiner Wahrscheinlichkeit aus seinem mittleren quadratischen Fehler konvergent ist. Wir haben tatsächlich:
Satz - [((limnicht→∞E.((θ^)=θetlimnicht→∞Var((θ^)=0)⇔limnicht→∞MSE((θ^)=0]]⇒θ^→pθ{\ displaystyle \ left [\ left (\ lim _ {n \ to \ infty} \ mathbb {E} ({\ hat {\ theta}}) = \ theta \ quad \ mathbf {und} \ quad \ lim _ { n \ to \ infty} \ operatorname {Var} ({\ hat {\ theta}}) = 0 \ right) \ Leftrightarrow \ lim _ {n \ to \ infty} \ operatorname {MSE} ({\ hat {\ theta }}) = 0 \ right] \ Rightarrow {\ hat {\ theta}} {\ xrightarrow {p}} \ theta}
Die Demonstration erfolgt auf der Seitenkonvergenz von Zufallsvariablen .
Verallgemeinerung
In einem allgemeineren Rahmen für ein multiparametrisches Modell, bei dem versucht wird, mehrere Parameter zu schätzen oder eine Funktion eines oder mehrerer Parameter zu schätzen , wird der mittlere quadratische Fehler für einen Schätzer von definiert durch:
f((θ){\ displaystyle f (\ theta)}δ{\ displaystyle \ delta}f((θ){\ displaystyle f (\ theta)}
Definition - E.[t((δ- -f((θ))BEIM((δ- -f((θ))]]{\ displaystyle \ mathbb {E} \ left [^ {t} (\ delta -f (\ theta)) A (\ delta -f (\ theta)) \ right]}
Dabei ist A eine positiv definierte symmetrische Matrix (die daher ein Punktprodukt definiert ).
Anmerkungen und Referenzen
Anmerkungen
-
Im Allgemeinen haben wir immer für die Probenahme mit Ersatz : .Var((snicht- -12)=((γ2nicht+2nicht- -1)σ4{\ displaystyle \ operatorname {Var} (s_ {n-1} ^ {2}) = \ left ({\ frac {\ gamma _ {2}} {n}} + {\ frac {2} {n-1 }} \ right) \ sigma ^ {4}}
Verweise
Siehe auch
Literaturverzeichnis
(en) William H. Greene , Ökonometrie , Paris, Pearson Education,2005, 5 th ed. 943 p. ( ISBN 978-2-7440-7097-6 ) , p. 2
Zum Thema passende Artikel
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">