误差平均2乗误差ー制御...

《误差平均2乗误差ー制御...》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、バイアス誤差と平均2乗誤差のトレードオフを制御できるエントロピー推定量志賀元紀†横田康成‡†岐阜大学工学研究科‡岐阜大学工学部スパイク信号感覚神経から脳への情報伝達離散信号（記号）S.P.Strong,etc.,“EntropyandInformationinNeuralSpikeTrains,”Phys.Rev.Lett.,1998.外界情報は、離散的な信号に符号化（コーディング）される。独立生起情報源のエントロピー推定精度問題情報量はどれだけか？基本的なエントロピー推定法推定精度が高くない一般的推定量１．記号の生起確率を推定する．相対頻度２．定義式に代入する．独立生起情報源記号｛a1，

2、．．．，aM｝・・・a2a3a1a3a2a2a1標本（記号列）（記号aiの生起個数）記号aiの生起確率標本数Nエントロピー？エントロピー推定量の推定精度に関する研究■バイアス誤差横田康成，``バイアス誤差を改善するエントロピーの推定量，‘’信学論(D-II)，vol.J86--D--II，no.1，pp.140--149，2003.・バイアス誤差の近似的な導出・バイアス誤差を抑制するエントロピー推定量の提案・平均2乗誤差を最小にするエントロピー推定量の提案横田康成，志賀元紀，``平均2乗誤差を改善するエントロピー推定量，''信学論(A)，vol.J86--A，no.9，pp.936--94

3、4，2003.■平均2乗誤差両方を改善する推定量は存在するか？バイアス誤差と平均2乗誤差バイアス誤差の2乗平均平均2乗誤差一般的推定量バイアス誤差抑制推定量最小２乗推定量平均２乗誤差の下界最適点（種類数M=10，標本数N=100の場合）限界線はどこ？バイアス誤差と平均2乗誤差バイアス誤差の2乗平均平均2乗誤差一般的推定量バイアス誤差抑制推定量最小２乗推定量ミニマックス推定量平均２乗誤差の下界最適点（種類数M=10，標本数N=100の場合）バイアス誤差と平均2乗誤差バイアス誤差の2乗平均平均2乗誤差平均２乗誤差の下界最適点種類数M=10，標本数N=100バイアス誤差をβ以下に抑えた下でβ平均

4、２乗誤差を最小化！ラグランジュの未定乗数法連立方程式の未知変数O(NM-1)連立方程式を解くことは，非常に困難！制約付き誤差を最小にする推定量制約付き誤差：平均2乗誤差：バイアス誤差の2乗平均任意の定数ラグランジュの未定乗数１．をで偏微分して，ゼロとおく．エントロピー推定量は，M変数関数２．　　　　　は，連立方程式の解となる．エントロピー推定量を，あるクラスに限定する．エントロピー推定量のクラス１変数関数の和で表現できるクラスを仮定する．全ての従来法は，このクラスに含まれる．☆一般的推定量☆平均2乗誤差を最小にする推定量☆バイアス誤差を抑制する推定量制約付き誤差を最小にする推定量式中の係数

5、１．以下の連立方程式を解く２．解f(n)を次式に代入する．により，バイアス誤差と平均２乗誤差のトレードオフを制御できるバイアス誤差と平均2乗誤差バイアス誤差の2乗平均平均2乗誤差一般的推定量バイアス誤差抑制推定量最小２乗推定量ミニマックス推定量（種類数M=10，標本数N=100の場合）バイアス誤差と平均2乗誤差バイアス誤差の2乗平均平均2乗誤差提案法一般的推定量バイアス誤差抑制推定量最小２乗推定量ミニマックス推定量（種類数M=10，標本数N=100の場合）バイアス誤差と平均2乗誤差バイアス誤差の2乗平均平均2乗誤差提案法マルコフ情報源のエントロピー・・・01110010110L重マルコフ情

6、報源マルコフ情報源のエントロピーa(t-L-1)独立a(t)a(t-L)依存時刻t時刻t-Lマルコフ情報源のエントロピー・・・01110010110L+1語をまとめて1語L重マルコフ情報源マルコフ情報源のエントロピー発表のまとめ・任意のエントロピー推定量のバイアス誤差と平均2乗誤差は，トレードオフに制約されることを示しました．・１変数関数の和で表されるエントロピー推定量のクラスを考えた．このクラスには，従来の全てのエントロピー推定量が含まれる．・このクラスの中で，バイアス誤差と平均2乗誤差のトレードオフを最適に制御できるエントロピー推定量を提案した．★最適な推定量は，1変数関数の和で表現で

7、きるか？M個の１変数関数の和M変数関数エントロピー推定量の推定誤差1変数関数の和が成り立つとき，バイアス誤差の2乗平均平均2乗誤差式中の係数