混合分布を使うことで、より柔軟に分布をモデル化できる。例えば、ピークが2つあるような分布。 これは以下２つの分布を混合したもの。 分布1 : 正規分布N(2, 5)、混合比「0.6」 分布2 : 正規分布N(10, 5)、混合比「0.4」この混合分布は音声認識において使わ…

前回の続き。「ニュートン・ラフソン法」を使って、2変数パラメータの最尤推定値を求めてみる。 以下のサイトを参考にさせていただいた。 http://www012.upp.so-net.ne.jp/doi/sas/numerical/Newton_Raphson/Newton_Raphson.pdf正規分布の対数尤度関数を再掲…

MathJax.Hub.Config({ displayAlign: "left", displayIndent: "2em" }); 今、手元にn個の観測値（標本）が得られているとする。統計モデルとして表現するには、 観測値が従うであろう確率分布（確率密度関数）の形 確率密度関数のパラメータ が必要となる。1…

最適化を考える時、どの方向に向かって修正していくかを決める必要がある。扱う対象が関数化できるなら、その最大値（あるいは最小値）を求める問題に帰着するので、関数の凸性が大事な概念になってくる。今回は２変数関数を対象に、２階偏微分であるヘッセ…

特異値分解を使った「行列の低ランク近似」に関するメモ。まずは、視覚的に確認しやすい画像データで試してみる。高さ200px、幅320px、インデックスカラーのRAWデータを用意する。 1pxを1バイトで表現、0〜255の範囲の値をとる200行 x 320列の行列ができる。…

前回の続き。論文とセットで見ていく。パラメータ更新の過程でやっていることは「Natural Gradient for Stochastic Gradient Descent (NG-SGD)」と名前が付いている。用語のおさらい。 「Stochastic Gradient Descent」（確率的勾配降下法）は、シャッフルし…

DNN（Deep Neural Network）を学んでいると、擬似逆行列の算出や低ランク近似などで固有値の概念に出くわす。 固有値分解に関するメモ。以下のサイトを参考にさせていただいた。 http://eman-physics.net/math/linear09.html変換に使う行列Aは参考サイトと同…