前回の続き。論文とセットで見ていく。パラメータ更新の過程でやっていることは「Natural Gradient for Stochastic Gradient Descent (NG-SGD)」と名前が付いている。用語のおさらい。 「Stochastic Gradient Descent」（確率的勾配降下法）は、シャッフルし…

DNN（Deep Neural Network）を学んでいると、擬似逆行列の算出や低ランク近似などで固有値の概念に出くわす。 固有値分解に関するメモ。以下のサイトを参考にさせていただいた。 http://eman-physics.net/math/linear09.html変換に使う行列Aは参考サイトと同…