これまで、モデルを表現するための要素である「確率分布の形」（確率密度関数）が分かっているものとして考えてきた。確率分布の形が分からないケースを考えてみる。 （現実世界で推定しようとする対象は、こっちの方が多いと思われる）以前、多変量混合正規…

前回、多変量混合正規分布のパラメータ推定について書いたが、（混合分布ではない）多変量正規分布のパラメータ推定についても書いておく。変量の数は「2」、「変量x」と「変量y」で表されるとすると、2変量正規分布の確率密度関数は 2変量正規分布の確率密…

「RとS-PLUSによる多変量解析」という本を読んだ時のメモ。以下、重回帰分析に関するくだりを引用。 書籍では、二行目は「この手法は、従属変数と複数の説明変数の間の関係を探るために使われる」という記載であるが、「従属変数」を「目的変数」に書き換え…

前回の多変量混合正規分布の続き。 パラメータ推定に関するメモ。変量の数は「2」、「変量x」と「変量y」で表されるとし、混合数をKとおくと、2変量混合正規分布の確率密度関数は 2変量混合正規分布の確率密度関数 ここで、 観測データがN個であるとき、対数…

前回の多変量正規分布の続き。 「多変量混合正規分布」について見てみる。変量の数は「2」、「変量x」と「変量y」で表されるとし、混合数をKとおくと、2変量混合正規分布の確率密度関数は 混合パラメータ 2変量混合正規分布の確率密度関数 ここで、∑は「変量…

前回は2変量に相関がないケースを見たが、今回は相関があるケースを見てみる。各変量の平均と分散は前回と同じ。相関係数だけ変えてみる。 変量x : 平均「1」、分散「2」の正規分布に従う 変量y : 平均「3」、分散「4」の正規分布に従う 変量x と 変量y には…

多変量混合正規分布のパラメータ推定に入る前に、どのようなモデルを扱おうとしているのか整理しておく。以下の視点で考えた時、 変量が「１」or「多」 「混合分布である」or「混合分布ではない」 以下の4パターンに分類される。 (1変量)正規分布 (1変量)混…