ichou1のブログ

主に音声認識、時々、データ分析のことを書く

R

Kerasメモ(VAE)

変分オートエンコーダ(Variational Autoencoder)を使ったイメージ生成を試してみる。 (「RとKerasによるディープラーニング」) ソースコード Generating images モデル 6epochのトレーニングが終わった状態のdecoderからイメージを生成してみる。latent …

Kerasメモ(時系列データの学習サンプル生成)

(「RとKerasによるディープラーニング」)イエナ天候データセットから学習用の入力データを生成する部分のメモ。このデータセットは、10分ごとに、気温や気圧といった14種類の数値を記録したものになる。 (1時間で6サンプル、1日で144サンプル集まる)1時…

Kerasメモ(Embeddingレイヤ) その3

(「RとKerasによるディープラーニング」)書籍を読んでいて、コードの誤りと思われる部分があったのでメモしておく。 例6-11 GloVe 単語埋め込み行列の準備 embedding_dim <- 100 embedding_matrix <- array(0, c(max_words, embedding_dim)) for (word in …

Kerasメモ(テキストデータ操作)

(「RとKerasによるディープラーニング」より) 未加工のIMDBデータセットを学習用に準備する操作のメモ。データセットは、ラベル(pos : 好意的/ neg : 否定的)ごとのフォルダにレビュー記事が格納されている。aclImdb/train/pos : 12,500記事 aclImdb/tra…

確率分布の推定

これまで、モデルを表現するための要素である「確率分布の形」(確率密度関数)が分かっているものとして考えてきた。確率分布の形が分からないケースを考えてみる。 (現実世界で推定しようとする対象は、こっちの方が多いと思われる)以前、多変量混合正規…

パラメータ推定(多変量正規分布)

前回、多変量混合正規分布のパラメータ推定について書いたが、(混合分布ではない)多変量正規分布のパラメータ推定についても書いておく。変量の数は「2」、「変量x」と「変量y」で表されるとすると、2変量正規分布の確率密度関数は 2変量正規分布の確率密…

統計学における変量と変数の違い

R

「RとS-PLUSによる多変量解析」という本を読んだ時のメモ。以下、重回帰分析に関するくだりを引用。 書籍では、二行目は「この手法は、従属変数と複数の説明変数の間の関係を探るために使われる」という記載であるが、「従属変数」を「目的変数」に書き換え…

パラメータ推定(多変量混合正規分布)

前回の多変量混合正規分布の続き。 パラメータ推定に関するメモ。変量の数は「2」、「変量x」と「変量y」で表されるとし、混合数をKとおくと、2変量混合正規分布の確率密度関数は 2変量混合正規分布の確率密度関数 ここで、 観測データがN個であるとき、対数…

多変量混合正規分布

前回の多変量正規分布の続き。 「多変量混合正規分布」について見てみる。変量の数は「2」、「変量x」と「変量y」で表されるとし、混合数をKとおくと、2変量混合正規分布の確率密度関数は 混合パラメータ 2変量混合正規分布の確率密度関数 ここで、∑は「変量…

多変量正規分布(その2)

前回は2変量に相関がないケースを見たが、今回は相関があるケースを見てみる。各変量の平均と分散は前回と同じ。相関係数だけ変えてみる。 変量x : 平均「1」、分散「2」の正規分布に従う 変量y : 平均「3」、分散「4」の正規分布に従う 変量x と 変量y には…

多変量正規分布

多変量混合正規分布のパラメータ推定に入る前に、どのようなモデルを扱おうとしているのか整理しておく。以下の視点で考えた時、 変量が「1」or「多」 「混合分布である」or「混合分布ではない」 以下の4パターンに分類される。 (1変量)正規分布 (1変量)混…

パラメータ推定(混合正規分布)

混合分布を使うことで、より柔軟に分布をモデル化できる。例えば、ピークが2つあるような分布。 これは以下2つの分布を混合したもの。 分布1 : 正規分布N(2, 5)、混合比「0.6」 分布2 : 正規分布N(10, 5)、混合比「0.4」この混合分布は音声認識において使わ…

パラメータ推定(ニュートン・ラフソン法)

前回の続き。「ニュートン・ラフソン法」を使って、2変数パラメータの最尤推定値を求めてみる。 以下のサイトを参考にさせていただいた。 http://www012.upp.so-net.ne.jp/doi/sas/numerical/Newton_Raphson/Newton_Raphson.pdf正規分布の対数尤度関数を再掲…

パラメータ推定(最尤推定法)

MathJax.Hub.Config({ displayAlign: "left", displayIndent: "2em" }); 今、手元にn個の観測値(標本)が得られているとする。統計モデルとして表現するには、 観測値が従うであろう確率分布(確率密度関数)の形 確率密度関数のパラメータ が必要となる。1…

ヘッセ行列の固有値による凸性の判定

最適化を考える時、どの方向に向かって修正していくかを決める必要がある。扱う対象が関数化できるなら、その最大値(あるいは最小値)を求める問題に帰着するので、関数の凸性が大事な概念になってくる。今回は2変数関数を対象に、2階偏微分であるヘッセ…

行列の低ランク近似と近似度

特異値分解を使った「行列の低ランク近似」に関するメモ。まずは、視覚的に確認しやすい画像データで試してみる。高さ200px、幅320px、インデックスカラーのRAWデータを用意する。 1pxを1バイトで表現、0〜255の範囲の値をとる200行 x 320列の行列ができる。…

固有値分解と座標変換

DNN(Deep Neural Network)を学んでいると、擬似逆行列の算出や低ランク近似などで固有値の概念に出くわす。 固有値分解に関するメモ。以下のサイトを参考にさせていただいた。 http://eman-physics.net/math/linear09.html変換に使う行列Aは参考サイトと同…

R 計算メモ(行列を使った分散、共分散の計算)

R

行列計算で分散、共分散を求める方法のメモ。前回使った2変数データ(xとy、サンプル数5)を以下のとおり行列で表現する。 (各変数は、列ベクトルでなく、行ベクトルで表現していることに注意) 元データ # 変数x xvar [1] 50 60 70 80 90 # 変数y yvar [1]…

R 計算メモ(分散、共分散)

R

分散と共分散を計算をしたいとき用のメモ。Rでは、標本分散、標本共分散を求める関数はないので、自分で定義する。 以下のサイトを参考にさせていただいた。 http://cse.naro.affrc.go.jp/takezawa/r-tips/r/59.html関数定義ここから。 標本分散 # 関数を定…

線形変換(無相関化と次元削減)

音声認識の前処理やパターン分類で使われる線形変換についてメモしておく。 ここでは、"無相関化"と"次元削減"の2つの視点でまとめてみる。 PCA(Principal Component Analysis;主成分分析)を想定。2変数(x, y)で表されるの3つのサンプルデータがあったとす…