前回の続き。Kerasで書いたモデルにAttentionレイヤを追加してみる。 カスタムレイヤを定義して、書籍のコードを移植。Encoder側のLSTMレイヤについては、"return_sequences=True"とし、各timestepごとの出力を返すようにする。 encoder = LSTM(units=n_unit…

前回の足し算に引き続き、以下の書籍を参考にして、seq2seqを使った日付フォーマット変換を試してみる。 O'Reilly Japan - ゼロから作るDeep Learning ❷データの長さは固定で「40」、値がない部分はブランクで埋める。 変換前の長さ : 「29」固定 変換後の長…

以下の書籍を参考に、seq2seqを使った足し算を試してみる。 O'Reilly Japan - ゼロから作るDeep Learning ❷データの長さは固定で「12」、値がない部分はブランクで埋める。 式部分の長さ : 「7」固定 答え部分の長さ : 「5」固定（イコールにあたる"_"含む）…

（「RとKerasによるディープラーニング」より）Kerasネットワークは、入力として数値テンソルだけを受け付ける。テキストはそのままの形では渡せないため、変換が必要になる。 テキストを数値テンソルに変換することをベクトル化（vectorizing）と呼ぶ。全て…

前回のモデル。 one-hot表現の入力テキストをEncoderに渡し、モデルの隠れ状態(h)および記憶セル(c)をDecoderのインプットとした。 ここで、入力テキストは順方向でEncoderに渡している。今回、入力テキストを逆方向にしたものをEncoderに渡し、その出力をDe…

「Sequence to sequence example in Keras (character-level)」を試してみる。 環境 tensorflowに統合されたKerasを使用、tensorflowのバージョンは「1.5.1」今回、試したソースコード。 https://github.com/keras-team/keras/blob/master/examples/lstm_seq…

マルチバイト文字の扱いに関するメモ。UTF-8として保存されたファイルがあったとする。 % file /tmp/hoge.txt /tmp/hoge.txt: UTF-8 Unicode textこれをpythonのコードで読み込む。 with codecs.open('/tmp/hoge.txt', 'r', encoding='utf-8') as f: lines =…