2月最終週は、4日連続で日銀によるETF買い入れが入った。 この買いが無かったら、日経平均株価はもっと値を下げていたことだろう。 白のプロットが日経平均株価（終値） 紫の積み上げがETF買い入れ額（億円）日銀が公開している情報をもとに、2020年2月末ま…

TensorFlowで短時間フーリエ変換（Short-time Fourier Transform）を求めるには、「tf.signal.stft」関数が提供されている。 https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/signal/stft音声データは「yes」という一秒間の発話データ。 「li…

前回の続き。「MFCC」（メル周波数ケプストラム係数）について見ていく。ここでは、視覚的な結果確認のみ書くので、計算過程などは以下をご参照。 work-in-progress.hatenablog.com音声データは「yes」という一秒間の発話データ。 MFCC(メル周波数ケプストラ…

前回の続き。「log-mel spectrogram」（STFT＋メル周波数変換＋自然対数）について見ていく。音声データは「yes」という一秒間の発話データ。 log-mel spectrogram メル周波数（対数変換なし） メル尺度に変換する。 import librosa import numpy as np # Au…

音声データを使う際は特徴量に変換する。 よく使われているのは「MFCC」だが、深層学習では「log-mel spectrogram」を使う実装例も出ている。 特徴量 実装例 STFT Looking to Listen at the Cocktail Party log-mel spectrrogram Deep Learning for Audio Si…

例えばTensorFlowなどの深層学習ライブラリで音声を扱おうとした時、どのような変換をしているのか把握していないと応用が効かないし、詰まってしまう。 基本的なところからまとめ直してみる。前回のTensorFlowチュートリアルに出てくる"yes"の音声データを…

TensorFlowのチュートリアル「Simple Audio Recognition」を試してみる。docs/audio_recognition.md at master · tensorflow/docs · GitHubソースコードtensorflow/tensorflow/examples/speech_commands at master · tensorflow/tensorflow · GitHubどのよう…

grafanaのプラグインを見てみる。公式＆コミュニティが公開するプラグイン Grafana Plugins - extend and customize your Grafana. | Grafana Labsプラグインのタイプ（dist/Plugin.jsonで定義）は datasource app panel のいずれかになる。Developer Guide …

日本取引所グループが公開する「株式週間売買状況」を可視化してみる。 投資部門別売買状況 | 日本取引所グループファイル構成に関する説明 https://www.jpx.co.jp/markets/statistics-equities/investor-type/07.html 区分 東証第一部 東証第二部 東証マザ…

以下のサイトによると、一般的な意味合いで「UTC」と「GMT」は同義語。 GMT と UTC の違いは何? ［CITIZEN-シチズン腕時計］3つの時刻系が登場する。 国際原子時（TAI） 1958年1月1日0時0分0秒の世界時を原点とする、セシウム原子の振動数を基準にした時刻系…

日銀のETF買い入れを月次で集計してみる。 設備投資および人材投資に積極的に取り組んでいる企業を支援するためのETF 上記以外 今回は企業支援ETF以外を対象とした。influxdb（version1.7）では、GROUP BY句に"1M"（＝1 month）のように指定できないので、WH…

日経平均株価と日銀ETF買い入れを可視化してみる。株価については移動平均も加えてみることにした。 移動平均は「終値」の値を使うので、「終値」だけをプロットしてみる。移動平均線 - Wikipedia 移動平均線は、過去の一定期間の株価の平均値から求める。 5…

前回の続き。金融緩和の一環として、日銀がETFの買い入れを続けていることを確認した。次いで、取引所におけるETF売買状況の推移を可視化してみる。 投資部門別売買状況 | 日本取引所グループ自己・委託別の総売買代金が月単位で集計されており、このうち、…

リアルタイム可視化ツールであるgrafanaを試してみる。データソースは、30を超える種類をサポートしている。 Grafana supports over 30 open source and commercial data sources. grafana.com今回はTime-series DBであるinfluxdbを選択。日銀のETF買い入れ…

前回の続き。PositionalEmbeddingレイヤを見てみる。 keras_xlnet/xlnet.py def build_xlnet(...): ... pos_embed = PositionalEmbedding( output_dim=units, clamp_len=clamp_len, directional=attention_type == 'uni', name='Embed-Pos', )([token_embed,…

前回の続き。AttentionレイヤがBERTとどう変わるのか見てみる。 work-in-progress.hatenablog.com前々回のmodel.summaryの抜粋 model.summary Layer (type) Output Shape Param # Connected to ======================= ===================== ======== ====…

前回のつづき。Memoryレイヤについて確認してみる。このレイヤが生まれた背景となる問題点と、その利点については、Transformer-XLの論文で以下のとおり述べられている。問題点。 事前定義された長さを超えるコンテキストを扱えない。 As a consequence of t…

XLNetのKeras実装を試してみる。keras-xlnet · PyPIload_trained_model_from_checkpoint関数でpre-trainedモデルをロードする。 BaseとLargeの両方のモデルに対応。 cased_L-12_H-768_A-12 cased_L-24_H-1024_A-16 モデルの構成は、"in_train_phase"パラメー…

前回の続き。scoreやmessageを表示する「HUD」sceneを追加する（意味は"heads-up display"とのこと） 「CanvasLayer」ノードを作成して、LabelやButtonを子として追加する。 [node name="HUD" type="CanvasLayer"]「Start」ボタンが押されると、「pressed()…

『Pythonによる深層強化学習入門』で書かれている"機械学習の種類（一例）"を参考にして作成。どの系統に属するものなのか、まとめておく。 分類 概要 手法 例 教師あり学習 入力データと、それに対する答え（教師データ）がセットになったデータを学習する …

前回の続き。step by stepの説明に従って、新たなscene「Mob」と「Main」を追加する。 「Mob」は個々のEnemy（敵）に該当し、「Main」でインスタンス化される。 mobs will spawn randomly at the edges of the screen and move in a random direction in a s…

オープンソースのゲームエンジン「Godot」を試してみる。バージョンは「3.1.1」（2019年4月27日リリース、64bit LinuxのStandard版）を使用。 Godot Engine - Download | Linux実行バイナリは60MBほど。step by stepにある「Dodge the Creeps!」から始めてみ…

前回の続き。DQN（Deep Q Learning）の中身について見ていく。AgentとしてDQNAgentを使う場合、指定しなければデフォルトで「Double DQN」が有効になる。 rl/agents/dqn.py class DQNAgent(AbstractDQNAgent): def __init__(self, model, policy=None, test_…

前回の続き。OpenAI gymの「CartPole-v0」（倒立振り子）を試してみる。ソースコード（keras-rl） keras-rl/dqn_cartpole.py at master · keras-rl/keras-rl · GitHubまずは、どのようなゲームなのかの確認。 ゲームオーバの条件は2つ。 「棒の角度」または…

「Style Transfer」を試していて、結果がイメージどおりにならかったのでメモしておく。Input画像 / Style画像 うまく変換できていると思われる出力結果 GitHub - gsurma/style_transfer: CNN image style transfer . Iteration: 10 最初に試したときの出力…

optimizerに関するメモ。これまでに見たサンプルでは、Neural Style Transferで準ニュートン法（L-BFGS-B）が出てくる以外は、「Adam」または「AdamWarmup」が多かった。Keras公式 Optimizers - Keras DocumentationRに出てくるようなoptimizerは出てこない…

前回の続き。probe parametersを生成する「run_experiment.py」の動きを追ってみる。 今回、パラメータは「Depth」を指定する。 python structural-probes/run_experiment.py example/config/pad_en_ewt-ud-sample.yaml pad_en_ewt-ud-sample.yaml(Depth) pr…

『A Structural Probe for Finding Syntax in Word Representations』を試してみる。ソースコード。 https://github.com/john-hewitt/structural-probesまずは、pre-trained structural probesを使ったデモを動かしてみる。 printf "The chef that went to t…

PyTorch版BERTを使ってみる。 pytorch-pretrained-bert · PyPI モデルの要約を表示する方法を探したところ、「torchsummary」パッケージが公開されている模様。 torchsummary · PyPIinputのサイズを指定する必要があり、今回はtokenの長さが「13」であるもの…

前回の続き。sentence-pair (sentence A / B)での出力を見てみる。2つ目の文に、接続詞と指示代名詞が含まれている文を指定。 sentence_a = '栄養バランスの良い食事は健康づくりの基本です。' sentence_b = 'しかしながら、それを実践することはなかなか困…