2019-01-01から1年間の記事一覧
grafanaのプラグインを見てみる。公式＆コミュニティが公開するプラグイン Grafana Plugins - extend and customize your Grafana. | Grafana Labsプラグインのタイプ（dist/Plugin.jsonで定義）は datasource app panel のいずれかになる。Developer Guide …
日本取引所グループが公開する「株式週間売買状況」を可視化してみる。 投資部門別売買状況 | 日本取引所グループファイル構成に関する説明 https://www.jpx.co.jp/markets/statistics-equities/investor-type/07.html 区分 東証第一部 東証第二部 東証マザ…
以下のサイトによると、一般的な意味合いで「UTC」と「GMT」は同義語。 GMT と UTC の違いは何? ［CITIZEN-シチズン腕時計］3つの時刻系が登場する。 国際原子時（TAI） 1958年1月1日0時0分0秒の世界時を原点とする、セシウム原子の振動数を基準にした時刻系…
日銀のETF買い入れを月次で集計してみる。 設備投資および人材投資に積極的に取り組んでいる企業を支援するためのETF 上記以外 今回は企業支援ETF以外を対象とした。influxdb（version1.7）では、GROUP BY句に"1M"（＝1 month）のように指定できないので、WH…
日経平均株価と日銀ETF買い入れを可視化してみる。株価については移動平均も加えてみることにした。 移動平均は「終値」の値を使うので、「終値」だけをプロットしてみる。移動平均線 - Wikipedia 移動平均線は、過去の一定期間の株価の平均値から求める。 5…
前回の続き。金融緩和の一環として、日銀がETFの買い入れを続けていることを確認した。次いで、取引所におけるETF売買状況の推移を可視化してみる。 投資部門別売買状況 | 日本取引所グループ自己・委託別の総売買代金が月単位で集計されており、このうち、…
リアルタイム可視化ツールであるgrafanaを試してみる。データソースは、30を超える種類をサポートしている。 Grafana supports over 30 open source and commercial data sources. grafana.com今回はTime-series DBであるinfluxdbを選択。日銀のETF買い入れ…
前回の続き。PositionalEmbeddingレイヤを見てみる。 keras_xlnet/xlnet.py def build_xlnet(...): ... pos_embed = PositionalEmbedding( output_dim=units, clamp_len=clamp_len, directional=attention_type == 'uni', name='Embed-Pos', )([token_embed,…
前回の続き。AttentionレイヤがBERTとどう変わるのか見てみる。 work-in-progress.hatenablog.com前々回のmodel.summaryの抜粋 model.summary Layer (type) Output Shape Param # Connected to ======================= ===================== ======== ====…
前回のつづき。Memoryレイヤについて確認してみる。このレイヤが生まれた背景となる問題点と、その利点については、Transformer-XLの論文で以下のとおり述べられている。問題点。 事前定義された長さを超えるコンテキストを扱えない。 As a consequence of t…
XLNetのKeras実装を試してみる。keras-xlnet · PyPIload_trained_model_from_checkpoint関数でpre-trainedモデルをロードする。 BaseとLargeの両方のモデルに対応。 cased_L-12_H-768_A-12 cased_L-24_H-1024_A-16 モデルの構成は、"in_train_phase"パラメー…
前回の続き。scoreやmessageを表示する「HUD」sceneを追加する（意味は"heads-up display"とのこと） 「CanvasLayer」ノードを作成して、LabelやButtonを子として追加する。 [node name="HUD" type="CanvasLayer"]「Start」ボタンが押されると、「pressed()…
『Pythonによる深層強化学習入門』で書かれている"機械学習の種類（一例）"を参考にして作成。どの系統に属するものなのか、まとめておく。 分類 概要 手法 例 教師あり学習 入力データと、それに対する答え（教師データ）がセットになったデータを学習する …
前回の続き。step by stepの説明に従って、新たなscene「Mob」と「Main」を追加する。 「Mob」は個々のEnemy（敵）に該当し、「Main」でインスタンス化される。 mobs will spawn randomly at the edges of the screen and move in a random direction in a s…
オープンソースのゲームエンジン「Godot」を試してみる。バージョンは「3.1.1」（2019年4月27日リリース、64bit LinuxのStandard版）を使用。 Godot Engine - Download | Linux実行バイナリは60MBほど。step by stepにある「Dodge the Creeps!」から始めてみ…
前回の続き。DQN（Deep Q Learning）の中身について見ていく。AgentとしてDQNAgentを使う場合、指定しなければデフォルトで「Double DQN」が有効になる。 rl/agents/dqn.py class DQNAgent(AbstractDQNAgent): def __init__(self, model, policy=None, test_…
前回の続き。OpenAI gymの「CartPole-v0」（倒立振り子）を試してみる。ソースコード（keras-rl） keras-rl/dqn_cartpole.py at master · keras-rl/keras-rl · GitHubまずは、どのようなゲームなのかの確認。 ゲームオーバの条件は2つ。 「棒の角度」または…
「Style Transfer」を試していて、結果がイメージどおりにならかったのでメモしておく。Input画像 / Style画像 うまく変換できていると思われる出力結果 GitHub - gsurma/style_transfer: CNN image style transfer . Iteration: 10 最初に試したときの出力…
optimizerに関するメモ。これまでに見たサンプルでは、Neural Style Transferで準ニュートン法（L-BFGS-B）が出てくる以外は、「Adam」または「AdamWarmup」が多かった。Keras公式 Optimizers - Keras DocumentationRに出てくるようなoptimizerは出てこない…
前回の続き。probe parametersを生成する「run_experiment.py」の動きを追ってみる。 今回、パラメータは「Depth」を指定する。 python structural-probes/run_experiment.py example/config/pad_en_ewt-ud-sample.yaml pad_en_ewt-ud-sample.yaml(Depth) pr…
『A Structural Probe for Finding Syntax in Word Representations』を試してみる。ソースコード。 https://github.com/john-hewitt/structural-probesまずは、pre-trained structural probesを使ったデモを動かしてみる。 printf "The chef that went to t…
PyTorch版BERTを使ってみる。 pytorch-pretrained-bert · PyPI モデルの要約を表示する方法を探したところ、「torchsummary」パッケージが公開されている模様。 torchsummary · PyPIinputのサイズを指定する必要があり、今回はtokenの長さが「13」であるもの…
前回の続き。sentence-pair (sentence A / B)での出力を見てみる。2つ目の文に、接続詞と指示代名詞が含まれている文を指定。 sentence_a = '栄養バランスの良い食事は健康づくりの基本です。' sentence_b = 'しかしながら、それを実践することはなかなか困…
BERTのattentionを可視化する「BertViz」を試してみる。GitHub - jessevig/bertviz: Tool for visualizing attention in the Transformer model (BERT, GPT-2, XLNet, and RoBERTa)論文「A Multiscale Visualization of Attention in the Transformer Model…
「接続詞」(Wikipediaより) 接続詞（せつぞくし）とは、大雑把に言えば文と文、節と節、句と句、語と語など文の構成要素同士の関係を示す役割を担う品詞のひとつである。 大和言葉においてはかつて「つなぎことば」と呼ばれていた。 『国語教育のための文章…
前回の続き。起点となるスクリプトはtrain.pyで、modeオプションは3つ。 train validate test モデルによる予測の動きを確認するため、トレーニングデータを減らした上で、「train」モードで数stepほど学習させてみる。その後、「validate」モードを実行。オ…
トレーニング中の進捗表示で出力される"ETA"に関するメモ。 1500/2416 [=================>............] - ETA: 18:09 - loss: 6.9411 この出力は、fitメソッドの"vervose"オプションでコントロールされる。 fitメソッドに関するドキュメントより抜粋 verbo…
「Document Summarization on CNN / Daily Mail」でSOTAを達成した「BertSum」を試してみる。 github GitHub - nlpyang/BertSum: Code for paper Fine-tune BERT for Extractive Summarization 実装は「PyTorch」を使用している。 論文 https://arxiv.org/pd…
BERTのPre-trainedモデルに関するメモ。本家。日本語だけでなく、104言語に対応。 GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT multi_cased_L-12_H-768_A-12.zip BERT-Base, Multilingual Cased (New, recommended): 1…
前回の続き。Transformerを構成するFeedForwardレイヤを見てみる。論文「Attention Is All You Need」からの抜粋。 In addition to attention sub-layers, each of the layers in our encoder and decoder contains a fully connected feed-forward network,…
