BERTメモ（BertSum）その1

「Document Summarization on CNN / Daily Mail」でSOTAを達成した「BertSum」を試してみる。

github

GitHub - nlpyang/BertSum: Code for paper Fine-tune BERT for Extractive Summarization
実装は「PyTorch」を使用している。

論文

https://arxiv.org/pdf/1903.10318.pdf

モデルの構成としては、Bertモデルの後ろに、レイヤを追加する。
以下は、「Classifer」モデルのサマリ。

Summarizer(
  (bert): Bert(
    (model): BertModel(
      (embeddings): BertEmbeddings(...)
      (encoder): BertEncoder(
        (layer): ModuleList(
          (0): BertLayer(
            (attention): BertAttention(...)
            (intermediate): BertIntermediate(...)
            (output): BertOutput(...)
          )
          ...
          (11): BertLayer(
            (attention): BertAttention(...)
            (intermediate): BertIntermediate(...)
            (output): BertOutput(
              (dense): Linear(in_features=3072, out_features=768, bias=True)
              (LayerNorm): BertLayerNorm()
              (dropout): Dropout(p=0.1, inplace=False)
            )
          )
        )
      )
      (pooler): BertPooler(
        (dense): Linear(in_features=768, out_features=768, bias=True)
        (activation): Tanh()
      )
    )  # end of BertModel
  )    # end of Bert 
  (encoder): Classifier(
    (linear1): Linear(in_features=768, out_features=1, bias=True)
    (sigmoid): Sigmoid()
  )
)