BERTメモ（BertViz）その2

前回の続き。

sentence-pair (sentence A / B)での出力を見てみる。

2つ目の文に、接続詞と指示代名詞が含まれている文を指定。

sentence_a = '栄養バランスの良い食事は健康づくりの基本です。'
sentence_b = 'しかしながら、それを実践することはなかなか困難なことです。'

間違えやすい「しかしながら」の意味と使い方・例文 | 例文.jp

「それ」が指し示すのは「栄養バランスの良い食事」にあたる。

「食事」と「それを」の反応が出ている出力を探してみる。

Layer 0, attention-head 5

（参考） Layer 0, attention-head 5 B->A

Layer 9, attention-head 2

Layer、headのどこかで反応している、という印象。
ぱっと見、規則性は見いだせず。


「しかしながら」についても同様。

Layer 10, attention-head 3