解釈性向上のための注意機構と損失勾配に対する関連損失の導入

Abstract

注意機構は自然言語処理における深層学習モデルに幅広く応用されており、予測性能の向上に大きく寄与している。また注意機構はモデルの予測時に根拠を提示する際にも利用される。こうした予測の根拠提示手法の文脈では損失計算時の勾配を元にした手法も同様に利用されており、尤もらしい予測根拠を提示していることが知られている。しかしながら注意機構と勾配の間には関連性が見られない場合が多く、予測根拠として注意機構を用いるのは疑問視されている。本研究ではモデルの解釈性の向上のために、注意機構と勾配が関連するような損失関数を新たに導入する。注意機構持つベースラインモデルに対して提案する関連損失を導入し、複数の文書分類タスクを用いて評価を行った。また注意機構と勾配の双方が関連することを確認した。