-
Explaining Word Embeddings via Disentangled Representation
1. どんなもの？学習済みの単語埋め込みを使って埋め込みの各次元が独立した特徴を捉えるような disentangled 表現へ変換する手法を提案。2. 先行研究と比べてどこがすごいの？事前学習済み単語埋め込み e.g., word2vec, GloVe は広く用いられている。こうした単語埋め込みに対して、埋め込みの各次元が独立した性質を持つ disentangled 表現への変換はあまり議論されていない。本研究では事前学習済み単語埋め込みを disentangled 表現へと変換する手法で...
-
Interpretable Adversarial Training for Text
1. どんなもの？自然言語処理に対する解釈可能な敵対的摂動を生成する sparse projected gradient descent (SPGD) を提案2. 先行研究と比べてどこがすごいの？自然言語処理における敵対的摂動の例 2 つのある単語埋め込み表現 (original embedding と neighbor embedding) 間における敵対的摂動の例 Original embedding から 3 ステップ (緑の矢印) 動いて、黄色で示された生の摂動...
-
Saliency Learning: Teaching the Model Where to Pay Attention
1. どんなもの？モデルの訓練時に予測根拠となる部分を明示的に学習させることで、予測時に正確な予測根拠を提示する学習法を提案。2. 先行研究と比べてどこがすごいの？バイアスのあるデータでモデルを学習させてしまうと意味をなさなかったり、害のある予測をしてしまう場合がある。特に深層学習ベースのモデルはブラックボックスとして扱われることが多く、こうしたバイアス由来の誤った予測を検知しづらい。先行研究ではブラックボックスになりがちな深層学習ベースの手法に対し、gradient/saliency を...