-
DropAttention: A Regularization Method for Fully Connected Self Attention-Networks
1. どんなもの？全結合からなる self-attention 層に対して dropout を行う DropAttention を用いて過学習抑制し汎化性能向上を確認した。2. 先行研究と比べてどこがすごいの？Dropout は全結合層に対して確率的にノード落とすことで過学習を抑えることができる。こうした手法は recurrent neural network (RNN) や convolutional neural network (CNN) にも応用されており、それぞれパフォーマンスの...
-
From Small-scale to Large-scale Text Classification
1. どんなもの？カテゴリ数が非常に多いテキスト分類と比較的カテゴリ数の少ないテキスト分類を同時に行うマルチタスクなモデルアーキテクチャを提案。2. 先行研究と比べてどこがすごいの？テキスト分類においてカテゴリ数が非常に多い large-scale な問題設定と、比較的カテゴリ数の少ない small-scale な問題設定がある。Web 検索のパーソナライズやレコメンドシステムなど、カテゴリ数が非常に多いテキスト分類は学習時に各カテゴリを捉えられるよう大規模なデータセットが必要である。先行...
-
Content-Based Citation Recommendation
1. どんなもの？メタデータに依存しない論文内容に基づいた、学術論文の草案に対する引用文献の推薦システムの提案。2. 先行研究と比べてどこがすごいの？既存の引用文献レコメンドシステムは著者の名前や出版社・学会名等のメタデータに依存している場合が多かった。こうしたメタデータはレビュー時であったり草案時には利用が難しい。本研究では既存の研究と異なり、論文内容に基づいて引用候補を識別するために使用したベクトルと同じ空間に埋め込み、再学習が不要なモデルの構築が可能となる。また計算の効率がよく、学習...