-
How Large Vocabulary Does Text Classification Need? A Variational Approach to Vocabulary Selection
1. どんなもの？精度を保ったまま最小限の語彙を選択する variational vocabulary dropout (VDD) を提案。2. 先行研究と比べてどこがすごいの？自然言語処理 (NLP) のタスクに対して deep learning モデルを用いる場合、入力にあらかじめ定義された語彙を元に単語をベクトル化して入力する必要がある。こうした語彙数は非常に大規模となる場合が多くパラメータ数も増大してしまうため、限られた計算リソース下での実行することは難しい。したがってタスクを解く...
-
Attentional Encoder Network for Targeted Sentiment Classification
1. どんなもの？ターゲットに対する感情分析で使われてきた LSTM に変わる self-attention ベースの attentional encoder network (AEN) を提案した。また付与されている感情ラベルに対する非信頼性に対して label smoothing を行う損失関数を導入した。2. 先行研究と比べてどこがすごいの？自然言語処理 (NLP) のタスクに対して RNN ベースの LSTM モデルが広く用いられてきたが、コンテキスト内のターゲットに対する感情を分...
-
Tell Me Where to Look: Guided Attention Inference Network
1. どんなもの？Attention map を用いた弱教師ありセマンティックセグメンテーションを高精度に行う guided attention inference networks (GAIN) を提案。2. 先行研究と比べてどこがすごいの？クラスラベルをもとに学習し予測することで得られる attention map は局所的な特徴やセグメンテーションの情報を保持している場合が多い。こうした attention map を利用しセマンティックセグメンテーションといったタスクを解く弱教師あ...