-
Language Modeling with Gated Convolutional Networks
1. どんなもの？言語モデリングを行う際はLong shot term memory(LSTM)を用いることが多かったが、Convolutional Neural Network(CNN)にGateを導入したネットワークを利用することにより、state-of-the-artなLSTMの結果と同程度の精度を達成することができた。同時に遥かに高い並行処理能力を獲得している。2. 先行研究と比べてどこがすごいの？LSTMといったRecurrentなネットワーク構造では、次の出力は前の隠れ層からの...
-
Inductive Bias of Deep Convolutional Networks through Pooling Geometry
1. どんなもの？ コンピュータビジョンのタスクを成功へと導く CNN のバイアスについては未だよくわかっていない。 畳み込み+プーリングによって生成される空間が、画像の特徴をよく表す理由は不明。 以上の事柄について、入力領域間の相関をモデル化する CNN を用いて考察している。2. 先行研究と比べてどこがすごいの？3. 技術や手法の”キモ”はどこにある？4. どうやって有効だと検証した？5. 議論はあるか？6. 次に読むべき論文はあるか？論文情報・リンク N. Cohen and...
-
ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs
1. どんなもの？NLPの主なタスクとして、「AS(Answer Selection: 回答を選択するタスク)」、「PI(Paraphrase Identification: 言い換えを識別するタスク)」、「TE(Textual Entailment: 含意関係を識別するタスク)」といったものがある。これらは対となるセンテンスを扱うモデルであり、AttentionをベースとしたConvolutional Neural Network(CNN)を構築してこれらのタスクを解いてみたところ、各々...