1. どんなもの?

word2vec を用いて単語をベクトル化し、そのベクトルをシンプルなアーキテクチャの CNN に入力し、センテンスの分類を行った。

2. 先行研究と比べてどこがすごいの?

画像認識分野でとてもよい結果を題している Convolutional Neural Network を NLP の分野に適用した。

3. 技術や手法の”キモ”はどこにある?

  • Google News のワードベクトルを用いて pre-training を行い、各タスクに対して fine-tuning をした
  • 重みの L2 正則化
  • Dropout の適用

4. どうやって有効だと検証した?

CNN の重みの初期化方法を変えたり、pre-training をしたり、チャンネル数を変えたりして実験を行っている。

5. 議論はあるか?

  • Multichannel か Single Channel のモデルどちらがよいか
    • 規模の小さいデータセットに対しては multichannel のモデルは過学習を防ぐことができた。規模の大きいデータセットに対しては fine-tuning をしなくてはならない。
  • Static か Non-static の表現方法どちらがよいか
    • Non-static な Single channel モデルと同様に、Non-static な multicannel モデルでも fine-tuning することで、タスクごとにより意味のある結果を出すことができる。

6. 次に読むべき論文はあるか?

論文情報・リンク