-
Entity Embeddings of Categorical Variables
1. どんなもの？カテゴリ変数からEntity Embeddingを自動的に学習するニューラルネットを用いて、カテゴリ変数間の距離を可視化する。2. 先行研究と比べてどこがすごいの？カテゴリ変数は質的変数や属性変数と呼ばれ、限られた数のカテゴリまたは異なるグループに分類することができる。例えば赤を1、青を2、黄色を3とした場合、「青は赤より大きい」・「赤と黄色の平均が青」といった情報は基本的には意味をなさない。またこれらのカテゴリ変数をそのままニューラルネットワークに入力すると、正しく機能...
-
Modelling, Visualising and Summarising Documents with a Single Convolutional Neural Network
1. どんなもの？Convolutional Neural Network(CNN)をベースにしたモデルを用いて、単語や文の順序を維持しつつ低次元のベクトル空間にembeddingすることで、感情分析や文書の要約を可能にしている。2. 先行研究と比べてどこがすごいの？Dynamic Convolutional Neural Network(DCNN)を用いた先行研究では、可変長である文を扱えるCNNを提案し、感情分析や質問応答分類などで素晴らしい結果を残している。加えて、コンピュータビジョ...
-
Deep Learning applied to NLP
1. どんなもの？近年、コンピュータビジョンの分野で最先端の結果を残すConvolutional Neural Network(CNN)を自然言語処理タスクに適用し、優れたパフォーマンスを発揮した事例を調査する。2. 先行研究と比べてどこがすごいの？人間の脳の構造を模倣したとされるArtificial Neural Network(ANN)は、確率的言語モデリングや構文解析などで利用されてきた。画像認識分野で成功を収めたCNNはANNと似た構造で、畳み込み操作を用いることで局所的な特徴も捉...