Summary

Improving neural networks by preventing co-adaptation of feature detectors

Dec 27, 2016 in CV

1. どんなもの？大規模なニューラルネットワークの隠れ層をランダムにドロップアウトさせることで過学習を大幅に抑える。2. 先行研究と比べてどこがすごいの？様々なベンチマークタスクに対してランダムなドロップアウトを採用することで、大きな改善をもたらし、多くの新記録を生み出した。3. 技術や手法の”キモ”はどこにある？学習率を10からスタートさせ、学習毎に0.998を掛けて減少させている。これにより重みの初期値が小さく、なおかつ学習率も小さい場合のニューラルネットワークに比べて、重みの探索...
Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction

Dec 19, 2016 in CV

1. どんなもの？高次元の入力(特に画像のようなデータ)に対しても有効な、階層的な特徴量を抽出できるConvolutional Auto-Encoderを導入する。2. 先行研究と比べてどこがすごいの？全結合のAuto-EncoderやDenoising Auto-Encoderは2次元の画像情報を無視してしまう。提案手法ではCNNを用いて画像情報の損失を防ぎつつ、特徴量を抽出できるようにし、これらの構造をStackしてDeep Featureを獲得する。3. 技術や手法の”キモ”はどこに...
Convolutional Neural Networks for Sentence Classification

Dec 17, 2016 in NLP

1. どんなもの？word2vec を用いて単語をベクトル化し、そのベクトルをシンプルなアーキテクチャの CNN に入力し、センテンスの分類を行った。2. 先行研究と比べてどこがすごいの？画像認識分野でとてもよい結果を題している Convolutional Neural Network を NLP の分野に適用した。3. 技術や手法の”キモ”はどこにある？ Google News のワードベクトルを用いて pre-training を行い、各タスクに対して fine-tuning をした...

← Newer Posts Older Posts →

Paper Survey

Survey of previous research and related works on machine learning (especially Deep Learning) in Japanese

Improving neural networks by preventing co-adaptation of feature detectors

Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction

Convolutional Neural Networks for Sentence Classification