-
Dropout Training as Adaptive Regularization
1. どんなもの？ Dropoutは学習データに対して人工的にノイズを加えることで過学習を抑える働きがある． 一般化線形モデル(GLM)の場合，Dropoutは適応的な正則化の働きをする． この観点を利用して，Dropout機構はフィッシャー情報行列の逆行列の推定値によって特徴量をスケールした後に適応したL2正則化機構と等価であることを示している． 適応的なDropoutとAdaGradとの関係性について言及している． Dropoutを用いて適応的な正則化を行う，半教師ありのフレ...
-
A Discriminative Feature Learning Approach for Deep Face Recognition
1. どんなもの？特徴空間上で効果的に各クラスを分離するよう学習を行う，「Center Loss」を提案．2. 先行研究と比べてどこがすごいの？Convolutional Neural Networks(CNN)を用いた一般的な画像認識ではSoftmax Lossを用いたクラスラベルの予測を行うことが多い．この方法は最後の全結合層で線形分類器のような振る舞いでDeep Featureを分類している．顔認識の場合，Deep Featureを単純に分離するのではなく，より際立って区別する必要が...
-
Convolutional Sequence to Sequence Learning
1. どんなもの？2. 先行研究と比べてどこがすごいの？3. 技術や手法の”キモ”はどこにある？4. どうやって有効だと検証した？5. 議論はあるか？6. 次に読むべき論文はあるか？論文情報・リンク Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, Yann N. Dauphin. “Convolutional Sequence to Sequence Learning.” arXiv preprint arXiv:17...