-
Deep Networks with Stochastic Depth
1. どんなもの？Residual Blockを確率的にドロップさせることで学習時間の向上や勾配消失を防ぐStochastic Depthを提案．2. 先行研究と比べてどこがすごいの？層のとても深いResNetといったモデルはBackpropagation時の勾配消失や，各パラメータが有効に学習しない，学習時間の増大などが問題点として上げられている．本研究ではResNetを対象とした，層の深いネットワークを見かけ上浅いネットワークのように学習を行い，テスト時に元のDeepなネットワークとな...
-
Aggregated Residual Transformation for Deep Neural Networks
1. どんなもの？入力に対し”cardinality”を元に様々な変換処理を施し，それらを集約するブロックを重ねることでハイパーパラメータを減らしたResNeXtを提案．ILSVRCでは2位という成績を残した．2. 先行研究と比べてどこがすごいの？VGGやResNetといったネットワークは同じ形状のブロックを複数重ねることでハイパーパラメータを減らすことができている．ResNeXtではこれらのブロックで入力に対し変換処理とembeddingの集約を行うことで，同一のトポロジを維持している．...
-
Adaptive Dropout for Training Deep Neural Networks
1. どんなもの？Drooutを行うDeep Networkの他にDropout率を求めるBinary Belief Networkを用意し，入力に適応したDropout率を求める．2. 先行研究と比べてどこがすごいの？Neural Networkの過学習を抑えるDrooutでは，一般的に0.5という一定のDropout率を採用している．本研究ではBinary Belief Networkを用いてDropout率を適応的に決定するアーキテクチャ”Stand Out”を提案している．3. 技...