-
Noisy Softmax: Improving the Generalization Ability of DCNN via Postponing the Early Softmax Saturation
1. どんなもの？学習時にsoftmaxへの入力に対して効果的にノイズを加えることで活性化状態の飽和を防ぎ，モデルの汎化性能を上げるNoisy Softmaxを提案．2. 先行研究と比べてどこがすごいの？Convoluional Neural Networks(CNN)といった層の深いモデルを学習させる場合，勾配消失などが原因で出力が飽和してしまい，悪い局所解に落ちてしまう問題がある．先行研究では活性化関数のSigmoidやReLUに対してノイズを追加したり，パラメータに対してノイズを加え...
-
Learning Chinese Word Representations From Glyphs Of Characters
1. どんなもの？漢字の文字画像からConvolutional AutoEncoder(convAE)を利用して文字表現を獲得し，その文字表現を用いた中国語の単語表現を獲得する手法を提案している．2. 先行研究と比べてどこがすごいの？先行研究における単語の分散表現の学習はCBOWやSkipgram，GloVeといったものがある．また中国語における単語の分散表現の学習は「漢字」の形状的特徴を活用する，Character-enhanced word embedding(CWE)やMulti-g...
-
Style2Vec: Representation Learning for Fashion Items from Style Sets
1. どんなもの？ファッションアイテムの画像から潜在的なスタイルを学習するStyle2Vecを提案．2. 先行研究と比べてどこがすごいの？自然言語処理の領域で成果を上げているWord2Vecは，与えられた文章に対して単語間の共起確率を最大化するよう単語の分散表現を学習する．本研究のStyle2VecではWord2Vecからヒントを得ている．以下のようなStyle Setというユーザーの行動を元に作られたデータに対してファッションアイテムを単語とみなし，共起確率を最大化するよう分散表現を学習...