Ad Click Prediction in Sequence with Long Short-Term Memory Networks: an Externality-aware Model
1. どんなもの？
ユーザーの閲覧行動と現在の広告の品質の影響を考慮して、広告の CTR を時系列ベースで予測する新しいアプローチを提案
2. 先行研究と比べてどこがすごいの？
検索連動型広告は、最も効果的で収益性の高い広告アプローチの 1 つである。 本研究の目標は、検索連動型広告を主としたオンライン広告の品質が他の広告のクリック率にどのように影響するかを分析することである。 通常、広告は複数個同時に表示され、これら広告の表示順は広告の配信効果に影響があるとされている。
本研究ではこうした広告群に対して時系列でクリックされる確率 pClick スコアを予測するモデルを構築した。
また pClick スコアをもとにトップに表示される広告とそれ移行の広告との間にある Externality を用いて広告の品質を考慮するモデルを構築した。
3. 技術や手法の”キモ”はどこにある？
表示されている広告の順番を考慮するため、LSTM に表示された順 に広告の特徴量 を入力する。
先行研究の DNN ベースのベースラインモデルに加えて Externality を考慮した特徴量を入力する。
広告の表示順 (externality) を考慮したモデリング
LSTM を使用する代わりに、externality を表す特徴量を導入する。 トップに表示される広告 の pClick スコアをそれ以降に表示される広告の externality 特徴として利用する。
4. どうやって有効だと検証した？
Microsoft の Bing から 1 週間分のユーザー閲覧履歴データを取得し訓練用データセットとして利用した。また次週のデータを評価用データセットとして用いた。 評価指標は AUC と Relative Information Gain (RIG) を使用した。
5. 議論はあるか？
広告の表示順に対する CTR の上下の分析
トップに表示される広告 とそれ以降に表示された広告に対する分析がされている。
- の CTR が上昇すると、それ以降に表示された広告の CTR も上昇し、 の CTR が下落すると、それを追うように以降の広告の CTR も下落する。
- の予測 CTR が低いと、それ以降に表示された広告の予測 CTR も低くなってしまう。逆も同じ。 トップに表示される広告の品質が他の広告の CTR に影響を与えている。 の品質が低い場合、ユーザーは 2 番目以降の広告を見る可能性が高くなり、クリックされやすくなる。 逆にがユーザーを満足させてしまう場合には、2 番目以降の広告は無視されてしまう可能性が高く、クリックされにくくなる。
| ベースラインモデルの比較 | RNN モデルの比較 | DNN+externality モデルの比較 |
|---|---|---|
 |
 |
 |
計算コストの削減
RNN をベースとした LSTM は大規模データになればなるほど計算コストが増えてしまう。 また LSTM を用いた予測 CTR を特徴量 (pClick) として用いるためにこうしたコストを削減しなければレスポンスに影響が出てしまう。 今回以下の用にトップに表示された広告の予測 CTR スコア (pClick) とポジションバイアスの差として定義する用いることで高速化を行なった。
6. 次に読むべき論文はあるか？
- Externality を考慮した先行研究について
- Xu, Wanhong, Eren Manavoglu, and Erick Cantu-Paz. “Temporal click model for sponsored search.” Proceedings of the 33rd international ACM SIGIR conference on Research and development in information retrieval. ACM, 2010.
- Zhang, Yuyu, et al. “Sequential click prediction for sponsored search with recurrent neural networks.” Twenty-Eighth AAAI Conference on Artificial Intelligence. 2014.
- ベースラインのモデルについて
- ポジションを考慮したモデルについて
論文情報・リンク
