online learning to rankに関する論文でよくreferされる論文

提案手法は、Dueling Bandit Gradient Descent(DBGD)と呼ばれる.

onlineでlearning to rankを行える手法で、現在の重みwとwをランダムな方向に動かした新たな重みw'を使って、予測を行い、duelを行う。
duelを行った結果、新たな重みw'の方が買ったら、重みwをその方向に学習率分更新するというシンプルな手法

duelのやり方は、詳しく書いてないからなんともよくわからなかったが、Interleavedなlist(二つのモデルのoutputを混合したリスト)などを作り、実際にユーザにリストを提示してユーザがどのアイテムをクリックしたかで勝敗を判定する、といったやり方が、IRの分野では行われている。

offlineに持っているデータを使って、なんらかのmetricを計算してduelをするという使い方をしたかったのだが、そのやり方が、この分野のliteratureにおいて自然なやり方かどうかが不明（たぶん自然じゃないし、単純に何らかのmetricに最適化するというのであればもっと洗練された手法ありそう）。
