cv usk(@cv_usk):再ランキングは、どのクエリでも上位1000件まで回すのが本当に最善なのでしょうか。 Optimal Re-Ranking Depth https://t.co/3ate4NL9PN ❓ 最適な深度はクエリで違うの？ 💡 違います。再ランキングの最適深度は、クエリごとに最高の効果に届く最も浅い深度として定義できます。深く回すと効果が下がるクエリもあります。MS MARCOでオラクルが深度を選ぶと、DCG@10が7%以上上がり、平均深度は約5分の1になります。 ❓ 事前に深度を予測できるの？ 💡 既存のクエリ性能予測（QPP）11種は、概ね当てになりませんでした。一方、第1段ランキングのDCG@10をLLMの関連性判定で測る「IR-DCG@10」は有望です。 ❓ どれくらい減らせる？ 💡 BM25とMono-T5では、全件再ランキングと同じ効果のまま平均深度が511から331へ、約3分の1になりました（最良のQPPは約2分の1）。SPLADEでは最適深度がもともと約20と浅く、IR-DCG@10で約15分の1の削減です。 ❓ 注意点は？ 💡 判定は単一のLLM（GPT-4o-mini）で、上位10件のプールが中心です。結果は予備的で、オラクルとの差も残ります。運用では、予測にLLM判定が必要な点が気になります。 #InformationRetrieval #Reranking

2026.11.12 02:52

再ランキングは、どのクエリでも上位1000件まで回すのが本当に最善なのでしょうか。 Optimal Re-Ranking Depth ❓ 最適な深度はクエリで違うの？ 💡 違います。再ランキングの最適深度は、クエリごとに最高の効果に届く最も浅い深度として定義できます。深く回すと効果が下がるクエリもあります。MS MARCOでオラクルが深度を選ぶと、DCG@10が7%以上上がり、平均深度は約5分の1になります。 ❓ 事前に深度を予測できるの？ 💡 既存のクエリ性能予測（QPP）11種は、概ね当てになりませんでした。一方、第1段ランキングのDCG@10をLLMの関連性判定で測る「IR-DCG@10」は有望です。 ❓ どれくらい減らせる？ 💡 BM25とMono-T5では、全件再ランキングと同じ効果のまま平均深度が511から331へ、約3分の1になりました（最良のQPPは約2分の1）。SPLADEでは最適深度がもともと約20と浅く、IR-DCG@10で約15分の1の削減です。 ❓ 注意点は？ 💡 判定は単一のLLM（GPT-4o-mini）で、上位10件のプールが中心です。結果は予備的で、オラクルとの差も残ります。運用では、予測にLLM判定が必要な点が気になります。 #InformationRetrieval# #Reranking#