生成的推薦の世界で、みんなが「良いセマンティックID設計とはこういうものだ」と何となく信じてきたことを、大規模な追試で一つひとつ検証してみたらどうなるか。 🔍 生成的推薦モデルは、アイテムを離散トークン列「セマンティックID」に変換し、次に推薦すべきアイテムを自己回帰的に生成します。RQ-VAE、OPQ、RQ-Kmeansなど設計手法は乱立していますが、比較されるデータセットやバックボーンがバラバラで、どの設計が本当に優れているのか誰も確信を持てていませんでした。 そこで著者らは、同じデータ分割・同じ評価プロトコルのもとで12手法を横並びに再現実験。すると意外な事実が次々と浮かび上がります。データセットが変われば最良の手法も変わり、万能なSID設計は存在しないこと。コードブックの利用バランスをどれだけ整えても、推薦精度との相関はほぼゼロであること。コードを長くしても必ずしも性能は上がらず、モデルを大きくしても精度が落ちることさえあること。 そしてアイテム同士の「意味的な近さ」をどれだけ保てているかを測ると、指標（JaccardかRBOか）によって勝者となる手法が入れ替わる。良いSID設計とは、単一の指標を追い求めることではなく、複数の観点を同時にバランスさせることだと、この論文 What Makes a Good Semantic ID for Generative Recommendation? A Reproducibility Study は教えてくれます。 URL: #推薦システム# #再現性研究#