TL;DR: 乱立するベクトル量子化手法を、共通の小さな部品(プリミティブ)の組み合わせとして統一的に扱い、同一条件で比較できるベンチマーク「VQ-bench」をPineconeが公開しました。
タイトル: VQ-bench: a Composable Vector Quantization Framework
URL:
ポイント
🧩 Center・Normalize・PCA・RandomRotateなど、量子化を構成する共通プリミティブを定義し自由に組み合わせ可能に
🔗 E-RaBitQなどの既存手法も「Center→Normalize→Random Rotation→Angular Cast」の4プリミティブの並びだけで再現
📊 VIBEの5データセット・14種類の量子化器をReconstruction MSE・Recall
@10・エンコード時間で横並び比較
🥇 PQとOPQが一貫して最小のReconstruction MSEを記録
⚡ EDENはPQ/OPQ/E-RaBitQより大幅に高速なエンコードを実現しつつRecallも高水準を維持
🛠️ 新規量子化器の追加は数行のコードで済み、新規プリミティブは既存の全部品と自動的に合成可能
バラバラだった量子化手法の評価が同じ土俵に乗ったことで、用途に応じた選定がしやすくなりそうです。
#
ベクトル検索# #
ベクトルDB#