登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 kmeans
kmeans コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
kmeans を含む検索結果
TL;DR: k-means をEMAで最適化する e-means は、Lloydの25エポック分の損失に約1.4〜2.6エポックで到達します。ハイパーパラメータの調整も不要です。 e-means: outperforming k-means (in one-tenth the epochs) ポイント ・⚡ 約1/10のエポックでLloyd法25エポックの損失に到達(論文の報告) ・🔁 EMAでクラスタの個数と合計を更新し、セントロイドは S/N で読み出し ・🌊 ステップ幅はコサインで減衰 ・🩹 死んだクラスタは5バッチごとに分割で復活(効果が最大) ・📐 減衰率とバッチサイズはスケーリング則で自動設定。スイープ不要 ・🚀 DINO10B(100億埋め込み)を約2.5エポックで1,600万クラスタに分割 ・🖥️ Flash-KMeansに対し壁時計で9.5〜45.5倍の高速化 スケーリング則は主にDEEPデータで当てはめたものなので、極端な設定では精度が下がるとのことです。 大規模埋め込みのクラスタリングが一気に軽くなりそうです。 #機械学習# #kmeans#
もっと見る
生成的推薦の世界で、みんなが「良いセマンティックID設計とはこういうものだ」と何となく信じてきたことを、大規模な追試で一つひとつ検証してみたらどうなるか。 🔍 生成的推薦モデルは、アイテムを離散トークン列「セマンティックID」に変換し、次に推薦すべきアイテムを自己回帰的に生成します。RQ-VAE、OPQ、RQ-Kmeansなど設計手法は乱立していますが、比較されるデータセットやバックボーンがバラバラで、どの設計が本当に優れているのか誰も確信を持てていませんでした。 そこで著者らは、同じデータ分割・同じ評価プロトコルのもとで12手法を横並びに再現実験。すると意外な事実が次々と浮かび上がります。データセットが変われば最良の手法も変わり、万能なSID設計は存在しないこと。コードブックの利用バランスをどれだけ整えても、推薦精度との相関はほぼゼロであること。コードを長くしても必ずしも性能は上がらず、モデルを大きくしても精度が落ちることさえあること。 そしてアイテム同士の「意味的な近さ」をどれだけ保てているかを測ると、指標(JaccardかRBOか)によって勝者となる手法が入れ替わる。良いSID設計とは、単一の指標を追い求めることではなく、複数の観点を同時にバランスさせることだと、この論文 What Makes a Good Semantic ID for Generative Recommendation? A Reproducibility Study は教えてくれます。 URL: #推薦システム# #再現性研究#
もっと見る