TL;DR: k-means をEMAで最適化する e-means は、Lloydの25エポック分の損失に約1.4〜2.6エポックで到達します。ハイパーパラメータの調整も不要です。
e-means: outperforming k-means (in one-tenth the epochs)
ポイント
・⚡ 約1/10のエポックでLloyd法25エポックの損失に到達(論文の報告)
・🔁 EMAでクラスタの個数と合計を更新し、セントロイドは S/N で読み出し
・🌊 ステップ幅はコサインで減衰
・🩹 死んだクラスタは5バッチごとに分割で復活(効果が最大)
・📐 減衰率とバッチサイズはスケーリング則で自動設定。スイープ不要
・🚀 DINO10B(100億埋め込み)を約2.5エポックで1,600万クラスタに分割
・🖥️ Flash-KMeansに対し壁時計で9.5〜45.5倍の高速化
スケーリング則は主にDEEPデータで当てはめたものなので、極端な設定では精度が下がるとのことです。
大規模埋め込みのクラスタリングが一気に軽くなりそうです。
#
機械学習# #
kmeans#