表形式データの基盤モデル、実は「目的変数だけ」を予測する設計に留まっていました。テーブル全体の変数間の関係そのものを学習させる新しいパラダイムが登場しています。 タイトル: LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence URL: 📝 概要 「Contextual Mechanism Networks（CMN）」という新パラダイムで、目的変数y だけでなくテーブル全体の同時分布p(x, y)を学習し、分類・回帰・欠損値補完・因果構造探索を単一モデルでこなします。 ❗ 解決する課題 既存のPFN系手法は目的変数の条件付き予測のみに特化しており、変数同士の依存構造を明示的に扱えていませんでした。 ⚙️ 方法論 セル単位の埋め込みとデュアル軸トランスフォーマー（24層）で、コンテキスト行とクエリ行の一部をマスクして特徴とターゲットを同時予測する「Context-Conditional Masked Modeling」で学習します。構造因果モデルに基づく合成データで大規模に事前学習しています。 📊 実験結果 TabArena（51データセット）でEloスコア1935（比較対象1818）、BCCO（156データセット）で累積勝数が2.06倍。因果構造の復元でも6データセット中6つでF1スコア最優秀を記録し、パラメータ数はTabFMの4分の1で上回りました。 🔬 ユースケース 分類・回帰だけでなく因果探索にも同じモデルが使えるため、データ分析パイプライン全体を1つの基盤モデルで置き換えられる可能性があります。 #表形式データ# #機械学習#