数学の学習データは「問題と解答のペア」に平坦化すると、教科書が持っていた構造を失います。
Scaling Mathematical Proof Supervision from Structured Textbooks
📚 概要
2,118冊の教科書から、章の階層・命題の依存・カリキュラム順を保ったまま380,292件のQAを作るコーパスTOME-Mathを構築しました(29分野)。
🎯 解決する課題
従来の数学SFTデータは量で勝負しがちで、章の順序や証明の依存関係が捨てられていました。構造を残したまま証明の教師データをスケールできるかが問いです。
🔧 手法
・DeepSeek-OCRで教科書をMarkdown化し、定理・補題・証明をProof QAとして抽出
・証明の抜けや暗黙のステップを検出し、独立した命題として証明し直すGap QAを生成(918,235候補から19%を採用)
・品質判定器で正確性などを採点
🧪 結果
Qwen3-30B-A3B-Baseを1エポック学習すると、6ベンチマークの平均が29.17から45.83になりました。MathInstructの41.10を上回り、6つ中5つで最良です(AIME-26はMathInstructに次ぐ2位)。順方向のカリキュラムでGap QAを先に置くとシャッフルより高く、Gap QAを外すと証明系で5〜7ポイント下がります。
注意点として、比較対象とはデータの性質が複数違うため、構造だけが効いたとは言い切れません。
#
Mathematics# #
LLM#