☆研究成果☆ 森の根の動きを改良AIモデルで見える化 ～ヒノキ林で夏に多い落ち根と秋の根成長を解明～ ▼プレスリリース ▼論文 #平野恭弘# #吉田陽向# #林亮太# #環境学研究科# #谷川東子# #生命農学研究科# #細根# #機械学習#

🔁 「じっくり考えるほど賢くなる」AIを、勾配爆発を起こさずに学習させる方法が見つかりました。 タイトル: Thinking with Looped Flows URL: 再帰的に隠れ状態を更新して「考える」ループモデルは、これまでBPTT（時間方向の逆伝播）の不安定さに悩まされてきました。Looped Flowsは拡散モデルの学習原理を借りることでこれを解決した手法です。注目ポイントを3つ紹介します。 🧠 BPTTなしで再帰計算を学習 ノイズレベルを徐々に減らしながら各ステップをローカルな損失で学習することで、勾配消失・爆発を起こさずに「考え続ける」状態を安定して学習できます。 ⏱ 推論時に計算量を後から増やせる 学習時より細かい時間刻みで推論するだけで性能が伸び、Sudokuでは8ステップの74.5%から128ステップで97.9%まで向上します。 🏆 ARC-AGIで既存手法を上回る ARC-AGI-1で58.8%、ARC-AGI-2で12.2%を達成し、いずれも従来のループモデル手法を上回りました。 推論時にじっくり計算するほど賢くなる、というテスト時スケーリングの新しい実現方法として興味深い研究です。 #LLM推論# #機械学習#

LLMを「ゼロから」自分で組んで訓練すると、中で何が起きているかが本当に分かります🛠️ 単一GPUで動く、完全な教育用実装の登場です。 タイトル: FareedKhan-dev/train-llm-from-scratch URL: 🛠️ 概要 「Attention is All You Need」に基づき、TransformerをPyTorchでゼロから実装する教育用リポジトリです。単一のGPUで、数百万〜十億パラメータ規模の自分だけのLLMを訓練できることを掲げています。 ❓ 解決する課題 LLMは当たり前になりましたが、ゼロから訓練して内部を手を動かして理解する機会は限られています。 ・既製フレームワークを使うだけでは、Transformerの仕組みが見えにくいままです ・事前学習から事後学習（アライメント）までの一連の流れを通しで体験できる教材が求められていました 💡 内容と構成 LLMのライフサイクル全体をカバーします。 ・データの取得と前処理（The Pileから） ・コアなTransformerアーキテクチャの実装（埋め込み・アテンション・FFN） ・モデルの訓練（分散処理DDPにも対応） ・事後学習のアライメント：SFT、報酬モデリング、PPO、DPO、GRPO ・テキスト生成と推論 コードはsrc/models・scripts・data_loader・configs・ui（Streamlit）に整理。スタックはPyTorch、tiktoken、HDF5、NumPyです。 🌍 ユースケース / 対象読者 LLM訓練の仕組みを実地で学びたい開発者・研究者向けです。GPUが限られた人（13Mパラメータから）から、エンタープライズGPUで数十億パラメータを狙う人まで対応します。 #LLM# #機械学習#

／ 　一瞬でわかるShadowverse 　「機械反乱編」～「天地侵略編」 ＼ 新カードパック「クロニクル・オブ・デスティニー」に登場するキャラクターたちのストーリーを一部ご紹介！ #シャドバWB# #クロニクル・オブ・デスティニー#