登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 トループ
トループ コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
トループ を含む検索結果
MoEとループ型Transformer、2つの軸を1つのスケーリング則で語れるか?Metaの論文です。 タイトル: Scaling Laws for Looped Mixture of Experts URL: 🔁 概要 重みを繰り返し使うループ(再帰)と、エキスパートを疎に使うMoEを同時に扱う「Loop Scaling Laws」を提案しています。 ❓ 解決する課題 従来の法則は2軸を別々に扱い、ループの利得を上限なく増えるものとして表していました。実際は再帰の利得は逓減し、エキスパートが多いほど長く効き続けます。 📐 提案手法 実効パラメータ数を Neff(R) = N + κ₁·Nloop·(1 − e^(−(R−1)/κ₂)) と有界にし、係数をアクティブ比 m に応じて m^(−θ) 倍に。計算量やメモリの予算から、最適な再帰回数とエキスパート数も導けます。 📊 実験結果 ・R=16など未知の条件で誤差が最小(密モデルでRMSE 0.0092) ・約5×10²⁰ FLOPsで、E≥8の0.3B MoEが1.0B密モデルを上回る ・約1.5×10²² FLOPsで、0.3B active/1.3B totalのLoopMoEはR=4〜5でBBH 31.5〜31.8、GSM8K 41.5〜41.2。0.6B active/2.9B total MoEの29.8と42.9にほぼ並ぶ ・ただし総合スコアは下回り、推論計算量も増えます #ScalingLaws# #MoE#
もっと見る
【news】罅(hibi)が新曲「hanataba」をデジタルリリース 4つ打ちとファズギターとループするシンセフレーズ
MITのRikiyaTakehi氏らによるヤバ研究。Qwen3.5-0.8Bに数学問題を解かせると同じ思考を延々とループして一向に答えが出ないバグ的な挙動があった。そこで研究者はAstraに「Qwenを修正してくれない?」って丸投げしてみた。するとAstraはウエイトの中身を見ながら「あー、多分この辺が故障してますね~」つって微調整とか学習とかじゃなくて生のウエイトを直接弄りだした!Astraがアタリをつけてウエイト操作を試行錯誤した結果、Qwenの思考ループが修正されてMATH-500スコアは7.9→48.1に6倍に爆上がり!IFEvalも21→62.3に!研究者は「え…?Astraってウエイトの中身理解できるの!?」と驚愕してさらなる実験を試みる。Astraにゲームプレイを学習させたモデルをいくつか見せたら「これはブロック崩しをプレイするモデルでしょ。これはPong、これはパックマン…」と全部言い当てた!やはりモデルの中身が読めている!次はジャンプ台を乗り越えるのに失敗しちゃう車のモデルを渡したらこれも見事に修正してくれた!その次はブロック崩しのソースコードを渡したらなんとそれをプレイするAIモデルを直接出してくれた!!この結果から、やはりAstraレベルの最先端フロンティアモデルはAIモデルの中身のウエイトを読んで理解する能力があるらしいと分かった!今まで人間はモデルウエイトの中身サーパリ理解できなくて「AIの中身はブラックボックス!」とか言ってたのにいつの間にかAIはAIの中身読めるようになってた!あまつさえウエイトを直接編集、修正、生成する事さえできる!!研究者はこれはWeight-Space Programmingと名付けた
もっと見る
🔁 簡単なトークンにも難しいトークンにも同じ計算量を使っている。拡散言語モデルが自己回帰モデルに勝てない原因は、そこにあるという指摘です。 タイトル: ALoDLM: Adaptively Looped Diffusion Language Models URL: 📘 概要 拡散言語モデルの各デノイジングステップに「内側ループ」を入れ、トークンごとに異なる深さで計算を打ち切れるようにした手法です。11ベンチマークの平均で、同規模の拡散モデルだけでなく自己回帰ベースラインも上回りました。 🔥 解決する課題 1回のデノイジングで、予測しやすい位置と計算を要する位置が混在します。しかし標準的な拡散モデルは全マスク位置に同じ固定深度を適用するため、簡単な予測に計算を浪費し、難しい予測には計算が足りません。信頼度ベースの繰り越しも、繰り越したトークンの潜在計算を捨てて次ステップで再計算するため根本解決になりません。 🛠 方法論と提案手法 Transformerを前段・再帰コア・後段に分け、再帰コアを最大4回まわします。 ・予測エントロピーが閾値以下のトークンは確定し、離散埋め込みとして次パスの文脈になります ・未解決のトークンは潜在状態を保持したまま洗練を続けます ・停止確率を累積し、閾値に達したら内側ループを抜けます 確定が文脈を変えるため離脱スケジュールの厳密な総和は不可能で、離脱深度を潜在変数とみなす変分下界と不偏勾配推定で学習します。 📊 実験結果 ・平均スコアは1.7Bで65.5、8Bで80.3。Qwen3の63.8と78.5をいずれも上回りました ・GSM8Kで、同等以上の精度を保ちつつvLLM提供のQwen3-8Bの約2.7倍のスループット ・推論時に離脱閾値を上げるとループ数が1.6から2.34に増え、平均スコアも77.9%から79.1%へ ・難易度ラベルなしで、数値トークンに最も深い計算を割り当てる挙動を自ら学習しました #拡散モデル# #LLM#
もっと見る
モデルが同じ文を延々と繰り返すループ癖を、重みのビット編集だけで直せるとしたらどうでしょう。 Tree-Ising: Repairing Language Models with Bit-Level Ising Edits 📌 概要 Qwen3.5-0.8B の thinking モードのループを、重みのスパースな離散ビット編集で修復する手法です。勾配も学習も使いません。 ⚠️ 解決する課題 先行研究はLLMエージェントに重みを読ませて修復させ、約312ドル、15.6時間かかっていました。 🧩 提案手法 ・BF16の符号と4ビット状態だけを動かす(共有指数と仮数は不変) ・ループ方向で2層を選び、出力行ごとに512スピンのQUBOに分解 ・焼きなまし法などで求解 📊 実験結果 ・MATH-500@4:エージェント51.7%に対し54.6〜55.1% ・GSM8K:65.6%に対し70.5〜70.8% ・約0.90ドル、フォワード4回 ・2Bモデルでは GSM8K 21.6%→69.4%(報告値) 数学ベンチマークのループ修復のみの検証で、コードは近日公開予定とのことです。 #LLM# #量子最適化#
もっと見る
最近のループエンジニアリングに対する僕の考え方を共有👇 モデル自体が賢くなってきたので、実装エージェント単体でも十分良いコードが作れるようになってきた。従来推奨と思われてきた複数エージェントや複数モデルによるレビューはかえってトークンの無駄遣いになりがちとなっている。なので、目的や手順を定めずに「複数レビューして」というような指示は禁止するようにしている 静的解析や形式検証 >>> エージェントによる定性的レビュー。優先すべきは、いつも行っている作業を静的解析やルールブックに落とし込めるかどうか。小さいことからエージェントにlint化・自動化を進めてもらう。 AIは今やインターン生や従業員。AIにコンテキストを伝えるという感覚は捨てて、人間に教える感じで伝えると良い。slackでビジネスメンバーやエンジニアメンバーに伝えるときどのようにしてる? ループとは大きな骨格(ハーネス)と、小さな骨格(プレイブック)で構成された集合体なので、構築を考えるときは小さな骨格から考え始める。つまりコンテキストエンジニアリングと変わらない。新しい言葉だからといって嫌悪感を感じずに、これまで通り「コンテキストを少なく、試行回数が少なく、エージェントがゴールまで辿り着くにはどうすればいいか」を考えてエージェント設計することが大事。 人間のレビューをclaudeに任せると、レビュワーエージェントが必要なコンテキストを持っていない場合に粗悪な成果物が出来上がる&時間を無駄にするので、レビュワーのレビュールールを大事にすること。 抜け漏れチェックや完了条件を設定できていない業務フローは、普段適当に仕事をしているのと同じなので、自分の業務を棚卸するという意味を込めて言語化する。 エージェントには、常に一歩先のゴールまでできるか語りかける。エージェントの限界点を人間が決めないことが大事。
もっと見る
ループエンジニアリング、開発レイヤーだけ自動化してもあんまりだろうし、そうなってくると現場レイヤーのインナーループと、マネジメントレイヤーを模したミドルループ、そして経営レイヤーとしてのアウターループみたいになるのか? 人間の役割はどこだ、株主???
もっと見る
「作業を効率化したい」と思いながら、ツールを探すこと自体に時間がかかって、結局何も変えられないまま ——というループ、ありませんか。 最近話題の作業効率化アプリ「Raycast」を使うと1日の作業時間がどのくらい変わるのか...?気になります 今夜20時に、モーリー先生(@skillfreakdx)のもとへ一緒に聞きにいきましょう💨 無料生放送の受講はこちらから▼
もっと見る
ネコちゃんが3匹いるとトイレを片付けても片付けてもても 綺麗になったにゃ❓🐈するかにゃ💕 というループでお掃除が終わらないにゃっ
己が戦車自身となるビークルアクション『TankRat』2026年末へ発売延期…!セーブ機能改善やうストーリー要素の強化など語る開発進捗トレイラー公開 前作『TankHead』の反響を元に、敵を倒し、パーツを奪い、車両を強化するというループの更なる強化に重点を置いたといいます
もっと見る