【イベント紹介】 『ニューラルクラウド』とのコラボコンテンツ「異次元深淵」、7月23日(木)からリニューアル開放！ イベントに参加してコーラップスピースなどの報酬を受け取りましょう！ #ドールズフロントライン2# #ドルフロ2#

高価なニューラルインデックスを毎回作り直さずに、定番のBM25検索を賢くする——クエリ書き換えをトークン1個ずつ最適化するという、面白いアプローチです🔎 タイトル: STORM: Stepwise Token Optimization with Reward-Guided Beam Search URL: 🔎 概要 STORMは、検索の良し悪しに導かれてクエリ書き換えモデルを訓練する枠組みです。トークンを1つ生成するごとに、候補となる拡張語をBM25インデックスに照らして評価し、検索を実際に改善する語彙だけに探索を集中させます。 ❓ 解決する課題 現代の検索は密ベクトルや学習済みスパースのニューラルモデルに依存しますが、BM25のような語彙検索は高速な反面、同義語や言い換えに弱いです。 ・密ニューラル検索器は、モデルを変えるたびに高コストなインデックス再構築が必要です ・LLMによるクエリ書き換えは、「整った表現だが検索に効かない、あるいは有害な用語」を生みがちです ・訓練では系列レベルの遅延フィードバックしか得られず、どの個々の単語が効いたかが見えにくいです 💡 方法論と提案手法 ・検索性能に導かれたビームサーチ（reward-guided beam search）で自己教師あり訓練を行います ・トークン生成ごとに候補拡張語をBM25で評価し、性能の低い候補を枝刈りします ・これにより、検索指標をトークンレベルの信号に変換し、探索を有効な語彙へ集中させます ・BM25インデックスを使うため、ニューラルインデックスの再構築が不要で、インフラが軽量です 📊 実験結果 ・0.6B〜8Bパラメータのモデルが、競合するLLM書き換え器と同等以上の性能を達成しました ・BM25の速度的な優位性を維持しています ・8B版は、はるかに大きな商用システムに匹敵しました ・18言語（MIRACL）へのゼロショット転移で、専用の多言語密検索器を平均で上回りました 🌍 ユースケース インデックス再構築のコストを避けたい検索基盤や、多言語検索を低コストで強化したいシステムに向きます。既存のBM25パイプラインを活かしつつ性能を底上げできるため、検索を本番運用するチームにとって採用しやすい現実解です。 #検索# #BM25#

☀️RESONAC MORNING INSIGHT🔍 今朝は、株式会社ニューラル 代表 #夫馬賢治# さん(@KenjiFuma)をお迎え✨ ／ #別所哲也×ゲストでお届けした朝時間📻# 🗣️Podcastでもお聴きいただけます！ ＼ 過去の放送と併せてチェック！ ➡️ #ohayomorning# #jwave# #Spotify#

☀️RESONAC MORNING INSIGHT🔍 今朝は、株式会社ニューラル 代表 #夫馬賢治# さん(@KenjiFuma)をお迎え✨ ✔︎ サステナビリティ経営の現在地 ✔︎ 気温上昇のスポーツへの影響🥵 ✔︎ Jリーグの試合日程、秋春制へ⚽️　など 👇詳しくは #radiko# で！ #ohayomorning# #jwave#

TL;DR 自然言語で書いた仕様書から、大きな教師LLMを一度だけ動かして小さな専用ニューラル関数を「訓練によってコンパイル」する新手法です。難しいベンチマークでの精度をわずか数十秒〜数分で大きく引き上げます。 タイトル: Compile by Training: Turning Natural-Language Specifications into Local Neural Functions URL: 🎯 GPT-5.4-miniとGPT-5.5を2:1で混合した教師モデルが入出力例を自動生成し、Qwen3-0.6BにLoRA（ランク64）でその場から焼き込みます ⚡ 難易度の高いFuzzyBench-Hardで、既存の高速コンパイラのLEM 0.224から0.836へと大幅に精度が向上しました 🕒 コンパイルにはB300 GPUで約51秒かかりますが、教師によるデータ合成と訓練を並行実行しGPUの手待ちを削減しています 🌐 4サイトを横断するQAアシスタント（30本中28本が本番稼働）や自然言語から3D操作DSLへの変換（44命令中43成功）など幅広い実用例で検証済みです 📈 教師混合とデータ量のアブレーションでは、2,400〜3,600ユニークペア付近で精度が飽和することも分かりました 💬 大規模モデルを毎回呼び出すのではなく、一度学ばせて小さく持ち帰る発想は、頻繁に実行される中程度の複雑さのタスクに効きそうです #LLM# #LoRA#

TL;DR 自然言語で書いた仕様書から、大きな教師LLMを一度だけ動かして小さな専用ニューラル関数を「訓練によってコンパイル」する新手法です。難しいベンチマークでの精度をわずか数十秒〜数分で大きく引き上げます。 タイトル: Compile by Training: Turning Natural-Language Specifications into Local Neural Functions URL: 🎯 GPT-5.4-miniとGPT-5.5を2:1で混合した教師モデルが入出力例を自動生成し、Qwen3-0.6BにLoRA（ランク64）でその場から焼き込みます ⚡ 難易度の高いFuzzyBench-Hardで、既存の高速コンパイラのLEM 0.224から0.836へと大幅に精度が向上しました 🕒 コンパイルにはB300 GPUで約51秒かかりますが、教師によるデータ合成と訓練を並行実行しGPUの手待ちを削減しています 🌐 4サイトを横断するQAアシスタント（30本中28本が本番稼働）や自然言語から3D操作DSLへの変換（44命令中43成功）など幅広い実用例で検証済みです 📈 教師混合とデータ量のアブレーションでは、2,400〜3,600ユニークペア付近で精度が飽和することも分かりました 💬 大規模モデルを毎回呼び出すのではなく、一度学ばせて小さく持ち帰る発想は、頻繁に実行される中程度の複雑さのタスクに効きそうです #LLM# #LoRA#

8時をまわりました！ 🌈十人十色🌈 お出かけの方はぜひ #radiko# で #ポータブル別所哲也# を🕺 このあと、🕣8:35頃からは… ☀️RESONAC MORNING INSIGHT🔍 株式会社ニューラル 代表 #夫馬賢治# さん(@KenjiFuma)をお迎えします⚽️✨ #ohayomorning# #jwave# #別所哲也#

【📢締切延長｜DL基礎講座2026 Autumn】 Deep Learningを基礎から実践的に学べる「DL基礎講座2026 Autumn」の申込締切を延長しました！ 📅ID登録締切：9/24（木） 📅講座申込締切：9/28（月） 本講座は、JDLA「E資格」の認定講座です🎓 所定の要件を満たすことで、E資格の受験資格取得を目指すことができます。 講座では、ニューラルネットワークの基礎から、 🔹画像認識・CNN 🔹Transformer・大規模言語モデル 🔹表現学習・自己教師あり学習 🔹深層強化学習 🔹深層生成モデル まで、Deep Learningに関する幅広い技術を体系的に学びます。 半数以上の回で演習を実施し、Pythonによるモデル実装にも挑戦。理論を学ぶだけでなく、実際に手を動かしながら理解を深められる講座です。 Deep Learningを基礎から本格的に学びたい方は、締切延長となったこの機会にぜひお申し込みください！ ▼詳細・お申し込みはこちら

ゲームの世界モデルはピクセルを直接生成しがちですが、長く回すほど姿勢や幾何がズレていきます。Marionetteは「正確さが要る部分」を潔く手放しました。 タイトル: Marionette: Predicting World States, Rendering Geometry, Painting Appearance URL: 幾何・遮蔽・運動は決定的レンダラーに委ね、ニューラルには見た目だけを描かせる世界モデルです。注目ポイントは3つ。 🎮 注目ポイント1: 明示的な276次元の世界状態を予測 ピクセルではなく、関節・ルート軌跡・回転からなる3D状態を2段階の自己回帰で予測します。制御は行動トークンを上書きするだけ（プレイヤーのボタン押下と同じ）。誤った行動を強制するとポーズが約31%ズレる＝制御が確かに効いている証拠です。 📐 注目ポイント2: ゼロパラメータの決定的レンダラー 6つの閉形式演算だけで状態をポーズ制御動画へ変換。ワールド整合性・遮蔽順序・計量スケールが「構成上」保証されます。長期の破綻は、外見モデルを再訓練せず地形コライダーなどのルールで修復でき、貫通を66%削減しました。 🎨 注目ポイント3: 見た目だけを担う動画拡散 Wan2.2-Fun-5Bベースの拡散が、正確な幾何の上に写実的なRGBを合成。予測状態経由でもFVDは831（記録状態799、ピクセル自己回帰は975）で、忠実度の低下は検出されませんでした。 正確さは決定的計算に、見た目はニューラルに。世界モデルの分業の good design です。 #WorldModels# #GameAI#

LLMにおけるハルシネーションは、大きく真偽接地問題と汎化の問題から生じていると整理できる。 真偽接地問題とは、生成した命題の真偽を外界の事実とどのように結びつけるかという問題である。なお、真偽接地問題はここで用いる私の造語である。 言語的なもっともらしさと、外界における命題の真偽は異なる。しかし、通常の言語モデルは主として言語分布を学習しており、この二つを直接区別するようには学習されていない。 これと関連する概念として、記号接地問題がある。記号接地問題とは、記号の意味を外界にどのように結びつけるかという問題である。例えば「りんごは赤い」という文の意味は、単なる「りんご」「赤い」という記号同士の関係だけで決まるのではなく、それらが実世界の対象や知覚とどのように対応しているかによって定まる。 これに対して、ここでいう真偽接地問題は、ある命題の真偽を外界の事実にどう結びつけるかという問題である。例えば、ある会社の代表者として無関係な人物を挙げたり、存在しない製品名を生成したりする場合、その出力は単語列としてはもっともらしくても、外界の事実とは対応していない。 概念的には、 p(true | 命題, 外界) を推定できるかどうかの問題と捉えることができる。 もう一つは、汎化、あるいは平滑化の問題である。言語モデルは有限の訓練データから学習するため、訓練中に観測していない系列に対しても適切に確率を割り当て、汎化する必要がある。 従来の言語モデルでも、一度も学習中に観測していない単語列に確率0を与えてしまうことは大きな問題だった。そのため、頻度ディスカウントや平滑化によって、既観測系列に割り当てられた確率の一部を未観測系列へ移していた。 ニューラル言語モデルは、分散表現による汎化によって、この平滑化問題を驚くほど自然に解決した。訓練中に一度も見ていない単語列であっても、その意味や文脈が既知のものと似ていれば、もっともらしい確率を割り当てることができる。 しかし、この強力な汎化能力は、事実を扱う場合には副作用を持つ。正解が一意に定まる事実についても、観測していない誤った候補に確率を与えてしまうからである。汎化する能力そのものが、ハルシネーションの原因にもなりうる。 さらに、この二つの問題は独立というより、相互に関係している。真偽が十分に接地されていないために正しい候補を識別できず、その不確実性の中で平滑化・汎化が働くことで、もっともらしい誤った候補にも確率が乗る。 真偽接地問題については、学習時に言語表現と外界の状態や検証可能な事実との対応を明示的に与えることで、ある程度解決できる可能性がある。 ただし、外界そのものの定義も単純ではない。現実世界だけでなく、あるゲーム世界、ある人物が信じている世界など、命題の真偽は前提とする世界や文脈によって変わりうる。この点まで含めて、どの世界に対する真偽なのかを接地する必要がある。 一方、汎化の問題も本質的にどこまで解決できるかは分からない。未観測例への汎化は、有限データから学習するために不可欠である。そのため、未知の対象にも確率を与えるという性質そのものをなくすことはできない。 必要なのは、汎化に任せる領域と、厳密な制約や構造化された情報によって扱う領域を組み合わせることだろう。 特にロングテールの情報、すなわち学習中に一度から数回しか観測されない事実を扱う場合、汎化だけによって高い網羅性とほぼ完全な正確性を同時に実現することは難しい。この領域では、ある程度の誤りを受け入れるのか、それとも外部知識・検証器を利用して回答範囲を制限するのか、という選択が必要になる。