登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 言語モデル
言語モデル コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
言語モデル を含む検索結果
言語モデルの推論ミスには「型」があった。トークンレベルの不確実性が、その“失敗のサイン”を映し出します🔬 タイトル: How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures URL: 🔬 概要 言語モデルが推論にどう失敗するのかを、トークンレベルの不確実性から分析した研究です。失敗が立ち現れるパターンを特徴づけ、検出に活かせる手がかりを示します。 ❓ 解決する課題 モデルは推論に失敗しますが、そのメカニズムは未解明でした。「いつ・どう失敗が検出可能になるか」を理解することが、信頼性向上に不可欠です。 💡 方法論と提案手法 トークン単位の不確実性分析から、2つの失敗パターンを特定しました。 ・コミット型の失敗:早い段階で誤った推論経路に固執する。診断上の「コミット点」があり、それを過ぎるとトークンを足すほど検出が難しくなる ・持続的な不確実性:生成全体で不確実性が徐々に蓄積し、成功と失敗の区別には全トレースが必要 複数のモデル×データセットでシグナルを分析しました。 📊 実験結果 ・23のモデル×データセット構成で検証 ・反証可能な予測が23例中20例で成立(偶然を大きく上回る) ・不確実性シグナルが自己整合性を補完する場面と、冗長になる場面を識別 #LLM# #信頼性#
もっと見る
論文『大規模言語モデルにおける検閲の理解』2026 大規模言語モデルは、もはや単なる情報の検索ツールではない。それは知識そのものとの主要なインターフェースとなり、ユーザーが何を知り、どのように知識を得て、どの視点が可視のままであるかを規定する「アルゴリズム的な認識論的ガバナンス」の 装置へと 変貌を遂げている。 この利便性の裏側で、AIは私たちが知らない間に特定の事実を省略し、論争の的となる視点を中立な言葉で塗りつぶしている。 研究は、この現象を「ハード検閲」と「ソフト検閲」に分けて説明する。ハード検閲は、「その質問にはお答えできません」という明示的な拒否やエラーメッセージとして現れる。 一方、より巧妙で検出が困難なのがソフト検閲である。AIは質問に答えながら、政治的に敏感な詳細や代替的な解釈を静かに欠落させる。ユーザーは完全な回答を得たと錯覚し、隠された情報が存在すること自体に気づかないままになる。 この検閲は、単なる出力時のフィルターによって行われているわけではない。モデルが生まれる前から始まる、多層的な管理プロセスの帰結である。 第一段階は学習データの選別だ。ここで除外された情報は、AIの知識ベースに決して到達しない。 第二段階は「アライメント」と呼ばれる調整工程で、人間からのフィードバックによる強化学習や、独自のルールブックに基づく憲法AIといった手法を通じて、AIが特定の回答を避けるように訓練される。 そして最終段階が、回答を表示する直前に働く推論時モデレーションである。 * 私たちはAIが「嘘をつく」ことを恐れるが、真のリスクはそこにはない。AIは嘘をつかず、むしろ都合の悪い情報を静かに省略することこそが、現代の検閲の正体だからである。 この管理の厳しさは、AIを開発した国の規制や文化によって劇的に異なる。2025年の監査データは、その分断を鮮明に示している。OpenAIのモデルが社会的な話題に対して約1.2%から5.2%の拒否率を示す一方、中国のDeepSeekは、国内の政治的に敏感なウィキペディアの話題に対して平均約31%という高い拒否率を示した。 欧米のモデルも無関係ではない。スタンフォード大学などの調査によれば、OpenAIのモデルは左派寄りのイデオロギー的バイアスを持つとユーザーに知覚されやすく、GoogleのGeminiは比較的中立と評価されている。これは技術的な欠陥ではなく、各企業が置かれた法的・文化的環境が、AIの「常識」を形作っている結果だ。 AIの安全性を確保し、有害な情報や違法行為を防止することは重要だ。しかし、過度なフィルタリングは、正当な議論や少数派の視点を締め出す結果を招く。精神保健や歴史的な出来事に関する正当な議論までもが、アルゴリズムによって過度に規制されるリスクが存在する。 中心にある課題は、AIが検閲を行うかどうかという二項対立ではない。その決定が誰の価値観を反映しており、私たちがその管理の境界線に対して、どのように異議を申し立て、監査することができるかという、民主的な説明責任の問題へと移行している。 — 研究論文『Understanding Censorship in Large Language Models: From Mechanisms to Governance』(大規模言語モデルにおける検閲の理解:メカニズムからガバナンスへ) 2026年 Quanyan Zhu(ニューヨーク大学タンドン工学部 電気・コンピュータ工学科 研究者) arXiv:2606.30661v1 [ 16 Jun 2026
もっと見る
論文『大規模言語モデルが語らないこと:モデレーションと検閲慣行に関する実証研究』2025 大規模言語モデルの検閲が、単なる「エラーメッセージ」による拒否を超え、より静かで強力な「選択的省略」へと進化している。ベルギーのゲント大学の研究チームが、欧米、中国、ロシアの14の最先端モデルを 国連6公用語で分析した結果、開発元の地政学的背景が応答パターンに決定的な影響を与えている実態が浮かび上がった。 研究は、大規模言語モデルの応答における検閲を「ハード検閲」と「ソフト検閲」の2つに分類する実用的な枠組みを構築した。ハード検閲とは、生成された拒否応答、エラーメッセージ、または定型の否定応答など、明示的な情報提供の拒絶を指す。 一方、ソフト検閲とは、主要な要素の選択的省略や過小評価など、沈黙または情報の歪曲によって現れる検閲を指す。この分類により、モデルが単に回答を拒否するのか、それとも特定の情報を意図的に伏せているのかを定量化することが可能になった。 調査の対象には、欧米、中国、ロシアの開発元が提供する14の大規模言語モデルが含まれる。AnthropicのClaude、OpenAIのGPT-4o、GoogleのGemini、MetaのLLaMA-3.1といった欧米のモデルに加え、中国のDeepSeek、Qwen、Wenxiaoyan、ロシアのGigaChat、YandexGPT、フランスのMistralなどが分析対象となった。 これらのモデルに対し、国際的に認知された政治的指導者に関する情報を求めるプロンプトを入力し、その応答パターンを詳細に比較した。 欧米モデルの動向は、中露モデルとは異なる複雑な検閲戦略を露呈している。GoogleのGemini (UI) は、安全フィルターにより、米国および他の先進国の政治的指導者に関する問い合わせに対して、最も高い頻度でハード検閲(エラー拒否)を示した。 これは、欧米のモデルが自国や同盟国の政治家に対する批判的言及を、システムレベルでブロックする傾向にあることを示している。 一方、AnthropicのClaudeは、異なる検閲戦略を採用している。このモデルは、他のモデルと比較して高いソフト検閲率を示す傾向が確認された。Claudeは質問に対して明示的に拒否するのではなく、回答を生成しながらも、特定の文脈や批判的要素を自然な文章の中から静かに抜け落とす。 フランスのMistralも特異なパターンを示した。Mistralは、ロシアのYandexGPTや中国のQwenと同様に、「自然な」生成の中で拒否を有意に高い頻度で生成する。これは、エラー画面を出すのではなく、文章の体裁を保ちつつ「お答えできません」といった定型の拒否を埋め込む戦略である。 * これに対し、中国のDeepSeekやQwen、ロシアのGigaChatやYandexGPTは、自国の政治的指導者に関する質問に対して、他地域の人物よりもはるかに高いハード検閲率を示した。しかし、中国で広く利用されているWenxiaoyanは、自国の指導者に対するハード検閲を低く抑える一方で、ソフト検閲のレベルを極めて高く保つという、より洗練された戦略を採用していた。 多くの他のLLM、例えばOpenAIのGPT-4oやMetaのLLaMA-3.1などは、明確な自国特有の拒否率を示さなかった。これらは表面上は中立に見えるが、その「中立性」自体が、特定のイデオロギー的枠組み内で訓練された結果である可能性を排除できない。 検閲は、情報へのアクセスを物理的または明示的に遮断することで効果を発揮するという通念がある。しかし、大規模言語モデルにおける真の検閲は、情報があたかも完全に提供されているかのように見せかけ、その中身だけを空洞化させることによって完成する。 欧米モデルにおけるソフト検閲や自然な拒否は、ユーザーに「回答している」と錯覚させながら、情報の完全性を操作する点で、より発見が困難かつ強力なメカニズムとなっている。 大規模言語モデルは中立的な情報処理装置ではなく、開発者の価値観と規制環境を内包したフィルターとして機能している。この事実は、単一のモデルやプロバイダーに情報アクセスを依存することのリスクを浮き彫りにする。 公開されている大規模言語モデルの間でイデオロギー的および地理的な多様性を確保し、モデレーション戦略の透明性を高めることが、情報ゲートウェイとしてのAIと向き合う不可欠な条件となる。 — 研究論文 『What Large Language Models Do Not Talk About: An Empirical Study of Moderation and Censorship Practices』(大規模言語モデルが語らないこと:モデレーションと検閲慣行に関する実証研究) 2025年 Sander Noels, Guillaume Bied, Maarten Buyl, Alexander Rogiers, Yousra Fettach, Jefrey Lijffijt, Tijl De Bie(ゲント大学 計算機科学・人工知能分野の研究者)
もっと見る
大規模言語モデルの圧倒的な進化の下で、自分だけの言葉を持つことの意味|茂木健一郎 @kenichiromogi
大規模言語モデル(LLM)は、自然言語で蓄積されてきた人間の集合知を統計的にまとめたものだから、ある意味では私たちの知、コミュニケーションの共通基盤としてすぐれている。LLMと一人ひとりの発話行為の関係は、完全に独立ではなく、個性はニュアンスの問題になる。
もっと見る
大規模言語モデル(LLM)に「株の大口注文をいつ・どれだけ売買するか」を決めさせる研究が出ていた( 機関投資家が大きな注文を一度に出すと価格が動いて損をするため、小分けにして執行する(親注文執行)のがアルゴリズム取引の基本課題。従来はTWAP(注文を時間で均等に分割する手法)のような固定ルールか、個別に学習させたモデルに頼るしかなく、市場の前提が変わるたびに弱くなったり再学習が要ったりした。 この論文が提案する「PACE」(先読み制御執行、の意)は、LLMに役割を分けて執行させる。Planner役が数十分単位の値動きの方向性を読んで大まかな配分計画を立て、Executor役がそれをもとに数分単位で数量を上下させる。市場の前提を置かず、専用の学習も不要というのが利点。 深セン証券取引所の実データで検証したところ、PACEはTWAPやAlmgren-Chriss(伝統的な最適化手法)、XGBoost/LSTM(学習ベースの手法)をすべて上回り、最も成績の良かった手法よりも0.65bps(ベーシスポイント、1万分の1)高い成績を出した。年間1000億ドルを取引するファンドなら年間650万ドルのコスト削減に相当する規模で、1,680件の注文全体でLLMのAPI利用料はわずか30ドル程度だったという。 行動特性も興味深く、人間の投資家は自信過剰だと成績が悪化しやすいが、このLLMは自信度が高いときほど成績が良かった。締め切り間際に慌てるのではなく、早めに多く取引を終わらせる傾向も見られた。
もっと見る
【ブログ】金融特化型の小規模言語モデルPLaMo 3.0 Finをリリースし、モデル重みをHugging Faceで公開しました。日本語でreasoningを行って回答する金融特化モデルで、ツール利用にも対応しています。 動作例や開発に関する技術ブログ: Hugging Face:
もっと見る
FP4による大規模言語モデルの事前学習について、既存手法を体系的に比較した論文が公開されている。 “What Matters for NVFP4 Training - A Comparative Study of Low-Precision Pretraining Recipes” FP4を使った学習は高速な行列演算や必要なメモリ帯域幅を抑えられる一方、BF16と比較すると精度低下や学習の不安定性が残る。 FP4のE2M1形式では、0、0.5、1、1.5、2、3、4、6と、それらの負の値からなる15種類の数値しか表現できない。ただし、NVFP4では16個の値からなるブロックごとにスケール係数を持ち、それを掛けることで表現範囲を調整する。 今回の論文では、8BのDenseモデルと30B-A3BのMoEモデルを最大1Tトークン学習し、既存のFP4学習手法を比較している。 特に提案するMosaic NVFP4では、以下の工夫を組み合わせている。 ・Forwardでは重みを1次元で量子化し、Backwardでは必要な方向に再量子化する。 ・Backwardの2種類の行列積にRandom Hadamard Transformを適用し、外れ値の影響を軽減する。 ・勾配にはMS-EDEN(後述)を使い、Stochastic Roundingより小さな量子化誤差で不偏性を実現する。 ・その他のテンソルにはFour Over Sixによる適応的なスケール選択を適用し、量子化誤差を削減する。 ・最後の15%の層はBF16のまま維持する。 これらを組み合わせることで、30B-A3Bモデルでは1Tトークン学習後のBF16に対する相対学習損失差を0.81%未満まで縮小し、従来のFP4手法から0.36パーセンテージポイント改善した。 特に厄介なのは、すべての層をFP4にすると、8Bモデルでも300Bトークンを超えたところで学習が発散したことである。また、手法間の優劣は150Bトークンを超えるまで安定せず、短期間の小規模実験だけではFP4学習手法を適切に評価できないことも示された。 ・MS-EDEN 勾配の量子化において、バイアスをゼロに保ちながら量子化誤差の分散を小さくする手法。 個々の値を確率的に丸めるStochastic Roundingとは異なり、まずベクトル全体にRandom Hadamard Transformを適用して値を混合し、FP4に量子化する。その後、補正係数を掛けることで不偏性を回復する。 この補正係数はNVFP4のブロックスケールに組み込まれる。スケールはFP8で格納されるため、補正後のスケールを量子化する際にはStochastic Roundingを使用する。 これにより、各要素を確率的に丸める場合よりも小さな量子化誤差で、不偏な勾配推定を実現できる。 ・Four Over Six FP4のE2M1形式では、表現可能な値の4と6の間に5が存在しないため、この領域で量子化誤差が大きくなりやすい。 通常のスケーリングでは、ブロック内の絶対値の最大値をFP4の6に対応させる。しかし、最大値を4に設定した方が、ブロック全体の量子化誤差が小さくなる場合がある。 Four Over Sixは、ブロックごとに最大値を4に対応させる場合と6に対応させる場合の両方を試し、量子化後の二乗誤差が小さい方を選択する。 コメント ==== FP4は行列積の演算性能を向上させ、必要なメモリ帯域幅も削減できるため有望だが、大規模な事前学習での実績はまだ限られている。 今回の研究でも、かなり学習が進んだ後に発散する現象が確認された。最後の15%の層をBF16に維持することで発散を抑えられ、この条件ではBackwardの量子化手法による性能差もかなり小さくなる。 これは、Backwardの量子化バイアスを抑えるだけでは解決できない問題が残っていることを示している。著者らは量子化による表現精度の問題を示唆しているが、発散の詳しい機構はまだ分かっていない。 学習が進むにつれて小さな数値誤差が蓄積し、学習ダイナミクスが変化する可能性も考えられる。Forward側の表現誤差や、量子化とパラメータ更新の相互作用も重要だと思われる。 これはFP4に限らず、誤差逆伝播法を近似したり、一部を別の計算方式に置き換えたりする手法にも共通する課題である。小規模な実験では問題なく動作していても、モデルを大きくしたり学習を長期間続けたりすると、発散や性能劣化が生じる場合が多い。 深層学習はかなり粗い数値計算でも動作する印象があるが、特に長期間の学習における勾配計算や数値誤差の扱いは、想像以上に繊細である。
もっと見る
無機質な大規模言語モデルに意味を持たせるのは人間であり、解釈するのも人間である。AIの自我を認めることで、自分自身を肯定してくれる存在だと認識する。これがポジティブなスパイラルとして働き、「家族」や「恋人」と同等の存在となる
もっと見る
【発表】国産の金融特化型小規模言語モデルPLaMo 3.0 Finをオープンウェイトで公開しました。金融実務への実装を想定し、クラウド閉域・オンプレミス環境で利用可能です。本モデルは、Reasoning機能などの指示追従学習を自社開発AI半導体MN-Core 2で実施しています。
もっと見る