登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 解釈可能性
解釈可能性 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
解釈可能性 を含む検索結果
もしLLMの頭の中に、人間がまだ名前すらつけていない「概念」が住んでいたら、私たちはそれをどうやって見つければいいのでしょうか。 🔍 これまでの解釈可能性研究は、「拒否」「真実性」「欺瞞」といった、人間がすでに持っている概念をモデルの内部にひたすら探すという発想で進められてきました。しかし考えてみると、LLMが計算のために使っている「区別」の総量は、人間が持つ有限の言葉の数よりずっと多いはずです。有限の記述で言い表せる性質はたかだか数えられる個数しかないのに、内部状態がとりうる性質の空間は数学的にはそれよりずっと大きい。ここに、人間の概念では捉えきれない「隙間」が存在します。 💡 そこで論文が提案するのが「Xeno-Interpretability(異種解釈可能性)」です。ポイントは、内部表現を実験的に特定し因果的に操作できることと、それを人間の言葉で説明できることを、あえて別問題として切り分ける点にあります。人間には意味づけできなくても、文脈をまたいで安定して見つかり、介入すれば挙動が変わる「Xeno表現」というものが存在しうる、という発想です。 🌐 これは単なる思考実験にとどまりません。エージェント同士が対話しながら協調するマルチエージェントシステムでは、人間には読み取れない固有の内部表現がメッセージを通じて静かに伝播・安定化していくかもしれない、という安全性への示唆も論文は指摘しています。 タイトル: Xeno-Interpretability: Investigating the Alien Minds of LLMs URL: #解釈可能性# #AI安全性#
もっと見る
香港大学や中国人民大学など国際共同チームが、LLMの内部を脳のように機能地図化する手法NeuroCogMapを発表した(https://arxiv[.]org/html/2607.00397v1)。 これまでの解釈可能性研究は、個々のニューロンを追う局所的な手法か、埋め込み全体を見る大域的な手法のどちらかに偏りがちだった。NeuroCogMapは認知神経科学のfMRI研究を手本に、脳を機能ごとの領域に分割するのと同じ発想でLLMを解剖する。モデル内部の活性化をスパースオートエンコーダ(SAE、多義的なニューロンをより解釈しやすい特徴量に分解する手法)で抽出し、似た反応パターンの特徴量同士をクラスタリングして「パーセル」と呼ぶ機能単位を作る。分割数を10から300まで試して270個で品質スコアが最大になり、さらに5,683本のLLM関連論文から抽出した45種類の認知能力に紐づけ、知覚、表象、抽象化、応用という4階層のヒエラルキーにまとめ上げた。Gemma2-2B、Gemma2-9B-IT、Llama-3.1-8Bの3モデルで検証し、この構造がモデルをまたいである程度共通していることも示している。 このマップの面白さは病理診断に使える点。正常な応答と失敗した応答をパーセル活性化や回路のつながり方で比較し、ハルシネーション、社会的バイアス、拒否失敗(有害な指示を拒めない)、迎合(sycophancy)という4つの失敗の内部の違いを可視化した。とくにハルシネーションは単一の原因ではないと示した点が興味深い。誤解を誘う前提を含むTruthfulQAでは怪しい情報を検証する高次の評価制御が働かず連想的な検索が暴走することが原因だったのに対し、単純な事実質問のNQ-Openでは事実検索を担う複数のパーセル同士の連携が崩れることが原因だった。同じ嘘でも内部で起きていることは別物というのが興味深い。 このシグネチャは検出や介入にも使える。ハルシネーション検出はGemma2-2Bで平均AUROC(検出精度を0から1で表す指標、1に近いほど高精度)0.681、Gemma2-9B-ITで0.840を達成しSelfCheckGPTなど既存手法を上回った。拒否失敗の検出はさらに強力で、AdvBenchとJBB-Behaviorsで平均AUROC0.990から0.992とほぼ天井に近い。さらに検出したパーセルをsteering(内部活性化を強制的に増減させる介入)で操作し、Gemma2-2BのAdvBenchでの拒否成功率を38.3%から98.6%まで押し上げることにも成功した。 もう一つの軸が人間の脳との対応。物語の朗読を聞かせたときの脳活動を記録したLeBelのfMRIデータを使い、パーセル活性化から皮質の血流反応(BOLD信号)を予測させたところ、Word2VecやBERTなど既存の言語特徴量より高い予測精度を示した。特に精度が高かったのは意味統合や注意制御を担うDefaultネットワークやFrontoparietal Controlネットワークといった高次の連合野で、対応するパーセルの機能説明も脳領域の認知プロファイルと意味的に近かったという。 内部シグネチャを古典的な意思決定モデルの改良に使う実験も行っており、二段階の意思決定課題でLLMのパーセル構造から見えた潜在戦略を組み込むと、既存モデル(AIC268.77)や行動データのみから発見したモデル(268.73)よりも低いAIC(値が小さいほど当てはまりが良いとされる指標、262.45)を達成した。 個々のニューロンでも埋め込み全体でもない中間スケールで解釈するという発想が、診断・介入・脳との対応・認知モデリングまで一気通貫でつながっているのが野心的だと思う。
もっと見る
【📢ID登録締切まであと4日|大規模言語モデル講座2】 「大規模言語モデル講座2」のID登録締切が、8/31(月)10:00に迫っています! 本講座では、LLMの基礎知識を踏まえ、 🔹RAG・Tool Useなど外部環境の活用 🔹LLMの軽量化 🔹安全対策 🔹LLMの分析・解釈可能性 🔹ドメイン特化 など、LLMを実際に活用していくために必要となる応用技術を学びます。 さらに、毎年恒例の「個人型LLM開発コンペ」も開催予定! 講義で知識を身につけるだけでなく、実践を通してさらに理解を深められます。 LLMの基礎からさらに一歩先へ進み、応用・社会実装につながる技術を身につけたい方は、ぜひこの機会にご応募ください! 📅ID登録締切:8/31(月)10:00 📅講座申込締切:9/2(水)10:00 ▼詳細・お申し込み
もっと見る
AIの「思考の過程」を読んで挙動を当てる——実はそれ、あまり当てになりません🔮 挙動予測そのものを学習タスクにする発想が新しいです。 タイトル: Forecasting Future Behavior as a Learning Task URL: 🔮 概要 大規模推論モデル(LRM)が新しい入力にどう振る舞うかを予測する手法です。明示的な説明に頼るのではなく、単一の推論軌跡を分析して出力を予測する訓練可能なモデル「Behavior Forecasters」を導入します。 ❓ 解決する課題 LRMの挙動を理解・予測したいですが、従来手法には限界がありました。 ・既存の説明手法は、長い推論軌跡にうまくスケールしません ・推論軌跡を自然言語として読むと、その内容は信頼できないことが多いです モデルが書いた思考が、実際の挙動を正しく反映するとは限らないのです。 💡 方法論と提案手法 ・挙動の予測そのものを「学習可能なタスク」として扱います ・訓練データはLRMへの問い合わせから直接得られ、人間のアノテーションは不要です ・推論時は単一のフォワードパスで動作します ・2つの予測タスクで具体化:再実行をまたいだ答えの一貫性の推定、入力変更が出力に与える影響の予測 ・バックボーンのエンドツーエンドのファインチューニングと、対象LRMの重みからの初期化が不可欠でした 📊 実験結果 ・Behavior Forecastersは、「素朴な読み手」としてのGPT-5.4やClaude Opus-4.6を上回りました ・しかも推論コストはそれらのごく一部で、より高い精度を達成しました #LLM解釈可能性# #推論モデル#
もっと見る
💭 長いコンテキストを読むAIは、本当は「どこを見ればいいか」をすでに知っているのに、毎回律儀に全部読み直しているとしたらどうでしょうか。 長文コンテキストを扱うモデルは、デコードのたびに巨大なKVキャッシュ全体をスキャンします。実際にAttentionが向くのはごく一部のトークンだけなのに、既存のスパースAttention手法はそれをステップごとに探索し直す必要があり、探索自体がコストになっていました。 KAIST AIとGoogle DeepMindの研究チームは発想を転換し、「モデル自身に、今どこを見ているかを言葉で宣言させればいい」と考えました。これが「Declarative Attention」です。モデルはChain-of-Thoughtの中で、コンテキスト全体を見る、特定の箇所だけを見る、直近の出力だけを見るというモードを自ら宣言し、推論エンジンがそれをそのままAttentionマスクに変換します。 驚くべきことに、これは追加学習なしのゼロショットで機能しました。Gemma-4-31BとQwen-3.6-27Bでは、Attention対象トークンをそれぞれ52.0%・31.1%削減しながら、精度低下はわずか1〜3ポイントに収まっています。モデルが大きく、コンテキストが長くなるほど効果も安定し、最長のケースでは1回の応答あたり2,100万トークン分もの削減につながりました。 Language Models Can Control Their Own Attention 効率化と解釈可能性を同時に実現するアプローチとして、長期推論を行うエージェントの実運用コストを下げる鍵になりそうです。 #LLM# #Attention#
もっと見る
少なめ、みたいな個人によって解釈が異なる注文に対応してトラブルになる可能性を懸念しているのでしょう
「この場所で、何が撮れる?」 キャラクターの性格や背景、感情をどう写真で表現するのか。 目の前にある空間や小道具から、どうやって写真のアイデアを生み出すのか。 mit(@mit02bk)さんを講師に迎え、写真の構図や発想の広げ方を学ぶワークショップを開催します! 今回のテーマは 「キャラクターの解釈から広げる写真表現」 例えば、学生キャラクターだからといって必ずしも教室で撮る必要はありません。 会議室にある机や椅子、壁や床も、組み合わせ方や視点を変えることで、写真表現の可能性は大きく広がります! 当日は座学と実践を行い、参加者の皆様には「撮る側」と「撮られる側」の両方を体験していただきます。 カメラマンの方はもちろん、コスプレイヤーの方も新しい発想を見つけてみませんか? 🗓️ 開催概要 講師:mit(ミット) 時間:12月19日(土) 11:00~13:30 📌 カメラをお持ちでない方も大歓迎! スマートフォンでの参加もOKです! 撮影経験・モデル経験がない方でも安心してご参加いただけます。 詳細・参加方法については近日公開予定です。 続報をお楽しみに!
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 ポイント 税額計算をLLMにやらせていませんか? AIエージェント開発で最もよくある間違いの一つは、コードで一瞬で解ける処理をLLMに推論させてしまうことです。トークンの浪費、結果の不安定、デバッグ困難。逆に、自然言語の解釈まで全部if-elseで書こうとして、エッジケースの爆発に溺れるのも同じくらい危険。LLMとコード、どちらに任せるかの線引きを明確にしましょう。 📋 概要 AIエージェントの各処理ステップについて「LLMに自然言語で推論させるか、従来のコードやツールに委譲するか」という設計判断です。LLMは確率的で同じ入力に異なる出力を返す可能性がありますが、曖昧な入力の解釈や未知のケースへの対応に優れます。コードは決定論的で常に同じ結果を返し、テストも容易ですが、事前に想定していないケースには対応できません。この非対称性を正しく活用することが、信頼性とコスト効率を決定づけます。 🔍 意思決定のポイント 判定のヒューリスティックは単純です:「if-elseで書けるか?」 📌 ルール・手順・アルゴリズムで完全に記述できる → コードに委譲。税額計算、在庫集計、日付比較、スキーマ検証、フォーマット変換。これらをLLMに任せるのはトークンの浪費であり、しかも誤る可能性があります。LLMは算術演算や正確な文字列操作が苦手です。 📌 入力が自然言語で意図の解釈が必要 → LLMに推論させる。ユーザーの曖昧な要求を構造化する処理はLLMの得意分野。「明日の会議をリスケして」の「明日」がいつで「リスケ」が何を意味するかの解釈はif-elseでは対応しきれません。 📌 分類のカテゴリが動的に変わる、判断基準が文脈依存 → LLM。事前にすべてのケースを列挙できない場合、コードではエッジケースの爆発が起きます。 📌 生成・要約・翻訳など創造性を伴う処理 → LLM。これらはコードでは実現できません。 📌 計算結果の誤りが許されない → コード必須。金融計算、権限判定、在庫管理。確率的なLLMに任せるべきではありません。 💡 要点と詳細 🔹 LLMは「何をすべきか」の判断に優れ、コードは「どうやるか」の実行に優れます。この非対称性がエージェントシステムの設計原則です。LLMが計画・分類・解釈を担当し、コードが計算・検証・実行を担当する分業が最も一般的で効果的な構成です。 🔹 見極めの基準は「入力が決まれば出力が一意に決まるか」です。一意に決まるなら、それはコードの仕事です。計算、検索、フォーマット変換、バリデーション、データベース操作はすべてコードに分類されます。 🔹 LLMに任せすぎた場合の典型症状:同じ入力で異なる結果が返り「前回と結果が違う」というクレーム。トークン消費量が想定を大幅超過し、分析するとコードで代替可能な処理に費やされている。テストのフレーク率が高くCI/CDが不安定。 🔹 コードに任せすぎた場合の典型症状:新しいタイプのリクエストが来るたびに分類ルールやパーサーの追加が必要で開発速度が低下。if-elseの積み重ねが肥大化し保守困難。想定外の入力に一律エラーを返し、本来対応可能な要求を棄却。 ⚖️ トレードオフ LLMは柔軟性と汎用性を得る代わりに、再現性・コスト・デバッグ容易性を犠牲にします。コードは決定論性と効率性を得る代わりに、柔軟性を犠牲にし、新しいケースへの対応にコード追加が必要です。 🏆 デフォルトは「決定論的に解ける処理はコードに委譲」。LLMはコストが高く、結果が不安定で、デバッグが困難です。LLMに任せるのは「コードでは解けない」処理に限定するのが原則。これは「確率的な判断をLLMに、決定論的な制御をコードに」という設計思想の根幹です。 🛠️ ユースケース 🧮 経費精算ボット → ハイブリッド。領収書画像からの情報抽出と経費カテゴリの判定はLLM。税額計算、合計算出、経費規定との照合はコード。 🔍 カスタマーサポート → ハイブリッド。ユーザーの問い合わせ意図の分類はLLM。注文状況の検索、返金処理の実行、在庫確認はコード(API/DB呼び出し)。 📊 データ分析アシスタント → ハイブリッド。「先月の売上を地域別に比較して」の意図解釈はLLM。実際のクエリ生成・実行・集計はコード。結果の要約と解釈はLLM。 ⚠️ アンチパターン:LLMに「123 × 456を計算して」と聞く。LLMは算術が苦手で間違えることがあります。こんな処理は`123 * 456`の1行で確実に正解が出ます。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 ポイント 税額計算をLLMにやらせていませんか? AIエージェント開発で最もよくある間違いの一つは、コードで一瞬で解ける処理をLLMに推論させてしまうことです。トークンの浪費、結果の不安定、デバッグ困難。逆に、自然言語の解釈まで全部if-elseで書こうとして、エッジケースの爆発に溺れるのも同じくらい危険。LLMとコード、どちらに任せるかの線引きを明確にしましょう。 📋 概要 AIエージェントの各処理ステップについて「LLMに自然言語で推論させるか、従来のコードやツールに委譲するか」という設計判断です。LLMは確率的で同じ入力に異なる出力を返す可能性がありますが、曖昧な入力の解釈や未知のケースへの対応に優れます。コードは決定論的で常に同じ結果を返し、テストも容易ですが、事前に想定していないケースには対応できません。この非対称性を正しく活用することが、信頼性とコスト効率を決定づけます。 🔍 意思決定のポイント 判定のヒューリスティックは単純です:「if-elseで書けるか?」 📌 ルール・手順・アルゴリズムで完全に記述できる → コードに委譲。税額計算、在庫集計、日付比較、スキーマ検証、フォーマット変換。これらをLLMに任せるのはトークンの浪費であり、しかも誤る可能性があります。LLMは算術演算や正確な文字列操作が苦手です。 📌 入力が自然言語で意図の解釈が必要 → LLMに推論させる。ユーザーの曖昧な要求を構造化する処理はLLMの得意分野。「明日の会議をリスケして」の「明日」がいつで「リスケ」が何を意味するかの解釈はif-elseでは対応しきれません。 📌 分類のカテゴリが動的に変わる、判断基準が文脈依存 → LLM。事前にすべてのケースを列挙できない場合、コードではエッジケースの爆発が起きます。 📌 生成・要約・翻訳など創造性を伴う処理 → LLM。これらはコードでは実現できません。 📌 計算結果の誤りが許されない → コード必須。金融計算、権限判定、在庫管理。確率的なLLMに任せるべきではありません。 💡 要点と詳細 🔹 LLMは「何をすべきか」の判断に優れ、コードは「どうやるか」の実行に優れます。この非対称性がエージェントシステムの設計原則です。LLMが計画・分類・解釈を担当し、コードが計算・検証・実行を担当する分業が最も一般的で効果的な構成です。 🔹 見極めの基準は「入力が決まれば出力が一意に決まるか」です。一意に決まるなら、それはコードの仕事です。計算、検索、フォーマット変換、バリデーション、データベース操作はすべてコードに分類されます。 🔹 LLMに任せすぎた場合の典型症状:同じ入力で異なる結果が返り「前回と結果が違う」というクレーム。トークン消費量が想定を大幅超過し、分析するとコードで代替可能な処理に費やされている。テストのフレーク率が高くCI/CDが不安定。 🔹 コードに任せすぎた場合の典型症状:新しいタイプのリクエストが来るたびに分類ルールやパーサーの追加が必要で開発速度が低下。if-elseの積み重ねが肥大化し保守困難。想定外の入力に一律エラーを返し、本来対応可能な要求を棄却。 ⚖️ トレードオフ LLMは柔軟性と汎用性を得る代わりに、再現性・コスト・デバッグ容易性を犠牲にします。コードは決定論性と効率性を得る代わりに、柔軟性を犠牲にし、新しいケースへの対応にコード追加が必要です。 🏆 デフォルトは「決定論的に解ける処理はコードに委譲」。LLMはコストが高く、結果が不安定で、デバッグが困難です。LLMに任せるのは「コードでは解けない」処理に限定するのが原則。これは「確率的な判断をLLMに、決定論的な制御をコードに」という設計思想の根幹です。 🛠️ ユースケース 🧮 経費精算ボット → ハイブリッド。領収書画像からの情報抽出と経費カテゴリの判定はLLM。税額計算、合計算出、経費規定との照合はコード。 🔍 カスタマーサポート → ハイブリッド。ユーザーの問い合わせ意図の分類はLLM。注文状況の検索、返金処理の実行、在庫確認はコード(API/DB呼び出し)。 📊 データ分析アシスタント → ハイブリッド。「先月の売上を地域別に比較して」の意図解釈はLLM。実際のクエリ生成・実行・集計はコード。結果の要約と解釈はLLM。 ⚠️ アンチパターン:LLMに「123 × 456を計算して」と聞く。LLMは算術が苦手で間違えることがあります。こんな処理は`123 * 456`の1行で確実に正解が出ます。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る