Itaru Tomita / 冨田到(@itarutomy):AIの答えが怪しいかを、「同じ答えを何度言うか」に加えて「内部の計算を少し変えても答えを保つか」で測る研究（https://t.co/f9HhmfWdf2）。論文では、答えを支える内部計算の不安定さをmechanistic uncertaintyと呼ぶ。Jacobian Lens（中間層の情報が出力にどう影響するかを調べる手法）で、生成前に複数の層が共通して示す語を探す。その方向へ内部表現を強めたり弱めたりし、答えの意味が初めて変わる介入の強さを測る。小さな介入で変わるほど不安定、大きく変えないと動かないほど頑丈、という見方だ。単に質問の言い回しを変える実験ではなく、モデル内部へ直接介入している。 3モデル、5つの質問応答データで、誤答は正答より平均して小さな介入で変わった。TriviaQAでは、Gemmaの回答一致度を使った誤答判別のAUROCが、この指標を加えると0.653から0.752へ上昇。AUROCは正答と誤答を見分ける指標で、ここでの数値は回答の正解率ではない。ただし、従来指標への追加がすべての条件で効くわけではなく、安定している誤答もある。内部表現を操作できることが前提なので、通常のチャットAPIだけにそのまま足せる機能でもない。 AIが自信満々に同じ誤答を繰り返すとき、出力の一致だけでは見えない情報を内部の頑丈さから補う。信頼度を一つの数値で決めず、違う仕組みの手掛かりを組み合わせる方向が面白い。

2026.10.23 09:00

AIの答えが怪しいかを、「同じ答えを何度言うか」に加えて「内部の計算を少し変えても答えを保つか」で測る研究（論文では、答えを支える内部計算の不安定さをmechanistic uncertaintyと呼ぶ。Jacobian Lens（中間層の情報が出力にどう影響するかを調べる手法）で、生成前に複数の層が共通して示す語を探す。その方向へ内部表現を強めたり弱めたりし、答えの意味が初めて変わる介入の強さを測る。小さな介入で変わるほど不安定、大きく変えないと動かないほど頑丈、という見方だ。単に質問の言い回しを変える実験ではなく、モデル内部へ直接介入している。 3モデル、5つの質問応答データで、誤答は正答より平均して小さな介入で変わった。TriviaQAでは、Gemmaの回答一致度を使った誤答判別のAUROCが、この指標を加えると0.653から0.752へ上昇。AUROCは正答と誤答を見分ける指標で、ここでの数値は回答の正解率ではない。ただし、従来指標への追加がすべての条件で効くわけではなく、安定している誤答もある。内部表現を操作できることが前提なので、通常のチャットAPIだけにそのまま足せる機能でもない。 AIが自信満々に同じ誤答を繰り返すとき、出力の一致だけでは見えない情報を内部の頑丈さから補う。信頼度を一つの数値で決めず、違う仕組みの手掛かりを組み合わせる方向が面白い。