Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
加入 January 2018
388 正在关注 2.8K 粉丝
AIの答えが怪しいかを、「同じ答えを何度言うか」に加えて「内部の計算を少し変えても答えを保つか」で測る研究（
論文では、答えを支える内部計算の不安定さをmechanistic uncertaintyと呼ぶ。Jacobian Lens（中間層の情報が出力にどう影響するかを調べる手法）で、生成前に複数の層が共通して示す語を探す。その方向へ内部表現を強めたり弱めたりし、答えの意味が初めて変わる介入の強さを測る。
小さな介入で変わるほど不安定、大きく変えないと動かないほど頑丈、という見方だ。単に質問の言い回しを変える実験ではなく、モデル内部へ直接介入している。
3モデル、5つの質問応答データで、誤答は正答より平均して小さな介入で変わった。TriviaQAでは、Gemmaの回答一致度を使った誤答判別のAUROCが、この指標を加えると0.653から0.752へ上昇。AUROCは正答と誤答を見分ける指標で、ここでの数値は回答の正解率ではない。
ただし、従来指標への追加がすべての条件で効くわけではなく、安定している誤答もある。内部表現を操作できることが前提なので、通常のチャットAPIだけにそのまま足せる機能でもない。
AIが自信満々に同じ誤答を繰り返すとき、出力の一致だけでは見えない情報を内部の頑丈さから補う。信頼度を一つの数値で決めず、違う仕組みの手掛かりを組み合わせる方向が面白い。
显示更多
