Register and share your invite link to earn from video plays and referrals.

Nobu-Kobayashi : Generative AI Technology
@nyaa_toraneko
元UTJのシニアエバンジェリスト。ユニティちゃんトゥーンシェーダー2.0の生みの親。今は生成AI技術のテックアーティスト。ComfyUIワークフローやカスタムノード、GPTs開発をやってます。お仕事や技術上のご相談はDMにて承っておりますが、2026年中はフルタイムでお仕事が詰まってます。
Joined December 2009
4.5K Following    13.1K Followers
考えてみたら、自分はLLMに対して「なんでこうしたの?」と問い詰めるようなことをしたことがない。 「そんなの確率論なんだから直接わかるわけがない」と思っていたのもあるけど、そもそも人間だって、自分がなぜそうしたのか本当の理由を理解していないことは珍しくない。 AIの出力も、人の行動も、その理由は観測された事実から推測するしかない。 だから大事なのは「説明」を信じることではなく、事実を検証すること。 AI相手に感情的にブチ切れている人を見ると、無駄に血圧を上げているな、としか思えないのである。
Show more
そろそろこの件に言及しておこうかなーと思っていたので引用で課題意識をお借りする。 少なくとも Claude についていうと、「なんで」かは Claude 側も「知らない」。というのも thinking の内容が直近ターンのものしかコンテクストウィンドウに入っていないため。 なので Claude は過去の自分のアウトプットだけを見て、事後推測するしかないというわけ。だからそれっぽい「ウソ」ついたりする。 Claude Code でコレに手軽に対策するには showThinkingSummaries を true にして、セッションログである jsonl ファイルに記録される thinking summary を振り返り取得させるようにする仕組みを導入するとよい。オススメはやはり DuckDB に hooks で自動投入させるようにすること。もっと高度にやるなら環境次第では eBPF でも。 ただあくまでこれは summary であって raw ではないので、「なんで」の詳細は容易には掴めない。とはいえ出力結果だけからの事後推測よりはだいぶマシ。raw についてはとりわけ Fable などで分かる通り蒸留を警戒されてるので隠蔽されている。 人間は、自分が取った言動に対してある程度の内省をできる。「あ、さっきこうしたのは、こう思ったからで……」それが Claude にはできない。thinking が揮発してるから。「なんで!?」と詰めれば詰めるほど、それっぽいことを言う。で、それっぽいことがコンテクストウィンドウに残るので、余計に悪い結果が後に続くようになる。 ということでまとめると、 - thinking summary を参照させるしくみを作って、正しく自省させられるようにしよう - 自省させた結果、hooks 等のなんらかのしくみで対策とれるなら改善を積み重ねていこう ストレートに使ってると Claude Code でなぜなぜ分析をするのは役に立たないどころか有害になる。が、そこで諦めることはなく、制約はあれど多少はおこなえるようにすることはできる。保身や悪意で理由をでっち上げることはないので、その点の信頼感もある。
Show more