kazuki🄽Notion(@kzkhykw):半年ほど前に作った社内エージェント、当時最新だったOpus 4.6のままずっと動かしていた。今日久しぶりにレビューしたら、割とひどいタイポがあった。当時こんなミスはしなかったはずなんだけどな… Opus 5が出て、4.6への計算資源の割り当てが減った？ LLMの品質はモデル名に固定された値ではない。LLMベンダー側の推論基盤や計算資源への割り当てが変われば、同じ名前でも品質は全然変わる。モデル名はバージョン番号ではあっても、品質保証ではない。そう考えると、企業のワークフローを特定モデルへハードコードするのは思っていた以上に危ない。全ワークフローで使うモデルを誰かが継続評価して、劣化したら差し替える…現実的じゃないよなぁ Cursor Routerのように用途に応じてモデルを選ぶ仕組みや、Notionのようにワークフローを特定モデルから切り離せる設計が必要になる。モデルは部品として交換できる状態にしておく。企業のエージェント運用、ここを前提にしないと数年後かなりしんどそう。

2026.07.27 08:57

半年ほど前に作った社内エージェント、当時最新だったOpus 4.6のままずっと動かしていた。今日久しぶりにレビューしたら、割とひどいタイポがあった。当時こんなミスはしなかったはずなんだけどな… Opus 5が出て、4.6への計算資源の割り当てが減った？ LLMの品質はモデル名に固定された値ではない。LLMベンダー側の推論基盤や計算資源への割り当てが変われば、同じ名前でも品質は全然変わる。モデル名はバージョン番号ではあっても、品質保証ではない。そう考えると、企業のワークフローを特定モデルへハードコードするのは思っていた以上に危ない。全ワークフローで使うモデルを誰かが継続評価して、劣化したら差し替える…現実的じゃないよなぁ Cursor Routerのように用途に応じてモデルを選ぶ仕組みや、Notionのようにワークフローを特定モデルから切り離せる設計が必要になる。モデルは部品として交換できる状態にしておく。企業のエージェント運用、ここを前提にしないと数年後かなりしんどそう。

Forward to community