iwashi / Yoshimasa Iwase
@iwashi86
NTTドコモビジネスでEM(育休中)。その他、早稲田大で非常勤講師、#fukabori#.fmの中の人、書籍翻訳者。
AI、マネジメント、Dev、PdM、Agile、HRに関する個人メモをポストしています。
発言は個人の見解であり、所属する組織の公式見解ではありません。
Amazonアソシエイト・プログラム参加者。
Joined May 2009
694 Following 20.4K Followers
AIコーディングツールの指数関数的なコスト増をいかにコントロールしていくかについてのdatabricks記事。（一部引き算して読む感じ）
・AIコーディングツールは生産性を劇的に向上させる
・しかし、それに伴ってコストも指数関数的に増大している
・放置すれば、AIによる恩恵がコストで相殺される
・そのため、最高性能ではなく、コスパに優れた効率性フロンティアの追求が必要になっていく
・具体的な対策の筆頭は、より安価で効率的なモデルへの移行
・特定のモデルへの依存を防ぐため、メタハーネスを導入して柔軟性を確保する
・また、タスクの難易度に応じて安価なモデルと高性能モデルを動的にルーティングする手法も有効
・予算管理において、利用上限でアクセスを完全に遮断するのは悪手
・これは、最も生産性の高い開発者の足を引っ張ってしまうため
・代わりにコストを可視化し、閾値を超えたら安価なモデルへダウンシフトさせる仕組みが望ましい
・さらに、不要なコンテキストを削ってトークン消費を抑えることも大事に
・また、プロンプトキャッシングを活用することで、コストを大幅に削減できる
（で、Unity AI Gateway というプロダクトの宣伝になるので、以下は略）
Show more
