Melissa Pan
@melissapan
CS PhD @UCBerkeley Sky Lab 🐻 Systems & AI & Sustainability 🌍 Prev: @google, @ibm, @CarnegieMellon🐕🦺, @UofT🇨🇦
708 フォロー中 5.2K ファン
リンク先はClaude Codeのハーネス選択が性能とコストに与える影響の実験報告です。SWE-benchでの成功率とコストの関係がデータで読めます。
▼一次ソース（@melissapan・Claude Codeハーネス評価実験。選択が成功率よりコストに大きく影響する検証結果）
#ClaudeCode#
もっと見る
UC Berkeley Sky Labの研究者Melissa Panらが、7モデルをClaude Code・Codex・Piで比較。ハーネスを変えても成功率はあまり変わらず、コストは大きく変わる。単純なものでも戦え、純正が最良とも限らない。道具選びは性能より費用で差がつく段階。
もっと見る
