TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
参加 November 2020
744
フォロー中
16.1K
ファン
Xudong Han
@Xudong07452910
2026.07.11 09:30
AI coding 真的要进入「按任务算账」时代了。 Databricks 最近做了一个很有意思的内部 benchmark:直接拿自家多百万行代码库里的真实 PR 来评测 coding agent,用真实测试判断任务是否完成,而不是只看公开榜单。 这件事最有价值的地方在于,它更接近真实开发现场。 公开 benchmark 里表现好的模型,放到复杂代码库里未必划算;token 单价便宜的模型,也可能因为读得更多、跑得更久,最后任务成本更高。 文章里还有一个很关键的发现:harness 影响很大。同一个模型,放进不同工具链里,成本可能差两倍以上。 所以未来公司选 coding agent,可能不能只问「哪个模型最强」,而要问: 在我的代码库里,它能不能用最低成本稳定完成真实任务? 公开榜单只能告诉你模型有多强,真实代码库才能告诉你它值不值得进入工作流。
もっと見る
0
0
6
30
5
コミュニティへ転送
人気のあるユーザー
オリコンニュース
@oricon
2M ファン
TVer新着
@TVer_info
101.9K ファン
ツイッター速報〜BreakingNews
@tweetsoku1
259.8K ファン
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K ファン
モデルプレス
@modelpress
2.1M ファン
MANTANWEB/毎日キレイ
@mantanweb
68.6K ファン
空空道人
@Kongkongda5882
41.7K ファン
New York Post
@nypost
4.3M ファン
Yahoo!ニュース
@YahooNewsTopics
2.1M ファン
吴说区块链
@wublockchain12
182.3K ファン
ファミ通.com
@famitsu
1.4M ファン
Bloomberg
@business
10.5M ファン
中國新聞社
@CNS1952
550.1K ファン
4Gamer
@4GamerNews
735.1K ファン
cv usk
@cv_usk
476 ファン