TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
Joined November 2020
744
Following
16.1K
Followers
Xudong Han
@Xudong07452910
2026.07.11 09:30
AI coding 真的要进入「按任务算账」时代了。 Databricks 最近做了一个很有意思的内部 benchmark:直接拿自家多百万行代码库里的真实 PR 来评测 coding agent,用真实测试判断任务是否完成,而不是只看公开榜单。 这件事最有价值的地方在于,它更接近真实开发现场。 公开 benchmark 里表现好的模型,放到复杂代码库里未必划算;token 单价便宜的模型,也可能因为读得更多、跑得更久,最后任务成本更高。 文章里还有一个很关键的发现:harness 影响很大。同一个模型,放进不同工具链里,成本可能差两倍以上。 所以未来公司选 coding agent,可能不能只问「哪个模型最强」,而要问: 在我的代码库里,它能不能用最低成本稳定完成真实任务? 公开榜单只能告诉你模型有多强,真实代码库才能告诉你它值不值得进入工作流。
Show more
0
0
6
30
5
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
959.2K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
First Squawk
@FirstSquawk
579.7K Followers
Binance
@binance
16.1M Followers
LiveSquawk
@LiveSquawk
504.2K Followers
Serenity
@aleabitoreddit
1.1M Followers
ClaudeDevs
@ClaudeDevs
834.7K Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
348.7K Followers
TheStreet
@TheStreet
1.2M Followers
The Wall Street Journal
@WSJ
0 Followers
Boris Cherny
@bcherny
641.8K Followers
Thariq
@trq212
405.5K Followers
New York Post
@nypost
4.3M Followers