Max For AI(@MaxForAI):今天，我们 @lobehub 团队发布了一个我觉得很有意义的新Benchmark：Interaction Bench。一直以来，我们都觉得Agent的评测和真实用户体验之间，存在着相当大的距离。真实用户不会告诉Agent哪一行代码出了Bug，也不会给它一份详细的修复方案。用户只会说，我想实现这个功能，或者这个东西坏了，你帮我解决一下。所以，这次我们尝试换一种方式来评估Agent。 Interaction Bench从25个真实的开源应用中提取了44个任务，只告诉Agent用户想实现的目标，让它自己探索环境、发现问题、尝试解决，并验证最终结果。首轮结果里GPT-6 Astra以34.1%排名第一，Claude Opus 5.5为 27.3%，其他模型的成功率只有4.5%～15.9%。即便是目前最强的模型，面对这些真实任务，依然有超过六成无法完成。我觉得这也是我们做这件事的意义。随着Agent开始真正进入软件、接管工作流，我们需要更多能够反映真实用户体验的评测。毕竟对于用户来说，Benchmark上的分数再高，都不如一句「这件事我已经帮你搞定了」。目前还是0.1 Preview，欢迎大家体验、提 ssue，也欢迎一起来建设。 GitHub：https://t.co/YMSBzJsbyX Website：

2026.10.29 21:08

今天，我们 @lobehub 团队发布了一个我觉得很有意义的新Benchmark：Interaction Bench。一直以来，我们都觉得Agent的评测和真实用户体验之间，存在着相当大的距离。真实用户不会告诉Agent哪一行代码出了Bug，也不会给它一份详细的修复方案。用户只会说，我想实现这个功能，或者这个东西坏了，你帮我解决一下。所以，这次我们尝试换一种方式来评估Agent。 Interaction Bench从25个真实的开源应用中提取了44个任务，只告诉Agent用户想实现的目标，让它自己探索环境、发现问题、尝试解决，并验证最终结果。首轮结果里GPT-6 Astra以34.1%排名第一，Claude Opus 5.5为 27.3%，其他模型的成功率只有4.5%～15.9%。即便是目前最强的模型，面对这些真实任务，依然有超过六成无法完成。我觉得这也是我们做这件事的意义。随着Agent开始真正进入软件、接管工作流，我们需要更多能够反映真实用户体验的评测。毕竟对于用户来说，Benchmark上的分数再高，都不如一句「这件事我已经帮你搞定了」。目前还是0.1 Preview，欢迎大家体验、提 ssue，也欢迎一起来建设。 GitHub： Website：

空谷 Arvin Xu@arvin17x

2026.10.29 18:17

Introducing Interaction Bench 0.1 Preview — Benchmarked on what users feel - 44 tasks from 25 real open-source apps - GPT-6 Astra leads at 34.1%, Claude Opus 5.5 at 27.3%, others 4.5–15.9% - Agents get the user's goal, never the bug GitHub: Website: 9🧵s next 👇