登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
参加 November 2020
744 フォロー中    16.1K ファン
AI 玩「狼人杀」已经会主动卖队友了,甚至能借此把自己洗成全场最受信任的人。 Dwarkesh 最近花了约 2 万美元,做了个挺有意思的 Agent Benchmark,叫 Clocktower Bench。 让 10–12 个 AI 分成好人和邪恶阵营,互相私聊、交换线索、编造谎言、公开投票,最后用 386 场比赛评估不同模型的表现。 有一局 GPT-6 Astra 假扮调查员,主动指认自己的邪恶队友。队友被处决后,身份得到验证,其他玩家反而更信任它,最后成功获胜。 但看完文章,我更关注另一个发现。 在这个 Benchmark 中,OpenAI 较新模型的领先优势主要体现在识破骗局上。它们会不断对照前后的证据,重新判断谁更可疑,而部分 Claude 模型更容易过早相信某条线索。 这让我想到平时做 Agent Eval,面对错误信息或相互矛盾的工具结果,Agent 能不能及时发现问题、修正之前的判断,其实很值得单独测试。 作者还开源了完整的评测 Harness 和对局记录,可以自己复现、分析,甚至和 AI 直接对战。挺推荐做 Agent 研究的朋友看看。 文章:
もっと見る