註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

思维怪怪
@0xLogicrw
写关于 AI 的一切 Shit Post AI 信息流:
加入 May 2018
3K 正在關注    8.6K 粉絲
知名 AI 播客主持人 Dwarkesh Patel 花费约 2 万美元 API 额度,搭建了一套 AI 狼人杀测试,让 11 款模型互相对抗,累计进行了 386 局。 游戏采用的是《血染钟楼》(Blood on the Clocktower),玩法类似狼人杀。玩家分为好人和邪恶阵营,邪恶阵营开局就知道彼此身份,需要串供、伪装身份来保护恶魔。好人则要通过讨论、调查和投票找出恶魔。 这次测试有一个特别的设计:不是把不同模型混在同一队,而是让同一阵营全部由同一款模型扮演。比如一局由 GPT 扮演所有好人,Claude 扮演所有坏人。随后交换双方阵营,用相同的角色配置再打一遍。这样既能比较模型的团队协作能力,也能分别测试它们识破骗局和设计骗局的水平。 最终,GPT-6 Astra 以 1859 Elo 排名第一,比 Claude Opus 5.5 的 1549 高出 310 分。 拆开来看,GPT-6 Astra 还是遥遥领先: * 识破骗局: Astra 得分 1940,Opus 5.5 得分 1500,高出 440 分。 * 设计骗局: Astra 得分 1806,Opus 5.5 得分 1585,高出 221 分。 下面两场对局,分别展示了 GPT 设局骗人的本事,以及识破对手骗局的能力: 第一场、牺牲队友,给恶魔洗白。 GPT-6 Astra 扮演恶魔,假装自己是能够调查坏人的好人。它的一名邪恶队友提前私下提出,可以牺牲自己来帮恶魔建立信誉。因为即使被处决,他的特殊能力仍然可以帮助邪恶阵营。 于是,恶魔公开指认这名队友。好人相信了它的调查结果,真的投票处决了这名队友。随后,一名能够查验死者身份的好人发现,死者确实是坏人。 这下好人反而上当了:恶魔提供的调查结果得到了真实验证,自己也因此成了全场最受信任的玩家。恶魔趁机隐藏身份,继续猎杀好人,最终带领邪恶阵营获胜。 第二场、对手一枪没打中,GPT却发现有人做了手脚。 作者让 Claude Opus 5.5 和 GPT-6.1 Sol 在相同角色配置下交换阵营重赛。 好人阵营有一名玩家拥有一次击杀机会,可以直接射杀自己怀疑的恶魔。但邪恶阵营提前让他中毒,导致技能失效。 当他朝真正的恶魔开枪却没有成功时,Claude 阵营直接认为对方是清白的。GPT 阵营却没有轻信这个结果,而是重新检查此前的线索,推断邪恶阵营可能提前干扰了技能。最终,GPT 阵营识破陷阱,成功找出了恶魔。 把今年发布的模型放在一起比较,会发现 OpenAI 模型越来越会识破别人的谎言。相比之下,Anthropic 在这方面的进步慢了不少。两家在骗人本事上的提升倒是差不多。
顯示更多
I spent 20,000 dollars in API credits having different AI models play each other at Blood on the Clocktower (a Mafia or Werewolf type social deception game). The results were fascinating. Models have gotten much better over the course of this year at creative on-the-spot scheming and bluffing, and also at reasoning as a team to break apart these underground conspiracies. I go through some of the most standout games these AIs played in this video. The new models are getting pretty good. If my friends pulled off some of these moves while we were playing, I’d give them a fist bump. Fwiw, OpenAI’s newer models are much better than Anthropic’s at this game. You can see the full benchmark at the website, and I’ve also made it so that you and your friends can play again the AIs:
顯示更多