가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

AI Dance
@AI_Whisper_X
China AI insider | Silicon Valley Decoded 算法 + VC 双视角 · 讲人话 📬 aidance.info@gmail.com
가입 October 2024
327 팔로잉 중    7.2K 팬
读了一篇AI4S论文,分享几个有意思的发现 看到一个科研 benchmark,叫 Science Prediction Universe(SPU),让 AI agent 预测真实湿实验结果。也就是想看:实验还没做,AI 能不能先判断,哪些条件会得到更好的结果? SPU 收集了 116 个任务,100 道来自这两年 Nature 系期刊上的论文,16 道私有题来自合作实验室未发表的湿实验。每次给 agent 最多 8 小时和一张 H20,允许查文献、写代码、跑模拟,但隐藏实验结果,让它给候选条件排序,再用真实测量评分。 几个主要发现 1/ 远没解决:公开题最高均分是 Opus 5.5 的 0.478。各配置只在 34%–52% 的已评分题上显著好于随机。 2/ 拆开看各家模型 - Opus 5.5 领跑,前六名都是 Anthropic 和 OpenAI 的(0.393–0.478),国产模型都在第二档(0.227–0.315)。不过 Opus 5.5、Fable 5.1 分别拒了 56%、69% 的公开题。 - 强模型和弱模型的差距,主要在翻车的次数上。领先组六种配置的负分率是 9%,其余七种是 22%。也就是说,领先组很少考砸。 - 分学科看,化学第一是 Opus 5.5,材料是 Fable 5.1,生物是 Astra Medium,医学是 Opus 5。GLM-5.3-Flash 在医学上排到了第三(Opus 5.5 和 Fable 没有医学题计分)。 - 落到具体题目上,能看出Opus 和 Qwen 的差距在哪。一道溶剂题,Opus 5.5 得 0.874,Qwen3.8 得 −0.126。Qwen 主要按乙烯溶解度排,Opus 还查了溶剂能不能和原料、催化剂混溶。Qwen 其实自己也提到了固态、分层问题,但交答案时候没考虑这些。 - GLM 总体落后,也有算对的时候。和Opus共同的 43 道题,Opus 5.5 赢了 31 道;但在一道铜金电极题上,GLM 计算了 377 个合金表面,找对了影响测量结果的量,反而赢了 Opus。 3/ 多花算力,未必更准。GPT-6 Astra 从 medium 开到 max,一道题跑的时间变成将近 4.8 倍,分数没有明显提高。 4/ 更有趣的是模型之间的一致度(0.52)远高于它们和实验真值的一致度(0.33),也就是大家错得很像。 SPU 是 UniPat AI 牵头做的,组织了斯坦福、康奈尔、哈佛这些高校和FutureHouse 的研究者,深度原理等几家团队一起做了湿实验。AI4Science本质上是个跨界问题,需要这些合作。 以前聊 AI for Science,大家都说卡在湿实验这一环,这次终于把这点量化了。这个方向确实是难,但我觉得很值得做。现在的AI 更多还是在做存量、提效。AI4Science走通,AI 才算真的开始帮人类发现新东西,新药、新材料这些才是它能带来的增量。这些问题解决了,才会加速科研的发展,加速整个世界的超进化。 100 道公开题他们说会开源。
더 보기