註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
加入 March 2025
690 正在關注    11.4K 粉絲
🔬 震惊,Harvey LAB 把 1671 道真实法律活儿做成了公开基准,专门考 AI agent 能不能干律师的事。 GitHub 1381 star,两百四十多个 fork,MIT 许可,Harvey 出品。 在法务岗或者做法律方向 AI 的人最头疼一件事:怎么判断一个 agent 到底靠不靠谱。拿几套选择题式的法律考试去测,分数很漂亮,可真实工作里 agent 要翻几百页文档、要交叉核对条款、最后还得交一份能直接给人看的东西,这些一条都测不出来。 Harvey LAB 给的是两样东西。一套任务集,每道题带着指令、配套文档和评分标准,覆盖 24 个以上法律执业领域以及合同相关的活;再加一套执行框架,负责把 agent 跑起来、打分、出报告。评分用的是全部通过式的标准,一条不达标这题就不算过,中间配合 LLM 评判。 仓库里那个并购 data room 的教程能完整走一遍流程:建任务、检查、跑 agent、打分、看报告,最后拉一个对比看板出来。项目方自己说这是个会持续扩的东西,九月中刚发了 v1.1.0。 考 AI 会不会做题容易,考它会不会干活难。 GitHub:
顯示更多
0
1
39
11
轉發到社區