🔬 震惊,Harvey LAB 把 1671 道真实法律活儿做成了公开基准,专门考 AI agent 能不能干律师的事。
GitHub 1381 star,两百四十多个 fork,MIT 许可,Harvey 出品。
在法务岗或者做法律方向 AI 的人最头疼一件事:怎么判断一个 agent 到底靠不靠谱。拿几套选择题式的法律考试去测,分数很漂亮,可真实工作里 agent 要翻几百页文档、要交叉核对条款、最后还得交一份能直接给人看的东西,这些一条都测不出来。
Harvey LAB 给的是两样东西。一套任务集,每道题带着指令、配套文档和评分标准,覆盖 24 个以上法律执业领域以及合同相关的活;再加一套执行框架,负责把 agent 跑起来、打分、出报告。评分用的是全部通过式的标准,一条不达标这题就不算过,中间配合 LLM 评判。
仓库里那个并购 data room 的教程能完整走一遍流程:建任务、检查、跑 agent、打分、看报告,最后拉一个对比看板出来。项目方自己说这是个会持续扩的东西,九月中刚发了 v1.1.0。
考 AI 会不会做题容易,考它会不会干活难。
GitHub:
显示更多