最近在想一个问题
现在考金融 AI,考的还是你懂不懂金融
从公告里提数字,算个比率,写段摘要
答对了就算过。
但模型已经接上专业数据源了,也越来越靠近券商和链上基础设施。
还拿知识题考它,有点像拿驾照笔试成绩判断一个人能不能上路。
上路之后出错的方式,笔试覆盖不到。
过期行情
回看窗口设错
漏掉一只标的
分母用错导致排序偏了
这些错误不会让输出变得难读
相反,结果看起来跟分析师写的一模一样
越靠近资金,看起来对就越危险。
//
那冻结市场状态行不行?
固定一个时间戳,固定一份数据快照,让两次运行可以比较
解决了一部分
但不够
同一个模型,换一套工具,换一组权限,换一种技能定义,交出来的工作就不一样
你以为在测模型,其实在测环境
这也是我重新去看
@questflow 的原因
他们做的不是无状态的交易机器人
是一套 financial harness
技能承载策略
插件提供行情和链上信号
账户在用户设的限度内行动
资产留在用户自己的钱包里
如果要认真测一个金融Agent能不能用,就应该把这套东西固定下来
>同一批工具
>同一套技能
>同一份快照
>同一组风控约束。
然后再看它交出的工作对不对
只给模型打分,看不见这层结构
//
还有一层容易被忽略
确定性的筛选和计算,可以有标准答案
数据来源、指标定义、快照都能回溯
对就是对,错就是错
但裁量类的判断不行
突破的质量好不好
仓位语境对不对
一个有经验的人会不会真的据此下单。
这些没法让另一个模型当裁判
需要有经验的人来标注。拿模型评模型,只是在循环论证。
━━━━━
基准不只是事后打分
它会决定系统被优化成什么样
同一个金融世界,同一套工具,同一项任务
这个 Agent 能不能交出正确的工作?第三方能不能看出它错在哪里?
分析走向执行的路上,这是必须跨的那道线。
以上内容纯属个人分析 不作任何投资建议 DYOR