最近翻
@axisrobotics 的更新
我看到他们和
@openroboto 在做 Open Axis Benchmark
本来没太在意,结果看了一会儿突然想到:
机器人也会不会出现“题刷多了,其实只是把答案背熟了”这种情况?🤣
以前我理解机器人测试很简单:
给它一套任务,看成功率高不高
但如果永远都是那几个动作:
抓杯子、放积木、开抽屉……
练几万遍以后分数变高,好像也不一定代表它真的变聪明了
有可能只是:
这张卷子它已经做过太多次了 hhh
—————— ฅ՞• •՞ฅ ——————
Axis 现在这个做法我觉得就挺有意思的
题不是固定的
每一轮都会从不断增加的任务库里重新抽
有些题大家都会了,就换掉
有些题目前所有模型都完全做不了,也会重新调整。
有点像:
机器人升级,考试卷子也跟着升级
因为真正去到工厂、仓库或者家里,
没人会提前告诉机器人:
“放心,今天还是昨天那套题”
环境会变,东西会变,摆放位置也会变
它碰到没见过的情况,还能够继续做下去吗?
—————— ฅ՞• •՞ฅ ——————
Axis 现在已经积累了几百万条轨迹
数据多是一回事
最后怎么证明机器人真的因为这些数据变强了,又是另一回事
这个方向我还挺想继续看!
毕竟会做熟悉的题不稀奇,
换张卷子还能做,才是真的会了
⬇️一起来做题吧😆