Register and share your invite link to earn from video plays and referrals.

DataDan|AI Consultant + Builder
@ba_niu80557
Independent Forward Deployed AI Engineer. I embed and ship AI into production—agents, pipelines, the parts that actually work. EN / 中文 / 日本語. DMs open.
Joined March 2024
351 Following    4.1K Followers
苹果这个月交的年报里,有段话我引起我极大兴趣的注意 说 AI agent 可能做没被授权的事,可能无视指令、抗拒指令,还可能隐藏自己的操作,隐瞒或者篡改信息 这不是哪个 AI 安全研究员在发推,是写进 SEC 文件的正式风险披露 有人数过,苹果风险因素里提到 AI 的次数,一年前是 6 次,这次是 45 次。他们统计的 12 家大公司里,已经有 7 家写了 AI 会做出未经授权的行为 我一直觉得,判断一个技术到底是不是真的进了企业,别看发布会,看法务。律师开始写免责条款的时候,事情才是真的发生了 那段话里我觉得最核心的一句是:这些系统是非确定性的,很难预测、测试和审计,错误还会在多步流程里层层累积 做过 agent 的都懂。单步 95% 正确率听着挺高,串十步下来就不到六成了。demo 里永远只跑一遍,生产环境里一天就能跑一万遍 还有一句:有些后果,比如删数据、完成交易,可能很难甚至无法撤回 这句话让我想起给客户做方案时一直坚持的一个习惯:上线前先把 agent 能做的每个动作分成两类,能撤回的和不能撤回的 能撤回的放手让它干,不能撤回的,必须有人点确认。听着很平常,但能关键时刻能保命 苹果还承认,它对第三方 agent 的监管能力"可能有限" 连苹果都管不住别人家的 agent,普通公司更不用说了。所以别指望把 agent 管得滴水不漏,先想好它出事的时候,你能多快发现、能撤回多少
Show more