前 Anthropic 研究員 Jacob Coxon 10 月 5 日在紐約市議會作證。他說,照目前的發展路徑,人類把控制權輸給 AI 的機率超過一半,最後可能導致人類滅絕。
他沒有提出任何數字或計算方法,「超過一半」是他個人的判斷。他的依據是在實驗室的經驗:AI 公司都在打造每一項任務都比人類強的超級智慧,但用的是新創「快速行動、搞壞再修」的文化。他認為這套做法適合照片分享 App,不適合打造史上最強大的技術,並形容這些公司在這麼大的風險下極度魯莽。
他也提到好處:若發展順利,AI 可能改變經濟、大幅推進科學與醫學,讓幾乎每個人過得更好。
值得注意的是場合。這不是國會或實驗室內部,而是市議會。AI 安全的討論已經進到地方立法層級。
「超過一半」的機率怎麼來,他沒有說明。
顯示更多
Former Anthropic researcher Jacob Coxon warns that AI companies ‘don’t fully control’ their models and are pushing ahead too quickly.
Speaking to the New York City council, Coxon says AI systems will soon be able to improve themselves, making human research redundant.
顯示更多