AI安全令(ling)人担忧!OpenAI又解散了一个安全团队,6年老将离职,人工智能,研究(jiu),公司
AI安全越来令(ling)人担忧,OpenAI正在解散其“AGI Readiness”团队。
该团队就OpenAI处理(li)日益强大的人工智能的能力以及世界管理(li)该技术的准备(bei)情况向公司提供建议。
又一安全团队被解散
周三,AGI Readiness高级顾问Miles Brundage宣布离开OpenAI。
他(ta)在OpenAI工作了六年多,是(shi)OpenAI长期政策(ce)研究(jiu)员(yuan)、AGI准备(bei)工作高级顾问,也是(shi)OpenAI所剩无几坚(jian)持遏制人工智能风险的老员(yuan)工之(zhi)一。
Brundage表示,离开的主要原因是(shi)机会成(cheng)本太高了,他(ta)认为他(ta)的研究(jiu)在外部会更有影响力,他(ta)想要减(jian)少偏见,他(ta)已经完成(cheng)了他(ta)在OpenAI的目标。
通用人工智能(AGI)追求让AI在广(guang)泛的任务上(shang)达到或超过人类智力。Brundage指出:“OpenAI和(he)其他(ta)任何前沿实验(yan)室都没有准备(bei)好,世界也没有准备(bei)好。”
离职后,Brundage计划(hua)成(cheng)立自己的非营利组织,或者加入一个现有的非营利组织,专注于人工智能政策(ce)研究(jiu)和(he)倡导。
根据Brundage透露,AGI Readiness前团队成(cheng)员(yuan)将被重新分(fen)配到其他(ta)团队。
对(dui)此,OpenAI发言(yan)人表示:
“我(wo)们完全支持Brundage在行业之(zhi)外进行政策(ce)研究(jiu)的决定,并对(dui)他(ta)的贡献深表感谢。
他(ta)计划(hua)全力以赴(fu)进行人工智能政策(ce)的独立研究(jiu),这使他(ta)有机会在更大范围(wei)内产生影响。
我(wo)们相信,在新职位上(shang),他(ta)将继续提高行业和(he)政府决策(ce)质(zhi)量的标准。”
这已经不是(shi)OpenAI第一次解散与AI安全相关的团队,让大众对(dui)AI技术快速的发展感到担忧。
今年5月,OpenAI解散了其超级对(dui)齐团队,而该团队去年才成(cheng)立。
OpenAI称,该团队专注于“科学和(he)技术突(tu)破,以引导和(he)控制AI系统,防止它们“变得不听话”。
今年7月,OpenAI将高级安全主管Aleksander Madry重新分(fen)配到一个专注于人工智能推理(li)的职位,尽(jin)管OpenAI称Madry在他(ta)的新职位上(shang)仍将从事核心(xin)的人工智能安全工作。
随(sui)后,民主党参(can)议员(yuan)给OpenAI首席执行官Sam Altman发了一封信,询(xun)问“OpenAI如何解决新出现的安全问题”。
近年来,OpenAI的人员(yuan)流失越发频(pin)繁,公司的多位高管相继离职,。
OpenAI联(lian)合创始人、已离职的Jan Leike更是(shi)直指:“建造(zao)比人类更聪明的机器本质(zhi)上(shang)是(shi)一种危险的尝试(shi),OpenAI代(dai)表全人类肩负着巨大的责任。但在过去几年里,安全文化(hua)和(he)流程已经让位于闪亮的产品。”
同时,OpenAI正在转型(xing)成(cheng)一家营利性企业。
10月初,OpenAI以1570亿(yi)美元的估(gu)值(zhi)完成(cheng)了新一轮融资,其中包括从众多投资公司和(he)大型(xing)科技公司筹集(ji)的66亿(yi)美元。它还获得了40亿(yi)美元的循环信贷额度,使其总流动性超过100亿(yi)美元。
此外,该公司预(yu)计今年营收为37亿(yi)美元,亏损约50亿(yi)美元。
需要注意的是(shi),今年6月,一群OpenAI的现任和(he)前任员(yuan)工发表了一封公开信,表达了对(dui)AI快速发展的担忧,指出该行业缺乏监管。
公开信写道:“人工智能公司有强大的财务动机来避免有效的监管。”