首页 > 滚动 > > 内容页

康纳·莱希:如果超级AI开始失控,人类将无法阻止它

发表时间:2023-07-06 16:47:21 来源:中关村在线


(资料图)

ChatGPT的开发者OpenAI计划进一步投入资源,并打算成立一个全新的研究团队,旨在探讨如何保障人工智能(AI)对人类的安全性,最终目标是通过AI来监督AI。 OpenAI的联合创始人伊利亚·苏茨凯弗和AI对齐负责人简·莱克在官方博客中表明,超级智能的强大可能导致人类力量的丧失,甚至可能引发人类的灭绝。他们指出,现在还没有找到合适的办法来控制或操纵可能出现的超级智能AI,以防止企图对抗人类的可能。 他们预见,比人类更智能的超级智能AI有可能在未来10年内出现。为了对其进行控制,人类需要开展更多的“AI对齐研究”,以确保AI对人类的利益。AI对齐是AI控制中的关键,其要求将AI的目标与人类价值观和意图保持一致。 他们宣布,OpenAI计划在未来四年内将其20%的计算力专注于解决这个问题。同时,公司也将成立一个“超对齐”团队来负责此项工作。团队的目标是发展出“人类水平”的AI驱动的对齐研究员,并通过大量的计算力推动其进步。这意味着OpenAI将使用人工反馈来训练AI系统,然后让AI辅助人工评估,最终让AI系统进行实质性的对齐研究。 然而,人工智能安全倡导者康纳·莱希指出,OpenAI的计划存在严重的问题。他认为,如果人类水平的AI一开始就失控,可能会造成严重破坏,这将迫使研究人员去解决AI安全问题。“在建立起人类水平的智能之前,必须先解决对齐问题。否则,一旦失控,你将无法控制它。”他说。 AI的潜在危险一直是公众和研究人员关注的焦点。今年4月,一群AI行业领导者和专家签署了一封公开信,呼吁暂停开发比OpenAI的GPT-4更强大系统的开发6个月,原因是担忧其可能对社会产生的潜在风险。据5月份的一项调查,超过三分之二的美国人担心AI可能带来的负面影响,有61%的人认为AI可能对人类文明构成威胁。

最近更新