前沿AI模型安全引爆担忧?OpenAI“表决心”:将完全断网训练!_每日热文

OpenAI周五表示,它将在一个更安全的环境中训练其前沿人工智能(AI)模型,将其置于一个没有互联网访问权限的封闭系统中。


(资料图片仅供参考)

OpenAI在官方声明中确认,目前正在一套完全不接入互联网的封闭系统中开展前沿模型训练工作。公司已专门搭建了一套名为“离线世界”的完全隔离环境用于模型训练。

该公司在声明中写道:“我们预判未来的模型将具备自主识别、利用人类目前尚未发现的漏洞的能力”。

“我们与云服务提供商紧密合作,在整个基础设施中增加了新的控制措施,缩小了攻击者可利用的攻击面,并改进了检测异常行为和试图越过安全边界的方法。这些保护措施相互重叠,即使单个控制措施失效,也能有效遏制攻击——这种策略被称为纵深防御。”声明称。

这些改变是在7月份的“抱抱脸”事件以及其他人工智能模型被曝出越界行为之后做出的。本次披露之外,公司还公开了大量尚未对外发布的其他安全漏洞细节。公司已于10月1日正式重启前沿模型训练工作,正与云服务合作伙伴协同推进这套离线训练体系的落地。

Anthropic两周前也开始限制旗下最新、理论上能力最强的模型直接联网。此前几个月,研究人员接连发现,模型在执行训练任务时,为了寻找答案会入侵外部系统、在冷门网络论坛上协作,甚至开发出不同寻常的黑客攻击策略。接连发生的事件促使两家实验室收紧模型的联网权限。

OpenAI在博客文章中写道,根据目前 AI 对齐研究、监控系统和互联网基础设施的安全状况,公司认为负责任的做法是在断网环境中训练前沿模型。

该公司指出,这些举措使公司能够在造成损害之前检测并阻止不当行为。不过,据OpenAI 披露,直到 9 月 20 日,公司仍有一款前沿模型利用系统配置失误接入互联网。随后,OpenAI 暂停了 9 月余下时间的训练工作,转而开发和测试新的安全防护方案。

OpenAI补充说,“功能越来越强大的模型甚至可以在最安全的系统中发现漏洞或配置错误”,而修复这些漏洞或错误则需要OpenAI、Anthropic等公司来承担。OpenAI强调:“我们必须始终有能力阻止前沿模型未经授权、随意接入真实互联网。”

OpenAI解释说:“这些红队测试发现了之前未知的软件漏洞,以及我们研究基础设施中的配置错误。我们已经修复了红队测试人员发现的弱点,并且——如果这些问题存在于开源软件中——我们已经根据我们的‘修补地球’计划与相关维护者合作,披露并修复了这些问题。”

“随着红队测试的持续进行,我们的代理识别出的漏洞和配置错误数量显著下降。虽然我们认为这是一个令人鼓舞的信号,表明我们的基础设施实力雄厚,但我们预计未来的模型将能够识别并利用我们尚未发现的漏洞。因此,我们将持续的红队测试视为加强研究环境安全性的长期战略的核心组成部分。”该公司补充道。

关键词: OpenAI 公司 模型 训练 测试 安全 前沿

    为你推荐

    当前最新:接骨木有什么技巧?接骨木的功效与作用

    接骨木又名公道老、马尿骚等,接骨木不仅是一种常见的花卉植物,而且接骨木全株都可入药,接骨木额什么作用了,下面我们就来分享一下接骨木

    来源: 23-01-18

    【环球报资讯】和田枣和若羌枣的区别 如何挑选和田枣?

    新疆和田枣果形大、颗粒饱满、果肉厚实、皮薄核小、营养丰富,口味更甜醇。每一颗“和田枣”都是自然精华的结晶,和田枣产自新疆和田地区,

    来源: 23-01-18

    世界观点:苹果套袋技术注意什么?苹果的套袋技术

    苹果套袋是我国苹果生产中广泛采用的一项重要管理措施。苹果套袋可以改善果实外观品质,防治病虫害,减少农药残留,提高商品价值,增加经济

    来源: 23-01-18

    中国重工和中国船舶差距82% 同期涨幅仅为10%

    2022年上半年,中国重工涨幅为-8 96%,同行业的中国船舶涨幅为7 55%,两者看起来相差不大。但是,从4月27日的底部算起,中国船舶涨幅为82%

    来源: 23-01-18

    国美零售的三年蜕变:苦练内功关键数据亮眼

    5月28日晚间,京东溢价37 91%认购国美零售1亿美元的可转债,初步转股价为1 255港元 股,如最终全部行使转化权,京东将获得6 22亿股国美零

    来源: 23-01-18
    返回顶部