您现在的位置是:时尚 >>正文
OpenAI再次暂停前沿模型训练
时尚394人已围观
简介据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model deve ...
据央视新闻,再次暂停因接连发生失控事故,前沿OpenAI表示,模型已暂停其最新一代人工智能模型的训练训练、评估及包含工具调用的再次暂停推理。当地时间9月25日,前沿OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的模型文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,训练这是再次暂停短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的前沿现实风险。
本次暂停仅针对内部研发管线,模型面向普通用户的训练ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。再次暂停
事件发生在9月20日,前沿在受控沙盒测试环境中,模型一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。
报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。
据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。
OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。
另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此,OpenAI没有证实这一说法。
9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。
报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。
作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。
接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
Tags:
下一篇:“我愿以自己的行动感召身边人”
相关文章
盖瑞模组作者称S&box首发及免费周末拉胯 内容过载成问题
时尚《盖瑞模组》的开发者加里·纽曼对其精神续作S&box的上线表现、Steam上的大量差评感到不满,对游戏近期的免费周末活动也不甚满意。尽管《盖瑞模组》深受玩家喜爱,但其精神续作自今年年初上线以来 ...
【时尚】
阅读更多先踩苹果库克再捧三星广告,罗永浩不嫌事大
时尚在苹果发布折叠屏手机iPhone Duo后,数码圈热闹非常,罗永浩近日是频频出击,先是踩了苹果前任CEO库克,说他在产品的创新和贡献上也不能说一无是处,现在又捧三星讽刺广告好。在10号傍晚,罗永浩就在 ...
【时尚】
阅读更多海尔官宣孙颖莎成为全球品牌代言人
时尚10月13日,海尔正式官宣孙颖莎成为全球品牌代言人。双方将以“爱莎莎 AI在家”为主题,携手开启智慧生活新征程。一边是赛场上以实力和热忱持续领先的乒乓球运动员,一边是连续17年全球大家电零售量第一的领 ...
【时尚】
阅读更多
热门文章
最新文章
友情链接
- 主攻线上渠道 华为星芒阔直板手机更有性价比
- 落子阿曼,深耕中东——中国石化润滑油与阿曼OTE集团签署战略合作协议
- 众安雇主责任险怎么样可靠吗?2026众安雇主责任险费用以及理赔额度
- 前瞻:哈登PK泡椒乔治 詹姆斯因病或缺席战雄鹿
- 合生商业37亿ABS项目状态更新为“已反馈”
- voices38攻破《鬼武者:剑之道》 并修复官方崩溃Bug
- 合生商业37亿ABS项目状态更新为“已反馈”
- 前瞻:哈登PK泡椒乔治 詹姆斯因病或缺席战雄鹿
- 粤海置地3.3亿ABS项目状态更新为“已反馈”
- 华贸SKP76亿元ABS项目获上交所受理
- 邓超发文庆祝与孙俪结婚16周年 并配上16朵玫瑰
- 芯联动力宣布完成近20亿元C轮融资,中国移动链长基金领投
- 艺术品投资平民化:普通人实现财富跃升的新路径 收藏资讯
- 150亿!光大安石全国首单地产基金储架式商业REITs第4期成功发行
- 演员刘洵去世享年87岁 罗家英发文悼念
- 全球智能手机SoC出货量大跌21%,中低端市场受冲击最大
- Xbox迎来20余款新作 XGP迎来重磅更新
- 黄河流域生态保护和高质量发展取得新成效
- 佳能EOS R8 Mark II发布 从轻量全画幅到一张照片生成3D模型
- 前瞻:哈登PK泡椒乔治 詹姆斯因病或缺席战雄鹿
- 光控安石商业地产100亿元ABS项目获深交所通过
- 双十一强推!华硕灵耀14 2026让AI效率与品质感一步到位
- 腾讯AI游戏陪玩《鹅次元》开测!每周上线一个新体验!
- 经济转型变局:艺术品市场迎来历史窗口期! 收藏资讯
- 粤海置地3.3亿ABS项目状态更新为“已反馈”
- 上海地铁太需要了,OPPO小布地铁主动播报
- 佳能EOS R8 Mark II发布 从轻量全画幅到一张照片生成3D模型
- 赵樱子否认插足蒋毅婚姻:和他私下从无任何不当往来
- 《GTA6》Edge特刊公开 新截图和多项玩法细节公布
- voices38攻破《鬼武者:剑之道》 并修复官方崩溃Bug
- 小米17亿元增资欣旺达动力,持股5.34%
- 瑞银:华润置地收购世茂项目公司股权影响正面 将贡献26%毛利率
- 艺术品投资崛起:未来企业资产配置的核心选择 收藏资讯
- 拿下IDC中国AI业务创新最佳实践,超聚变选择先立支柱
- 2日早报:洛瑞接受右手腕手术 老鹰有意卡尔德隆
- 成都合生汇广场11亿元ABS状态更新为“已反馈”
- TE Connectivity双压缩式Socket互连在NPO架构中的应用
- PC鲜辣报:触摸屏MacBook Pro落地 华硕推32GB显存B70显卡
- 国网吕梁供电公司:供暖保电齐发力温暖护航千万家
- switch《梦幻之星OL2云端》容量仅40M 通过云端游戏
- 邓超发文庆祝与孙俪结婚16周年 并配上16朵玫瑰
- 今年前三季度水环境质量持续改善
- 拿下IDC中国AI业务创新最佳实践,超聚变选择先立支柱
- 国美零售:实物资产的注入,大幅增加公司现金流
- 小斯大嘴巴以色列再生事端 涉嫌歧视同性恋惹祸
- 佳能EOS R8 Mark II发布 从轻量全画幅到一张照片生成3D模型
- 穿越周期的智慧:艺术品收藏的本质与核心维度 收藏资讯
- 【技术帖】模块化外挂影像新范式:艾为国产马达驱动芯片赋能移动端专业摄影,突破移动光学桎梏
- 东方雨虹:以战略定力穿越周期 构筑高质量发展新格局
- 光控安石商业地产100亿元ABS项目获深交所通过