OpenAI 预测超级智能 10 年内到来,要组建人类护卫队

2023-07-09 04:08:39 来源:网络

OpenAI 预言,比人类更聪明的 AI 很有可能在 2030 年前就会出现

面对比人类更聪明的「生物」,你担心人类的未来会被 AI 统治吗?

OpenAI 正在组建团队开发新的工具,为的就是让未来的 AI 也能遵守人类的道德规范

OpenAI 用一篇博客概述了他们的想法,也作为一则「招聘启事」来招募团队成员

看完后,你又对这一想法有什么新的建议呢?

Enjoy it!

超智能(Superintelligence)将成为人类有史以来最具影响力的技术,它可以帮助我们解决世界上许多最重要的问题。不过,超智能的巨大力量也可能是非常危险的,它可能导致人类对 AI 失去控制甚至导致人类灭绝。

尽管超智能看似还很遥远,但我们依旧相信它可能在 2030 年前出现。

要解决超智能对人类造成的风险,我们需要建立新的监管方式并解决超智能「对齐」(编者按:「对齐」在原文中的单词为「Alignment」,指一项让 AI 能够理解和遵循人类意图的技术,以确保 AI 的行为和决策符合人类所期望的结果)的问题:

我们如何确保比人类聪明得多的人工智能会遵循人类的想法?

目前,我们还没有解决潜在的引导和控制超智能 AI 时问题,来防止 AI 变得不受控制。我们目前用于「对齐」人工智能的技术,比如从人类的反馈中自主学习,依赖于人类的能力来监督人工智能。但是,人类在未来无法可靠地监督比我们聪明得多的 AI,因此我们目前的「对齐」技术无法适应超智能。我们需要新的科技突破。

OpenAI 的方法

我们的目标是构建一个与人类大致相当的「自动对齐研究人员」。然后,我们可以利用大量计算资源来扩展我们的所做的事情,并逐步对齐超智能。

为了「对齐」第一个「自动对齐研究人员」,我们需要:1)开发可扩展的训练方法,2)验证结果模型,3)对我们的整个「对齐」流程进行压力测试:

1、为了在人类难以评估的问题上提供训练信号,我们可以利用 AI 来辅助评估其他 AI (可扩展的监督)。此外,我们还希望了解和控制我们的 AI 大模型是如何把我们的监督应用在我们无法监督的任务上(泛化)。

2、为了验证系统是否「对齐」,我们会自动搜索有问题的行为(鲁棒性)以及问题的深层原因(自动可解释性)。

3、最后,我们可以通过训练故意不对齐的模型,来确保我们的技术能够检测到最严重的「不对齐」(对抗性测试),以测试「自动对齐研究人员」运作的整个流程。

我们预计,随着我们对这个问题的了解越来越多,我们的研究重点将会发生重大变化。同时,我们可能会扩展全新的研究领域。我们计划在未来分享更多我们的研究路线的相关消息。

一支新的团队

我们正在组建一个由顶级的机器学习研究者和工程师组成的团队来应对这个问题。

我们将在未来四年内把 20% 的计算资源投入到解决超智能的「对齐」问题。我们的主要基础研究押注在我们的「超智能」新团队上,但正确对待这一点对于实现我们的使命至关重要,我们期望更多团队做出贡献,从开发新方法、扩大规模,再到部署。

四年内,解决超智能「对齐」的核心技术挑战

这是一个令人难以置信的、雄心勃勃的目标,我们还不能保证它一定会成功。但我们依旧乐观地认为,我们只要集中精力一起努力就能解决这个问题,有许多想法在初步的实验中已经展现出了可行性,我们取得了越来越多有用的进展,我们可以使用现在的模型来实证研究许多这样的问题。

Ilya Sutskever(OpenAI 的联合创始人和首席科学家)已将此作为他的核心研究重点,并将与 Jan Leike(「对齐」技术的负责人)共同领导该团队。这个团队的成员不仅有我们以前的「对齐」团队的研究人员和工程师,以及公司其他团队的研究人员。

我们也在寻找优秀的新研究人员和工程师来加入这一计划。超智能「对齐」从根本上说是一个机器学习问题,我们认为优秀的机器学习专家--即使他们还没有从事「对齐」相关的工作--也能成为解决这个问题的关键。

我们计划广泛分享这项工作的成果,同时我们把 OpenAI 模型以外的「对齐」和安全问题作出贡献视为我们工作的重要组成部分。

这个新团队的任务是对 OpenAI 现有工作的补充,旨在提高像 ChatGPT 这样的大模型的安全性,同时逐渐发现和降低 AI 的其他风险,比如滥用、经济损害、虚假资讯、偏见、歧视、成瘾、过度依赖等。

虽然这个新的团队将专注于机器学习领域方面的挑战,让「超智能」的 AI 与人类的意图保持一致,这同样涉及到部分社会科学问题,因此我们正积极地与跨学科专家进行接触,以确保我们的技术解决方案会考虑到更广泛的人类和社会问题。

,OpenAI 预测超级智西安区号 能 10 年内到来,要组建人类护卫队

相关:

这届年轻人为何盯上了电动轮椅?“30岁的我每天坐轮椅通勤”“青春没有售价轮椅直通拉萨”“坐上电动轮椅我能和哪吒做兄弟吗”……最近“开电动轮椅上下班”的视频在社交媒体上引发关注在不少商家眼中一些年轻顾客正成为电动轮椅的潜在购买人群这届年轻人为何盯上了电动轮椅?电动轮椅热销年轻人爱上了这款“出行神器”当下电动轮椅已不再是腿脚不便的老年人专属的代步工具据网络视频显示年轻人乘坐电动轮椅频频出现在校园、食堂、商场甚至还成群结队在一些道路..

又一考公巨头炸锅了文 | 山今“你们一定要远离口头上要做价值投资的人,尤其姓张的人。”上市不过半年,创始人兼CEO的“酒后失言”,再次把“公考巨头之一”的粉笔送上了舆论的风口浪尖。事件起源于这艘教育巨轮的掌舵者——张小龙,不是微信的那位,疑似在6月底发布的两张朋友圈截图。第一张截图中,张小龙吐槽某张姓价值投资大佬此前跟他说,投教育是为了做公益,不需要退出,但该大佬在股票解禁第一天就无脑狂卖,导致大家以为公司出了什么大..

“75后”张晓强,任甘肃省委常委、兰州市委书记据新甘肃客户端报道,兰州市7月8日上午召开领导干部大会,宣布中央和省委关于兰州市委主要领导任职的决定。省委书记、省人大常委会主任胡昌升出席会议并讲话。中央批准:张晓强同志任甘肃省委委员、常委,免去朱天舒同志甘肃省委常委、委员职务。省委研究决定:张晓强同志任中共兰州市委委员、常委、书记,中共兰州新区工作委员会第一书记(兼);免去朱天舒同志中共兰州市委书记、常委、委员,中共兰州新区工作委员会第一书记(..

可以不谈恋爱,但不能没搭子作者 | 寇大庸“蹲饭搭子!可全程当哑巴,不强行尬聊,不是话唠,相处轻松,不油腻,异性不会越界,主打的就是高效精准需求。”这是小红书上一则寻找“饭搭子”的帖子,底下600多条留言,都贴出了自己的需求和特点,互寻合适的“饭搭子”。这就是最近在年轻人中间流行起的“搭子文化”,可搭的不止吃饭,“奶茶搭子”、“追星搭子”、“健身搭子”、“游戏搭子”,花样百出,万事皆可搭。乍一看,“搭子”就像是球友、饭友、票..

河南一冰淇淋店发生爆炸,冰柜飞到门口的阶梯上7月8日,据青蜂侠报道,网传7月7日上午11时,河南信阳罗山县人民医院旁冰淇淋店发生爆炸,现场店铺冒出滚滚浓烟。视频中显示,发生事故后现场有烟雾冒出,地上堆满物品,冰柜还出现在阶梯上。图源:视频截图罗山县消防救援大队一工作人员告诉记者,发生爆炸的是一个零售批发的雪糕店。据悉,爆炸由地下室发生,浓烟可能是机器发出的,自前爆炸原因已排除煤气和燃气爆炸的可能性。事故发生导致1人受伤,1人被困,被困人员前期已被..

张晓强任甘肃省委常委、兰州市委书记兰州市今天(7月8日)上午召开领导干部大会,宣布中央和省委关于兰州市委主要领导任职的决定。省委书记、省人大常委会主任胡昌升出席会议并讲话。他强调,要坚持以习近平新时代中国特色社会主义思想为指导,坚定信心、锐意进取,知重负重、苦干实干,深入实施“强省会”行动,努力展示省会作为、重振兰州雄风,走好“自强”之路、放大“辐射”之能,不断开创兰州加速发展、奋勇争先、繁荣振兴的崭新局面,在全面建设社会主义现代..

第一代农民工的悲剧,究竟是谁酿成的《如此打工30年》爆款,老无可依的农民工让人无比同情。打工一辈子,每个月就拿100多块钱的“退休金”,退无可退,只能生命不止、劳作不休。这样的晚景让人唏嘘。这的确是分配不公,到底问题出在了哪里?“分配不公”的不是市场很多人应该听说过经济学“三次分配”理论。市场分配是第一次分配,分配结果是薪资收入为主的可支配收入;政府通过税收-财政提供再分配,即公共福利体系,社会慈善公益的第三次分配,是针对弱势群体的民..

对乌克兰失望后,美国做了一个决定据今日俄罗斯电视台网站7月7日报道,五角大楼承认对乌克兰反攻行动感到失望,并将乌方反攻“乏善可陈”作为提供集束弹药的理由。报道称,美国国防部副部长科林·卡尔7日表示,华盛顿决定向乌克兰提供有争议的集束弹药,在一定程度上是由于对基辅大肆吹嘘的夏季反攻乏善可陈的结果感到失望。报道称,在白宫宣布美国总统拜登已批准向乌克兰提供“双用途改进型常规弹药”(即集束弹药)后,卡尔发表讲话说,这一决定受到了“当前紧..

前瓦格纳雇佣兵披露普里戈任与绍伊古恩怨内幕6月底,战况正酣的俄乌战场一声惊雷,爆出瓦格纳集团兵变事件,令人大跌眼镜。其首脑普里戈任本来流亡白俄罗斯,但近日又被曝突然出现在圣彼得堡,让事态更加扑朔迷离。在俄乌战场名声大噪的瓦格纳集团和俄罗斯政府有着千丝万缕的联系。三名曾在瓦格纳集团服役的雇佣兵接受采访,披露了关于瓦格纳集团内部的第一手资料,让我们得以近距离了解这个“战争机器”的运作模式。亚历山大是俄罗斯人,被俄罗斯政府视为叛徒和逃兵,曾在..

奥地利外长:强烈反对美国向乌克兰提供集束弹药△奥地利外长沙伦贝格美国向乌克兰提供集束弹药的决定引发多方反对。奥地利外长沙伦贝格7日表示,奥地利强烈反对美国向乌克兰提供集束弹药。他强调,集束弹药在冲突结束后的多年时间里仍会给平民造成巨大伤害。沙伦贝格警告称,西方国家应该意识到这种行为在向世界传递什么样的信号。