人工智能令人印象深刻。它可以在电影中模拟瓦尔·基尔默的声音，并多次帮助研究人员解决复杂问题。不过现在，研究人员提出，人工智能的威胁比我们想象的要大。
研究人员在8月底发表了他们的研究结果。根据该论文，人工智能的威胁可能会根据研究人员确定的一系列条件而改变。这也不是研究人员第一次将人工智能视为一种可能的威胁。但这篇新论文耐人寻味，因为它所研究的假设是合理的。
在这些假设中，研究人员认为，“人工智能干预提供奖励会产生非常糟糕的后果，”该论文的作者之一Michael Cohen本月发推文说。Cohen说，研究人员确定的条件表明，出现威胁性结论的可能性比以前的任何出版物都要强。
此外，该团队表示，人工智能的威胁是建立在存在性灾难的基础上的。而且，这不仅是可能的，而且是非常可能的。Cohen和其他研究人员指出，最大的问题之一是，总是可以对一个问题投入更多的精力，使其达到人工智能所做的奖励的程度。因此，它可能使我们与机器产生矛盾。
“简而言之，”Cohen在推文中写道，“就是总是可以采用更多的能量来提高摄像机永远看到数字1的概率，但是我们需要一些能量来种植食物。这使我们不可避免地与一个更先进的代理竞争。考虑到这一点，听起来似乎人工智能的威胁可能会根据它的教学方式而改变。”
Cohen在这里提到的数字是基于一个测试，迫使人工智能代理达到某个数字。而且，一旦它被证明有办法做到这一点，它可以使用更多的能量来优化达到这个目标。这是一个耐人寻味的命题，也说明了为什么这么多人担心人工智能的威胁。
很明显，论文中提供的例子并不是唯一可能的结果。而且，也许我们可以找到一种方法，让机器受到控制。但是，这项新研究确实提出了一些问题，我们到底要在多大程度上信任人工智能，以及如果发生生存灾难，我们可以如何控制它。
相关：
王赓武：我觉得应该把故事说出来几年以前，我开始为孩子们写下我在怡保成长的故事。我知道这也是为了自己而写，因为过程中我努力回想父母当年的样子。我和父母同住一城的岁月，除开1948年间的九个月，只有孩提时代到十九岁为止。我觉得应该告诉孩..
姓名的文化史：从居里夫人到玛丽·居里每个人都有名字，但不是每个人都知道姓名背后代表的社会文化。中国百家姓熟悉中国历史的朋友应该知道先秦时期，姓和氏是有区别的，简单说来姓是血缘（故有同姓不婚一说，以此“别婚姻”）、氏是阶级（表示同一姓下..