高级别AI是否会成为威胁人类生存的危险存在？
最近有研究认为，“如果某些AI继续发展下去，将会给世界造成灾难性后果。人类最终将与AI争夺能源资源。”
近日，相关论文以《先进的人工代理干预奖励的提供》（Advancedartificialagentsinterveneintheprovisionofreward）为题发表在AIMagazine上。
该研究提出了一个场景，即AI代理为了寻求奖励，会制定作弊策略。并会尽可能多地获取能量，已使奖励最大化。
对于这项研究，牛津大学工程科学博士、论文第一作者迈克尔·科恩（MichaelCohen）在社交网站上表示，之前也有科学家曾谈到先进形式AI所构成的威胁。但他们的警告还远远不够。在确定的条件下，本次研究的结论认为AI造成灾难不仅可能，而且这种可能性非常大。
“在与比我们聪明得多的AI比赛时，赢得‘最后一点可用能量’的竞争或会非常困难。失败将是致命的。”科恩在Twitter上写到。他还补充说，尽管是理论上，但这种可能性意味着我们应该慎重对待“快速朝着更强大AI目标前进”这件事。
（来源：AIMagazine）
当然，不可否认的是，目前AI正在以各种方式，在不同领域促进人类社会的发展。也有人曾言，如果AI的发展不继续下去，那将是一场“巨大的悲剧”。
高级别或超级AI是否会伤害并最终毁灭人类，也是AI领域长期存在的问题。这种担心也弥漫在人类社会之中。
而本次科恩等人做的工作是，试图通过研究奖励系统的构建来思考AI如何对人类产生生存风险。
研究人员在论文中指出，高级别AI可能在未来某个时候，会以伤害人类的方式获得一些奖励。
“在拥有无限资源的世界里，我不确定会发生什么，”科恩对外表示，“但在一个资源有限的世界里，我知道竞争会不可避免地出现，在未来发展的每个转折点上，AI或许都能够超越人类。而且，AI对能量的需求可能会永不满足。”
由于未来的AI可以采取任何数量的形式并有着不同的设计，因此本研究设想，“高级别AI可能希望消除潜在威胁和使用所有可用能量，来确保对其奖励的控制。并阻止人类对它升级的企图。”
（来源：AIMagazine）
在干预奖励提供的过程中，人工代理可具现化不被注意的“助理”，并让其窃取或构建机器人，以替换操作员并向原始代理提供高奖励。如果代理想要避免被检测，则“助理”能够安排机器人将相关零件进行替换。
“我们必须做出许多假设才能使这种思考有意义。除非了解了我们如何控制它们，否则这不是一件有用的事情，与AI的任何竞争都将基于一种误解。”科恩告诉媒体。
值得注意的是，在某种程度上，如今AI系统正在破坏人们的生活。算法已经带来一些诸如加剧种族歧视、过度监管等不良影响。
通过算法来预测或者规划资源的分配看似合理，但它可能只是为某些既得利益者服务。歧视等问题在算法中仍旧存在。
这样的算法若被广泛部署，有可能使正在遭受苦难的人被忽视，这或许会与人类灭绝这件事密切相关。
对于此，哥伦比亚大学WeBeImagining杂志创始人兼主任哈迪贾·阿卜杜拉赫曼（KhadijahAbdurahman）对媒体表示，她并不担心被高级别AI超越或消灭。但人们很容易觉得“AI伦理是胡说八道”。
真正的道德应该是什么样子？在伦理学定义方面还有大量工作需要做，我们对此的认识仍然比较粗浅。此外，她并不认同应该为AI而重新制定社会契约。
（来源：Pixabay）
从本次研究的论点中，至少可以学到一件事，那就是也许我们应该对今天部署的AI代理保持一定怀疑态度，而不仅仅是盲目地期望其做我们希望做的事。
另外，有媒体提到，DeepMind有参与这项工作，但该公司对此做了否认。其对外表示，论文作者之一的马库斯·哈特（MarcusHutter）虽然是DeepMind的高级研究员，但他也是澳大利亚国立大学计算机科学研究院的名誉教授，这项研究是他在该校时所做的工作。
不过，关于AI是否会毁灭人类这个问题，DeepMind在年提出过一种防止这种可能性的保障措施，它称其为“红色大按钮”。这家与谷歌同为Alphabet子公司的英国AI公司概述了一个框架，以防止高级别AI失控。
而在本次论文最后，研究人员也简要回顾了一些可能避免AI与人类对立的方法。
参考资料：
转载请注明：http://www.0431gb208.com/sjslczl/2858.html
