本文信息整理自OpenAI官网。
我们的使命是确保人工通用智能(通常比人类更聪明的人工智能系统)造福于全人类。
如果AGI成功创建,这项技术可以帮助我们提升人类,增加丰富性,为全球经济提供涡轮增压,并帮助人类发现新的科学知识,改变可能性的极限。
AGI有可能给每个人带来令人难以置信的新能力;我们可以想象一个世界,我们所有人都可以获得几乎任何认知任务的帮助,为人类的智慧和创造力提供一个巨大的力量倍增器。
另一方面,AGI也将伴随着滥用的严重风险,剧烈的事故和社会的混乱。由于AGI的上升空间如此之大,我们认为社会永远停止其发展是不可能的,也是不可取的;相反,社会和AGI的开发者必须想办法把它做好。
虽然我们无法准确预测会发生什么,当然我们目前的进展也可能碰壁,但我们可以阐明我们最关心的原则:
- 我们希望AGI能够赋予人类在宇宙中最大限度的繁荣。我们不期望未来是一个不折不扣的乌托邦,但我们希望将好的方面最大化,坏的方面最小化,并且让AGI成为人类的放大器。
- 我们希望AGI的利益、获取和治理能够被广泛和公平地分享。
- 我们希望成功驾驭巨大的风险。在面对这些风险时,我们承认,理论上看起来正确的东西在实践中往往比预期的更奇怪。我们相信,我们必须不断学习和适应,部署不那么强大的技术版本,以尽量减少 “一次就能成功”的情况。
短期内
我们认为现在有几件重要的事情要做,以便为AGI做准备。
首先,当我们创造出持续的更强大的系统时,我们希望部署它们并获得在现实世界中操作它们的经验。我们相信这是小心翼翼地管理AGI的最佳方式——逐渐过渡到一个有AGI的世界要比突然过渡好。我们预计强大的人工智能会使世界的进步速度大大加快,我们认为逐步适应这种情况会更好。
渐进的过渡让人们、政策制定者和机构有时间了解正在发生的事情,亲自体验这些系统的好处和坏处,调整我们的经济,并将监管落实到位。它还允许社会和人工智能共同发展,并允许人们在风险相对较低的情况下集体弄清他们想要什么。
我们目前认为,成功驾驭人工智能部署挑战的最佳方式是通过快速学习和谨慎迭代的紧密反馈循环。社会将面临重大问题,即允许人工智能系统做什么,如何打击偏见,如何处理工作的转移,以及更多。最佳决策将取决于技术所走的道路,像任何新领域一样,到目前为止,大多数专家的预测都是错误的。这使得在真空中进行规划非常困难。
一般来说,我们认为世界上更多地使用人工智能会带来好处,我们希望促进它(通过将模型放在我们的API中,将它们开源,等等)。我们相信,民主化的访问也将推动更多更好的研究,分散的权力,更多的利益,以及更广泛的人贡献新的想法。
随着我们的系统越来越接近AGI,我们对模型的创建和部署也越来越谨慎。我们的决定将需要比社会通常适用于新技术更谨慎,也比许多用户希望的更谨慎。人工智能领域的一些人认为AGI(和后续系统)的风险是虚构的;如果他们证明是对的,我们会很高兴,但我们要像这些风险存在一样运作。
随着我们的系统越来越接近AGI,我们对模型的创建和部署也变得越来越谨慎。
在某些时候,部署的好处和坏处之间的平衡(如授权给恶意行为者,造成社会和经济混乱,以及加速不安全的竞赛)可能会发生变化,在这种情况下,我们将大大改变我们围绕持续部署的计划。
第二,我们正在努力创造越来越一致和可引导的模式。我们从第一版GPT-3这样的模型转向InstructGPT和ChatGPT就是这方面的一个早期例子。
特别是,我们认为重要的是,社会应就如何使用人工智能达成极为广泛的界限,但在这些界限内,个人用户有很大的自由裁量权。我们最终希望世界上的机构能够就这些广泛的界限达成一致;在短期内,我们计划进行实验,以获得外部投入。世界上的机构将需要用额外的能力和经验来加强,以便为关于AGI的复杂决策做好准备。
我们产品的 “默认设置”可能会相当受限,但我们计划让用户轻松改变他们所使用的人工智能的行为。我们相信授权个人做出自己的决定,以及思想多样性的内在力量。
随着我们的模型变得更加强大,我们将需要开发新的调整技术(以及测试以了解我们目前的技术何时失效)。我们在短期内的计划是使用人工智能来帮助人类评估更复杂的模型的输出,并监控复杂的系统,从长远来看,使用人工智能来帮助我们提出更好的排列技术的新想法。
重要的是,我们认为我们经常要在人工智能的安全性和能力方面一起取得进展。分开谈论它们是一种错误的二分法;它们在很多方面是相互关联的。我们最好的安全工作来自于与我们最有能力的模型合作。也就是说,安全进展与能力进展的比例增加是很重要的。
第三,我们希望就三个关键问题进行全球对话:如何管理这些系统,如何公平分配它们产生的利益,以及如何公平分享使用权。
除了这三个领域之外,我们还试图以一种使我们的激励机制与良好的结果相一致的方式来建立我们的结构。我们的章程中有一条关于协助其他组织推进安全的条款,而不是在AGI后期开发中与他们竞争。我们对我们的股东可以获得的回报有一个上限,这样我们就不会被激励去试图获取没有约束的价值,并冒险部署一些潜在的灾难性危险(当然也是与社会分享利益的一种方式)。我们有一个非营利组织来管理我们,让我们为人类的利益而运作(并且可以凌驾于任何营利性的利益之上),包括让我们做一些事情,如在安全需要时取消我们对股东的股权义务,并赞助世界上最全面的UBI实验。
我们试图以一种使我们的激励机制与良好的结果相一致的方式来设置我们的结构。
我们认为,像我们这样的努力在发布新系统之前提交独立审计是很重要的;我们将在今年晚些时候更详细地谈论这个问题。在某些时候,在开始训练未来的系统之前得到独立的审查可能是很重要的,对于最先进的努力,同意限制用于创建新模型的计算量的增长速度。我们认为关于AGI工作应该在什么时候停止训练,决定一个模型是否可以安全发布,或者从生产中撤出一个模型的公共标准很重要。最后,我们认为主要的世界政府对超过一定规模的训练运行有洞察力是很重要的。
长期的
我们相信,人类的未来应该由人类来决定,与公众分享有关进展的信息是很重要的。应该对所有试图建立AGI的努力进行严格的审查,并对重大决策进行公开咨询。
第一个AGI将只是智能连续体上的一个点。我们认为很可能从那里开始继续进步,可能在很长一段时间内保持我们在过去十年中看到的进步速度。如果这是真的,世界可能会变得与今天的情况极为不同,而且风险可能是非凡的。一个错位的超级智能AGI可能会对世界造成严重的伤害;一个拥有决定性的超级智能领导权的专制政权也会这样做。
能够加速科学的人工智能是一个值得思考的特殊情况,也许比其他一切都更有影响。有可能的是,有足够能力加速自身进展的AGI可能会导致重大变化出乎意料地迅速发生(即使过渡开始得很慢,我们也期望它在最后阶段发生得相当快)。我们认为较慢的起飞更容易做到安全,AGI之间的协调努力在关键时刻放慢速度可能会很重要(即使在一个我们不需要这样做来解决技术对接问题的世界里,放慢速度可能很重要,可以给社会足够的时间来适应)。
成功过渡到一个拥有超级智能的世界也许是人类历史上最重要的(充满希望,也是最可怕的)项目。成功远未得到保证,而其中的利害关系(无限的坏处和无限的好处)将有望使我们所有人团结起来。
我们可以想象一个人类蓬勃发展的世界,其程度可能是我们任何人都还无法完全想象的。我们希望为世界贡献一个与这种繁荣相一致的AGI。
所有评论