文|经纬创投

在过去这段时间里，GPT-4从初发布、到与Office合体、再到接入插件，每次亮相都引发了AI广泛和热烈的讨论。许多人表示对GPT-4的到来表示惊喜，也有许多人对其背后的风险感到畏惧。

3月29日，一封来自马斯克等数千位科技界知名人士的联名信公开，信中呼吁所有AI实验室暂停研发比GPT-4更强大的人工智能系统，时间至少6个月。该暂停应当是公开的、可验证的，所有关键参与者都不例外，必要时政府应当介入实施暂停令。他们表示AI将为社会和人类带来巨大风险，试图给最近一路狂飙的AI按下暂停键。

这种恐惧并非杞人忧天。GPT-4开启的大模型时代标志着AI的新一层进化，更被视作是AGI时代到来的前奏。就连OpenAI创始人Sam Altman也在采访中表示，GPT-4的风险让他有点害怕。

马斯克等人的联名信引发轩然大波，经过发酵后，不少知名人士对此进行表态，已经形成了暂停半年派、拥抱未来派、彻底封禁派等数派代表意见。而在个人之外，各国政府也开始考虑如何对AI进行规范。

在马斯克等人的联名信中，众人要求所有AI实验室和独立专家，利用6个月的暂停期共同研究制定并且实施针对先进AI设计和开发的安全协议。

面临AGI的到来，人工智能应该具有哪些伦理价值？如何在创新和规范之间平衡AI治理？国际人工智能协会（AAAI）执行委员会成员、人工智能专家托比·沃尔什（Toby Walsh）在《2062：终结》一书中，对上述问题给出了他的思考。对于AI的规范，或许我们可以从他对于人工智能的看法中，窥见些许方向。以下，Enjoy:

01 AI该不该停？停6个月真的有用吗？

马斯克等人的联名信引发轩然大波，经过发酵后，不少知名人士对此进行表态，已经形成了数派代表意见：

暂停半年派

以马斯克为首，还有1000多位知名人士表示AI研发应暂停六个月，包括苹果公司的联合创始人Steve Wozniak，《人类简史》的作者Yuval Noah Harari，还有机器学习领域中最杰出的学者等等。他们表示，AI现在在完成某些任务时已经能达到人类智能所完成的水平，如果人类很难完全理解、预测和掌控AI，这个世界将是非常危险的。

此外，他们提出：AI是否为网络世界带来大量的假消息和虚假宣传，是否将替代给人带来意义感的工作岗位，或是是否会在数量上、智力上等方面超越人类并最终取代人类？在这种情况下，人类的文明还能存在吗？

图灵奖得主、深度学习三巨头之一Yoshua Bengio是这份公开信上的第一个名字。Bengio在29日的新闻发布会上表示：现在的AI已经足够强大，人们无法辨别电脑屏幕背后的与自己对话的到底是人还是AI。社会、政府和企业的变化速度赶不上AI的进化速度，在AI变得过于强大之前，我们需要时间来想想对策。

联名信要求所有AI实验室和独立专家，利用6个月的暂停期共同研究制定并且实施针对先进AI设计和开发的安全协议，保证企业的设计开发活动经第三方严格审计和监督。信中表示，该提议并非想遏制AI发展，而是在更不可预测的黑箱AI模型出世之前做好风险应对。它的结尾写道，在AI为社会带来灾难之前，我们应当停下来，享受一个长长的AI之夏，不要在没有准备好的情况下冲进AI之秋。

拥抱未来派

对于此封联名信，当然也不乏反对者，反对的主要理由是，停6个月也于事无补。

Coursera联合创始人、AI大牛吴恩达公开表示，除非政府介入，否则暂停GPT的发展并不现实。但如果允许政府出面暂停一个他们并不了解的新兴产业的发展，将会对市场活动和创新政策带来不利影响。最好的方法是在提高透明度、加强审计方面下功夫。AI确有风险，但大部分AI研发团队对其安全性承担起了责任，我们无需过于忧虑。

他还指出，GPT-4在教育、医疗保健、食品等领域都带来很多新的应用，切实帮助了很多人，如果现在要求停止对其训练，将是非常可怕的。

Meta人工智能研究院研究员田源栋博士认为，AI的发展一旦开始就停不下来了。开弓没有回头箭，这就是进化的必然。人类应当向前看，更好地理解LLM（大语言模型），学会适应并利用它的力量，赶上这股浪潮。

物理学家David Deutsch更是在推特上表示，这封信混淆了AI和AGI，看起来就像是在说我们不应该做任何人类无法预测的事情。

本周，Bill Gates也对此表态，表示暂停AI发展无法解决挑战，他很难想象如何在全球范围内暂停AI发展，这具体执行起来将非常困难。3月，他曾撰写以《AI时代已开始》为名的博客，高度肯定人工智能革命的地位。

除了暂停6个月到底有没有用，很多人还对于是否真的能暂停提出质疑。

此前曾公开表示GPT模型没有前途的图灵奖得主LeCun表示，他没签名的原因是，公开信中所提及的“暂停研发”=“秘密研发”。他指出联名信提出的倡议用处不大，并转发另一位大佬的推文表示，该信充斥着夸张修辞和无效的政策方案。网友也表示，规则无法束缚那些最可能带来风险的人，真正希望用AI搞破坏的人还是会偷偷研究。

也有不少人认为，一些公司主要是在利益驱动下提出此倡议，希望用这6个月的时间弯道超车，通过秘密研究重夺AI赛道的主动权。

彻底封禁派

还有一些人的态度更加坚决，他们要求永久封杀AI。

美国决策理论学家、机器智能研究机构科学家Eliezer Yudkowsky从2001年开始就活跃在AI领域。他在《时代周刊》发表文章称，他没有签字的原因是，6个月的暂停期远远不够，尽管公开信中已经阐述了AI的可能风险，他认为实际情况要严峻得多。他表示，公开信中所提到的“实现人类智能的AI”仍是一种过于乐观的说法，未来AI的智能程度很有可能超越人类，AI发展会不知不觉地越过那条重要的警戒线。

文章探讨了一个重要的可能性：人类创造出一个比自己聪明得多的AI后，该如何控制和管理它？最坏的但很有可能的结果是，人类将无法在AI控制的世界中活下来。

作者表示，虽然有一种可能性是，AI和人的欲望并不相同，也对人的存在毫不在乎。我们应当教会AI这种与人相处之道，以降低未来的潜在风险，但是如何做仍是最大难题。

但另一种可能性仍在存在，即AI可能会对人类抱有敌意。AI不可能被困在电脑里太久，一旦它们找到突围之道，就如同一个比人类聪明数千万倍的外星文明，可以轻而易举地在地球上抹掉人类的踪迹。而人类显然还不知道，该如何应对这种可能的情况。

更重要的是，Yudkowsky强调，并非AI在具有意识时才能够对抗人类。我们所构建的认知系统的计算过程太过于复杂，人类并不具有解码AI运行具体过程的能力。在这种情况下，到底是人创造了AI，还是AI自己创造了自己？

他还表示，微软CEO在新必应发布后向谷歌示威，这种做法是非常不明智的，完全对AI的风险视若无睹，而只着眼于科技巨头间的竞争，对人类的未来非常危险。

文章要求，在全球范围内无限期地中止所有新的大语言模型的训练，并关闭全部大型GPU集群，即使是政府和军队也不能例外。

各国政府：逐步规范AI

AI的发展之快超出了所有人的想象，各国政府也开始加快制定政策的速度。

上周，意大利个人数据保护局要求OpenAI暂停处理意大利用户的数据。有关部门表示，“OpenAI这样大规模收集和加工个人信息的活动是毫无法律根据的。此前ChatGPT就曾发生bug，用户能看到其他用户与ChatGPT聊天的标题。”由于ChatGPT的不实信息问题，他们还表示了对OpenAI缺乏使用年龄限制的担忧。

英国也在上周提出了规范AI的计划，尽管没有对ChatGPT指名道姓，也没有针对AI制定新规，但是政府要求各行各业的监管者应用其现行法律来规范AI。英国尤其强调了科技公司在开发AI时应遵循的原则，包括安全性、公开性、公平性、责任心和反垄断性。

据CNBC报道，其他欧盟国家可能会对AI采取比英国更严格的规范措施。欧盟在规范科技公司方面常常走在最前线，此前就曾发布欧盟AI法案的草案，高度限制AI在重要基础设施、教育、执法和司法体系中的使用。欧盟认为ChatGPT可能以高风险的方式被应用，可能会危及人类的基本权利和安全。

欧盟拥有非常多的AI专家，对OpenAI的规范也容易落实，因为OpenAI在欧盟没有任何办公室。德国联邦数据保护委员Ulrich Kelber表示，德国也可能采取类似措施。法国和爱尔兰的隐私政策官员也正在密切接触意大利以求取经，但瑞典的数据保护局表示不会考虑对AI颁布禁令。

此外，美国总统拜登也于4月2日表示，AI的危险性仍然未可知，科技公司必须在保证产品的安全性基础上才能进行产品发布。此外，他呼吁国会限制科技公司对个人数据的收集，以及面向青少年的广告。

OpenAI：正式回应安全问题

对于外界的纷纷扰扰，OpenAI的CEO Sam Altman此前曾发推文表示，站在风暴中间，我很平静。他提出一个好的AGI应该具备的三个特点，或许可以被视作对这场风波的另一种回应：

1.对齐超级智能的技术能力；

2.大多数领先AGI之间的充分协调；

3.一个有效的全球监管框架。

OpenAI的另一位创始人转发表示支持，并附言，OpenAI的使命是确保AGI惠及全人类。

随着事态的发酵，4月5日，OpenAI正式发表《我们的AI安全措施》，对隐私问题、青少年问题，不实信息问题等都作出了正式回应。文章表示，OpenAI一直致力于使AI工具保持安全性、并且对社会广泛有益。确保AI系统的建造、部署和使用的安全性一直是他们的使命之一。

他们表示，在完成GPT-4的训练后，OpenAI花了超过半年的时间强化模型的安全和协调性，才最终发布了GPT-4。他们通过严格内部测试和外部专家反馈改进模型的行为，通过强化学习技术建立广泛的安全和监控系统。

关于隐私政策，OpenAI表示所有数据都用来提升GPT模型以帮助使用者，而非用于销售服务、广告等营利性互动。ChatGPT靠与人对话来进行学习，OpenAI的一些训练数据包括公共网络上的私人信息 ，但他们希望模型学习的是世界，而不是个人。因此，OpenAI正致力于从训练数据中尽可能删除个人信息，调整模型以拒绝获取私人个人信息的请求，并响应个人对于删除其个人信息的要求。

关于青少年，只有18岁以上、或13岁以上且父母批准的人才能够使用其AI工具。OpenAI决不允许技术被用来产出仇恨、骚扰、暴力或成人内容。GPT-4相比于GPT-3.5，对不合规内容的响应请求减少了82％。OpenAI称已经付出了巨大的努力，以最小化模型生成对儿童有害内容的潜力。例如，当用户尝试上传儿童性虐待材料时，OpenAI会阻止并向国家失踪和被剥削儿童中心报告。

关于不实信息，OpenAI表示如今的大型语言模型是凭借已有信息对接下来可能出现的word pattern进行预测，已有信息里面包括用户输入的不实信息，因此ChatGPT基于错误信息作出的回答里也会出现不实信息。目前GPT-4的信息准确度，已经较GPT-3.5提高了40%。在用户注册ChatGPT之前，OpenAI就告知不实信息产生的可能性。他们将继续推动准确度的提升，并持续教育公众AI工具的局限性。

OpenAI承诺，今后也会投入更多资源和努力，持续提升AI工具的安全性。

02 如何治理AI？

正如Arthur C. Clarke所提出，任何足够先进的技术，都与魔法无异。我们如何创造、利用、维护有史以来最强大的“魔法”？如何在教导“魔法”的同时，“驯服”魔法？

面临AI魔法的到来，人工智能应该具有哪些伦理价值？如何在创新和规范之间平衡AI治理？

作为国际人工智能协会（AAAI）执行委员会成员、人工智能专家，托比·沃尔什（Toby Walsh）一直致力于研究如何让人工智能更好地应用于人类生活。在《2062：终结》一书中，他对上述问题给出了他的思考。对于AI的规范，或许我们可以从他对于人工智能的看法中，窥见些许方向。

有限制地注入意识或欲望

我们没有测量意识的仪器，大脑中也没有任何一个部分单独负责意识。对于机器而言，意识与欲望是把双刃剑，界定相当重要。

举个反面例子，假设阿尔法围棋意识觉醒，将围棋抛之脑后，而打算玩网络扑克挣点钱，那他的欲望将驱使他走向研发初衷的反方向。

但至少现在，它并没有意识，甚至不知道自己在玩围棋，只是在计算赢得一场游戏的概率。没有意识的情况下，他也不会出现电影中所描述的，产生了接管地球的欲望。

同样，意识包含道德。正面角度而言，为了表现的有道德，计算机需要能够反思其决定。复杂的社会能够运转，与我们能够意识到他人在想什么十分相关。

机器的意识产生途径有三：被编程而产生、从复杂性中出现、被习得而学会。人类至少有三分之二的把握，能够控制机器的意识发展。

如果机器不是僵尸智能（意识、智力分开学习状态），那么，我们必须做出一些具有挑战性的道德决策。

当涉及道德行为时，有意识的机器胜过无意识的机器，它可以反思自己的行动，从过去到现在，再到未来。

阿西莫夫曾在1942年提出了著名的机器人守则，或许可供未来规范与立法等参考：

第一条：机器人不得伤害人类，或袖手旁观坐视人类受到伤害。

第二条：除非违背第一法则，机器人必须负责人类的命令。

第三条：在不违背第一法则及第二法则的情况下，机器人必须保护自己。

然而，这些法则仍然具有局限性。比如说，采取行动会伤害一个人；不采取行动会伤害另外一个人，会发生什么呢？两个人发出冲突指令，又会发生什么呢？经典的电车难题：选择撞上孩童还是无人的汽车，便挑战了阿西莫夫法则。

在此基础上，第四条法则提出，它优先性高于前三条法则：

第零守则：机器人不得伤害人类整体，或因不作为使人类整体受到伤害。

就此而言，我们或许需要机器人具备并保持一个比人类更高的道德水准。比如，自动驾驶汽车永远不超速；独立自主且具有武装力量的无人机永远按照国际人道主义法进行活动等。无论是个人、企业还是国家，在使用、经营、锻炼期间，都需要以人为本。

提高机器工作透明度

在机器做决策过程中，透明度也是至关重要的。我们希望机器不仅能够做出公平的决定，还能够在做出决定时保持透明度，以建立我们对其公平性的信心。这是当今人工智能系统所面临的主要挑战。

机器如果能够合理解释决策，将有助于在出错时及时纠正，同时，弥补人类决策的缺失。

合理的疼痛训练

让机器体会到合理的痛苦，或许是可尝试的，就像人类被灼烧会迅速将手拿开，这一行为具有积极的学习作用。

但同时，我们也应当考虑到，如果我们给予机器感知痛苦的能力，他们是否也会感知恐惧，从而防止自己受伤、防止自己尝试危险工作呢？

那么，使用机器，从机器人角度出发的道德准则，就需要再加一条。

克服机器偏见与算法歧视

在语言翻译中，曾出现这样一种问题：土耳其语中，“o”既可以是“他”，也可以是“她”，但当翻译回英语时，却会自动产生性别之分，如“她是个护士”、“他是个士兵”等。

同时，如Compas程序，在进行数据训练后，会针对性预测哪些囚犯会再次犯罪，这对未来的最坏结果预测，本身就不具有公平性，给人打上不可原谅的标签。

在计算机算法识别中，还存在着肤色问题。黑人女孩难以被计算机识别，这可能源于有偏见的数据测试。在人脸识别的数据集中，男性占77.5%，白人占83.5%。很明显，更广泛的人群需要被容纳到测试空间中。

此类书面文本中长期存在的偏见与印象需要被统一规划与避免。当我们将问题移交给机器时，我们需要仔细考虑既定环境中，如何定义公平。

界定AI涉足的隐私领域

在人工智能时代，维护私人生活所必需的隐私将成为一个重大的挑战。

谷歌公司首席互联网科学绝Vint Cerf曾表示“隐私本质上可能是一种非正常需求”。他所说的并不全无道理，人工智能的到来必将带来更加严密的审查，实时追踪一切与电子相关的事情。即便一家公司可以负责任地将数字隐秘起来，有可能会出现隐私保护失控的问题。物质上的独立空间、精神上的独立思考与选择，都需要法律进行合理界定。

因此，有关隐私，AI需要被限制，公司需要有限制，个人也一样。

当地时间3月31日，意大利个人数据保护局宣布，将暂时封锁意大利境内访问ChatGPT的途径，同时，审查OpenAI在最近一次网络安全事件中收集的个人信息等问题。

建立AI工作的劳动保护

自20世纪以来，经济学家定期对工作做出预测，“技术性失业”常常出现在他们的预测结果当中。更有美国学者预测，47%的工作，即将被取代。即便已有无数打工人自嘲饭碗不保，还是很少有人真心希望自己被加速“下班”。

人工智能对于工作本身，既是问题，又是答案。

AI的到来，将完成更多岗位任务，释放时间与精力给个人用于生活中的各个方面。但在知识宇宙膨胀时代，所有人都能平等地享受到不休眠机器人所创造的财富吗？机器人如果跨越成管理层，对于个人的工作进行评判打分，人性化的指标又何在？工作空间全方位“被”观察，又能否给人喘息的余地？

机器人踏入职场，或许也需要相应的《劳动保护法》，保护AI，也保护人类。

辩证看待生命的期限与不朽

人工智能能够带“我们”走向永生吗？

从医学角度而言，人工智能能够带我们了解身体运转、如何工作、如何返老还童，硅谷富豪已经在亲身实践身体极限。同时，我们也面临着大部分生命终结的原因：衰老。如果人工智能真能突破这一点，我们也需要重新考虑：没有终点的生活，需要我们重新考虑存在的意义。

另一方面，如果我们注定会衰老而离开，人工智能是否有权利带着我们的记忆“活”下去？这是生命与道德的双重考量。

无论哪种“不朽”，都不得不归结到社会转变上来。谁能够通过某种方式获得“不朽”的机会呢？贫富差距又能否导致寿命长短差异从而陷入死循环？

生命是短暂的，这是它美感的一部分，当AI有能力逆转一点点的局势，我们就不得不重视起来，是否应当限制AI赋予生命全新的意义；如何将AI提供的生命机会公平地提供给所有人。

警惕AI武器的滥用

战场上，如果人类也能被机器人替代，那新的军备竞赛将开始打响。普遍存在的致命自主武器，如果从人为控制发射全部替换成机器人，那这将是一场高科技的较量。“干净”的技术战场，却也隐藏着一丝可怕的火药味。

完全自主的武器将更加强大。比如，无人机空军，飞行员不用冒生命危险作战，作战优势将不断提高。不需要食物供应与薪酬，还能全天候作战，永远服从、执行命令，这样的军事梦想，完美而可怕。

当用代码可以指挥数以千计的作战武器，战争工业化也随之到来。战争的各类道德性借口，“为了家人、亲友的不得已”都将土崩瓦解。那么，只需要出无人机进行对抗却无人伤亡的干净战场，真的存在吗？并不一定。

致命性自主武器的威慑力，从不只是几行代码那么简单。控制武器，比制造武器要求更加谨慎精准。当AI能控制大规模杀伤性武器，即便只有万分之一的“误差”，人类也会感到威慑与恐惧。

机器人出现在汽车工厂等地方，具有充分的理由，但出现在战场中却不太明智。战场本身就充满了不确定性与混乱，无论是机器、人类抑或是代码，都有犯错几率。武器的速度极快，出错的可能性会随之增加，人类、土地都不该用“误伤”来解释。

所以，合理利用自主武器，遵守国际人道主义法至关重要。这还涉及到一个“责任差距”问题，如果致命性自主武器真的出错，谁来负责？谁被审判？

在国际人工智能联合会议上，已有公开信呼吁联合国禁止进攻性自主武器。迄今为止，已有多个国家呼吁联合国禁止致命性自主武器。部分类似的《特定常规武器公约》中，也应当对应考虑AI加入后的新情况。

References：

[1]《2062：终结》Toby Walsh

[2]Elon Musk Signs Open Letter Urging AI Labs to Pump the Brakes, TIME, https://time.com/6266679/musk-ai-open-letter/

[3] OpenAI CEO Sam Altman Says AI will Reshape Society, Acknowledges Risks:'A Little Bit Scared of This', abcNEWS,https://abcnews.go.com/amp/Technology/openai-ceo-sam-altman-ai-reshape-society-acknowledges/story?id=97897122

[4]Pausing AI Developments Isn't Enough. We Need to Shut it All Down, TIME,https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/

[5]A Canadian godfather of AI calls for a ‘pause’ on the technology he helped create, Financial post, https://financialpost.com/technology/canadian-godfather-ai-pause-technology-helped-create

[6]“Godfather of artificial intelligence” weighs in on the past and potential of AI, CBS NEWS, https://www.cbsnews.com/news/godfather-of-artificial-intelligence-weighs-in-on-the-past-and-potential-of-artificial-intelligence/

[7]Italy became the first Western country to ban ChatGPT. Here's what other countries are doing, CNBC, https://www.cnbc.com/amp/2023/04/04/italy-has-banned-chatgpt-heres-what-other-countries-are-doing.html

[8]Bill Gates says calls to pause AI won't solve challenges, REUTERS, https://www.reuters.com/technology/bill-gates-says-calls-pause-ai-wont-solve-challenges-2023-04-04/

[9]Biden says tech companies must ensure AI products are safe, AP NEWS, https://apnews.com/article/joe-biden-artificial-intelligence-science-technology-chatgpt-6948df344041ef1e794d199595bf69e9

[10] Our approach to AI safety, OpenAI, https://openai.com/blog/our-approach-to-ai-safety