文|创瞰巴黎 Sirine Azouaoui

编辑|Meister Xia

导读

随着虚拟化身技术的崛起，人们可以通过与逝者的聊天机器人互动，延续与已故亲人的交流。然而，这一技术引发了众多争议和担忧，如心理影响、数据使用等问题。在这个充满可能性和挑战的新领域中，我们需要认真思考：逝者机器人的出现是否迈出了道德和社会的界限？人们在对待逝者数据时应该如何平衡尊重与隐私保护的关系？AI技术的快速发展是否需要更加严格的监管和规范？

一览：

• AI的最新进展，让逝者的数字化保存技术更上一层楼。
• 一些企业正在开发虚拟永生技术，基于逝者在网上留下的信息，生成一个虚拟化身或聊天机器人，供人们与逝者交流，以这种方式“延续生命”。
• 这些虚拟化身利用生成式AI技术，通过学习逝者生前的录音、信息、趣闻轶事等数据来生成内容。
• 尽管AI技术已经取得了诸多进展，但现阶段的虚拟化身仍不完美，专业人士担心用户会误以为聊天机器人是人类、产生依恋心理，并逐渐与世隔绝。
• 我们需要帮助用户了解这些工具的风险和挑战，并明确数据使用权的归属，从而为相关实践提供一个规范框架。

人们离世后，留下的个人数据将何去何从？其实，很多都会保留在数字空间中，如网站和社交平台上的个人资料等。不少网络平台都开辟了纪念功能，比如，当脸书（Facebook）用户离世后，账户便会被设为悼念帐户，供人们悼念逝者、留言，并发布照片。

如今，有了人工智能（AI）技术的助力，我们能够进一步升级对逝者的数字化保存。比如，一些企业正在开发虚拟永生技术，基于逝者在网上留下的信息，生成一个虚拟化身或聊天机器人，供人们与逝者交流，以这种方式“延续生命”。早在2017年，微软就申请了一项基于个人数据创建对话替身的专利，并于四年后获得批准。他们的想法是，创建一个虚拟化身来赋予逝者生命。“人们总希望自己能战无不胜、长生不老，对死亡的抗拒可谓是刻在骨子里，”法国索邦大学AI专业教授Laurence Devillers解释说，“这样说来，如果每个人都愿意付费在逝去后生成一个虚拟化身或是聊天机器人，那将极具经济效益。”

自2017年之后，一个全新的行业如雨后春笋般出现。2018年，美国记者James Vlahos开发了一个聊天机器人，经过训练后，说话口吻与其因癌症去世的父亲一模一样。在父亲生前， Vlahos对父亲进行了采访，并全程录音。随后，Vlahos与他人共同创办了一个“交互式记忆应用”平台，名为HereAfter AI。这一平台可以在人们在世时记录下他们的故事、回忆，并留下录音，在他们去世后以聊天机器人的方式继续与亲朋好友对话。许多初创公司都提供创建数字化身的服务，让人们在死后继续“存在”在世上。韩国企业Deepbrain AI推出了一种名为Re:memory的技术，用户只需花费一万美元，便可通过投射影像的方式，与一个具有逝者面容、声音和表情的虚拟化身互动。英国企业Somnium Space则是想要更上一层楼，让用户在元宇宙中享受与逝者的沉浸式互动。

01 基于海量数据创建虚拟化身

生成式AI的快速发展让上述设想成为了现实。当前，网络上普遍存在各种聊天机器人，能在语义上理解用户的语言输入，并做出回复。类似地，“逝者机器人”在学习数十亿条数据后，可以模仿人类进行对话。无论是录音、电子邮件、短信、来自别人的评价、还是生平事迹都可以作为资料，来创建虚拟化身。Devillers解释道：“计算机会从死者的现有数据中寻找规律。生成式AI可以为大量数据建模，并为其配备人像和声音。当与用户开展对话时，AI会在这个庞大的模型中搜索被触发的相关信息，这样一来，AI可能会说出一些死者从未说出口的话。”

这些算法会让人产生与逝者交谈的错觉。在Devillers看来，这是且只是一种错觉。提供这些服务的初创公司通过复制逝者的样貌、声音和说话方式，让逝者得以“永生”，或是延续记忆。但是，这些“逝者机器人”永远无法完美重现逝者。Laurence警告说：“从当前的技术水平来看，声音的模仿度已几近完美，词汇的选择也极为贴切，但与完美之间永远存在着距离。机器也不可避免地会犯错，甚至胡编乱造。”

“该技术是好是坏还不能盖棺定论，但从社会层面而言，我们还没有做好充分准备。”

AI就像一个基于数据统计的预测器。当用户与AI进行对话时，算法会根据话题在数据库中寻找答案。当没有现成答案时，算法只能使用相关性最高的内容，这意味着生成的结果未必是当事人会给出的回答。更重要的是，AI并不会随时间的推移而调整与用户之间的对话。“模型背后的数据拥有丰富的内容，覆盖多个语境。所以会带来错觉，让我们以为机器会根据提问来调整回答。但事实上，机器是在记录对话历史，根据用户的提问和回答不断丰富语料库，从而变得越来越精确。或许，未来能开发出会随我们而调整的技术，但明天尚未到来。”

02 用户面临的重大风险

因此，“逝者机器人”技术并不旨在让人们实现永生，反而更像是为记忆注入生命，用“活着的记忆”来与用户进行对话和互动。这些技术的开发者声称，它们不仅可以帮助我们更好地了解祖先，还可以用于寄托哀思。然而，我们远远无法断言这些工具丝毫不存在负面影响。2021年，法国国家数字伦理试点委员会（CNPEN）与Devillers合著了一份报告，其中指出了常见聊天机器人（如商业网站上使用的类型）的风险。用户可能会在不知情的情况下，误以为自己是在与人类对话，并产生依恋心理。在Devillers看来，当聊天机器人长得与已故亲人一模一样，并用他们的声音诉说往事时，产生误会的风险会更高。她担心，“逝者机器人可能会延长悼念的过程，使分离和痛苦的感觉更持久。这样一来，我们与机器人的关系会变得更加难以界定。而且，人们对逝者心存爱意，也许会与聊天机器人难舍难分。”

由于机器不具备真正的推理能力或道德观念，因此风险更大。报告指出，逝者机器人可能会带来“恐怖谷效应”。例如，聊天机器人可能会说出令人反感的话，或是在一连串正常的应答之后，说出逝者完全不可能说出的话。作者们担心，这种效应会导致晴天霹雳般的心理痛苦。Devillers还指出，人们可能会对这些机器人上瘾，从而变得更为孤僻。

03 社会层面需对此类工具开展评估

除了担心这些技术可能对用户产生的心理影响之外，数据的使用方面也惹人担忧。为了创建这些虚拟化身，AI算法需要从逝者处获取大量数据。根据2016年的法国《数字共和国法》（Law for a Digital Republic），人们可以选择保留、删除或使用个人数据，并可以指派他人来执行上述决策。然而，随着逝者机器人的不断涌现，收集、存储和使用逝者数据也引发了一系列讨论：儿童是否享有对数据的决策权？虚拟化身及其数据的使用是否要设置有效期？Devillers解释道：“现状是，聊天机器人开发商会与用户签订合同，由用户决定其个人数据的使用情况。”

逝者机器人市场仍处于起步阶段，用户今后是否会每天大量使用这些工具仍是未知。不过，虚拟化身服务近年来正如雨后春笋般涌现。随着联网技术的发展，对话机器人可能会成为我们日常生活中不可或缺的一部分。Devillers认为，社会层面需要对这些工具的使用展开集体讨论。“该技术是好是坏还不能盖棺定论，但从社会层面而言，我们还没有做好充分准备。我们需要帮助用户了解AI的挑战和风险。”Devillers还主张成立一个委员会，通过制定规则来规范相关做法。她总结道：“上述实践将产生社会影响，因此，我们迫切需要严肃对待这一议题。相关决策不应留给少数资本家来做。”

参考资料

Report by the French National Digital Ethics Committee on conversational agents, 2021