正在阅读:

4万字告诉你ChatGPT到底是什么?(上)

扫一扫下载界面新闻APP

4万字告诉你ChatGPT到底是什么?(上)

ChatGPT全称为“Chat Generative Pre-trained Transformer”,Chat是聊天,GPT是“生成型预训练变换模型”,可以翻译为“聊天生成预训练转换器”或简称“优化对话的语言模型”。

文 | 星船知造 钱鸿生

编辑 | 唐晓园

序言及摘要:

作为星船知造“现代通信与智能网技术展望”系列栏目的第一辑,我们邀请星船知造的资深读者、通信行业教授级高级工程师钱鸿生博士为我们撰写了《ChatGPT技术架构及中国人工智能未来发展趋势报告》。

报告正文共3.8万字,在介绍了ChatGPT的进化历程、主要内涵、底层技术架构与逻辑后,提出ChatGPT潜在的商业价值和对资本市场影响的风险管控警示。

并分析了算法和算力以及芯片技术,对我国人工智能AI发展的制约与影响,最后切入我国AI产业结构调整、建立AI法律保护与系统安全的视角,对发展我国人工智能产业提出一些前瞻性的趋势分析和研判。我们将节选出报告中部分内容,在星船知造公众号分上、下两篇发布。

今天的上篇主要聚焦第一章《ChatGPT的含义与OpenAI公司概况》中的“ChatGPT的基本功能模块”;

第二章《ChatGPT的内涵与底层技术架构》中的“ChatGPT的DALLE2自然语言转换成像技术”、“人工智能AI芯片的重要意义”、“人工智能中的算力单位pfs-day”等章节中的部分内容。

同时节选第三章《ChatGPT的潜在商业价值与市场动态》中的“国内投资者和厂商对ChatGPT的反应”、“ChatGPT可能影响的行业初探”等章节中部分内容。

ChatGPT含义与OpenAI公司概况

ChatGPT全称为“Chat Generative Pre-trained Transformer”,Chat是聊天,GPT是“生成型预训练变换模型”,可以翻译为“聊天生成预训练转换器”或简称“优化对话的语言模型”。

由美国人工智能公司OpenAI 开发的ChatGPT两个月时间内用户已超1个亿。

作为一款建立在云计算、海量数据库、人工智能算法架构和深度神经网络基础之上开发的聊天机器人程序,ChatGPT不像传统的搜索引擎一样复制、粘贴、拼凑网上已有的信息给你。它的回答是有逻辑的、生动的,有上下文关联的。

ChatGPT聊天机器人目前支持几乎世界上所有的语言输入。有人说未来它会像《流浪地球》系列电影中的智能量子计算机MOSS,不仅拥有超强算力,还有自我意识、自我迭代、自我更新的特点,最终演化出有思维的人工智能。

或许MOSS已经离我们不远了。

OpenAI官网发布的ChatGPT系统界面

OpenAI初期是从事人工智能研究的非营利化组织,公司初期宗旨和使命是确保通用人工智能 (Artificial General Intelligence,AGI)在大多数具有经济价值的工作上超越人类。建造出安全的、符合共同利益的通用人工智能,也希望能预防人工智能的灾难性影响,推动人工智能技术发挥积极作用。

同时也针对谷歌在搜索引擎业务领域形成的垄断优势,利用人工智能技术展开全面对抗。

OpenAI发展里程碑

2019年3月:OpenAl向资本市场开放,引入战略投资者微软公司,随后宣布从非营利性质过度到封顶营利性质,利润上限为任何投资的100倍。创立了OpenAlLP公司。

2019年7月:微软向OpenAI注资10亿美金,并得到了OpenAl技术的商业化授权,将OpenAl公司开发产品与微软产品深度融合。

2020年6月:OpenAI宣布了GPT-3语言模型,发布了第一个产品OpenAl-API,从此OpenAl公司开始了正式商业运作。

2020年9月:OpenAl公司授权微软公司使用其GPT-3模型,微软成为世界首个享用OpenAl公司人工智能产品GPT-3的公司。

2021年:微软再次对OpenAI投资,双方合作关系正式进入第二阶段,微软拥有OpenAI新技术商业化授权,同时将OpenAI工具与自有产品再次进行深度集成,并推出相应产品。

2022年12月:OpenAI在微软资助下,发布了人工智能模型,开发出了最新款人工智能产品,取名为ChatGPT。2个月后,ChatGPT的全球活跃用户突破了1亿。

2023年2月2日:OpenAI宣布推出ChatGPT Plus订阅服务,可以让用户在高峰期优先使用人工智能聊天机器人 ChatGPT。

OpenAl还有两个不为人知的小故事。其一关于马斯克与OpenAI的历史渊源。

马斯克实际上是OpenAI创始人之一。2015年马斯克联合LinkedIn 创始人、Y Combinator总裁及 PayPal创始人等共同宣布创立OpenAI 公司,目标说是打造属于全人类的、开放的AI组织,其定位是非营利性的,不过在2018年马斯克突然离开OpenAI。

外界传闻有两个版本:

一是特斯拉公司也在研究AI,与OpenAI 在研发方向上有冲突,马斯克因此退出了董事会,但继续担任了OpenAI 公司的顾问。

二是马斯克挖走了当时刚从斯坦福大学博士毕业后加入OpenAI的天才少年安德烈,安德烈的研究方向为计算机视觉,主攻图像识别和理解,当时马斯克的特斯拉也需要这样的人才。于是马斯克请这位安德烈去解决特斯拉的问题,为此OpenAI 公司一气之下把马斯克“踢”出董事会。

其二关于安德烈。出生于捷克斯洛伐克的安德烈全名安德烈·卡帕斯(Andrej Karpathy),作为ChatGPT发展中的重要人物,是位“85后”。29岁时在斯坦福大学拿到博士学位。读博期间,他两次到谷歌公司做毕业实习。

博士毕业后,安德烈2016年加入了当时刚成立一年的OpenAI,是OpenAI创始团队的成员之一,只不过工作一年多后,就被马斯克挖到特斯拉去了。

他被马斯克迅速提升,接管了整个人工智能开发团队的软件部分,并和负责硬件的Pete Bannon携手主导了特斯拉车控智能软件开发。在此之后,他还接管了擎天柱人形机器人、特斯拉超算系统Dojo的开发,可以说是马斯克手下最为重要的人工智能领军人物。

特斯拉人形机器人 图源:Tesla官网

2022年7月安德烈突然离开特斯拉,回归OpenAI。

安德烈在自己的推特账号上轻描淡写说道:“我和许多其他人一样,不管是处于AI圈的还是非AI圈,都被OpenAI的成果鼓舞感动了。我相信这家公司未来的潜力非常大,因此很高兴重新投入到其中来。”

OpenAI很多人对安德烈7年后重新回到公司充满了期待,给予他“让CharGPT再次伟大(Make ChatGPT Great Again)”的厚望。

无论何时,在AI人工智能领域的人才争夺都是如此激烈。

1.2.ChatGPT主要功能

OpenAI官网上说:我们已经训练了一个名为ChatGPT的优化对话的语言模型,它以对话方式进行交互。

对话形式使 ChatGPT 能够回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT 经过训练以遵循提示中的指令并提供详细响应。

和曾经的人工智能是“让计算机在固定场景下干固定的事”这个范畴不同,ChatGPT面对的是一个“open world”。全球目前上亿用户向它提问的问题是不可预知的。这恰恰是AI开发的难点。

ChatGPT目前系统功能主要是文本生成、聊天机器人、语言问答、语言翻译、自动文摘、绘画功能、编程功能、视频生成等八大功能模块所组成。如下图所示 :

星船知造为您逐一稍作展开——

1.2.1文本生成

ChatGPT的文本生成功能可根据人们的提问,生成可读的各种文本。文本生成功能通常用于生成新闻、博客、报告等内容。也可用于生成代码、诗歌、小说等各种不同类型文本。

下图为星船知造编辑部让ChatGPT写一篇“关于中国充电桩各主要生产厂商前景”的报道,然后,它写到一半卡住了

1.2.2 聊天机器人

ChatGPT大型语言模型可以实时回答人们提出的各种问题,ChatGPT可以记住你之前跟它说话的过程与内容。

ChatGPT聊天机器人具有一定的记忆和思维判断功能,能根据对话内容,前后呼应且有一定的语言逻辑推演能力,这也是ChatGPT聊天机器人区别于之前一些人工语言处理系统完全不一样的地方。

1.2.3 语言问答

ChatGPT的语言问答系统是应用人类语言处理技术,通过识别用户问题并匹配相应答案来回答问题。它通过对大量数据学习和深度分析,以及对语言和语法的深入了解,帮助用户快速找到所需的信息。

ChatGPT问答系统适用于售后服务与话务员应答、医疗咨询和教育等场景。可24小时连续不断地提供服务。

1.2.4语言翻译

ChatGPT的语音翻译是利用人工智能技术,将各国不同的文字和语言进行相互转换,可直接把文字转换成不同的语言。它通过使用计算机算法和语音数据库来生成语音合成,可用于语音导航、机器人语音交互、同声翻译、语音自动识别等应用。

1.2.5自动文摘

ChatGPT的自动文摘是一种利用人工智能技术,针对大量文本和视频内容进行简化、概括的技术。它通常采用机器学习和自然语言处理方法,识别文本中的关键信息,生成简明、准确的摘要。

可在一次会议后马上整理出会议纪要,或对长达2个小时的电话视频做出一份10分钟的会议摘要。自动文摘可以缩短文本阅读时间和视频阅读时间,提高编写会议的效率,帮助用户快速了解文本内容。它在新闻、科技、商业等领域都有应用。

1.2.6绘画功能

用户可以在ChatGPT中写一段有关画作的文字描述,描述你想要画出的图片或影像要求。也可以借助ChatGPT的提示,使系统更详细地了解你所要描绘的作品。对于产品广告设计和期刊书籍的插画是方便的工具。使用者不需要专业绘画技术的积累。

1.2.7编程功能

大多数开发场景中,特别是用户需求相对固定的场合,ChatGPT 可以用来编写代码,检查代码语义的准确性,改进和简化人们的编程工作。

ChatGPT 还可以帮助我们提高自己编程代码的质量和可读性,通过你提出的要求,它会逐行添加注释,可以确保代码在发布前得到正确记录,并使其他人更容易理解和使用代码。可提高代码可读性、可维护性和与他人协作的能力。

ChatGPT其实还有很多功能正在被开发与完善之中,有人把目前ChatGPT-3提供的功能细分为8大类60项功能,在此我们就不一一赘述了。

1.2.8视频生成

向ChatGPT提问对某一个产品或一个事件的描述,ChatGPT会送出一份文档,你可以对文档稍作修改,要求ChatGPT直接将文档转换成视频。

除此之外,ChatGPT可以被用于智能助手,智能客服等领域。

总之,ChatGPT的出现,为人工智能技术的发展带来了新的思路和技术支持,在数据处理、自然语言处理以及其他领域的应用前景广阔。

ChatGPT的内涵与底层技术架构

有人把ChatGPT理解为一个简单的搜索引擎功能,认为其工作原理就是把2022年以前网络中已有的数据,加工整理后推送给客户。人们认为ChatGPT只要建立一个足够大的数据存储空间,把所有的信息存放在里面,然后进行检索,就可以实现文本问答和聊天机器人功能了。

其实ChatGPT的工作原理并不是那么简单,比一般人理解的程度要复杂很多,这里面涉及生成性预训练变换模型和很多关键核心技术和底层逻辑。

2.1 ChatGPT生成性预训练变换模型

前文我们在介绍ChatGPT的含义时已经介绍过,ChatGPT的全称为“Chat Generative Pre-trained Transformer”,翻译成中文就是生成型预训练变换模型。在此之前,一般所谓的人工智能、机器学习、聊天对话软件在很大程度上都是局限于观察、分析和内容分类以及图像识别。

而以ChatGPT为代表的生成性人工智能AI是一项技术上的突破,它可以生成新内容,而不仅限于分析现有的数据。它的技术核心是生成性的人工智能。

从ChatGPT字面上来看,Chat是聊天的意思,但GPT才是关键。

第一个字母G是Generative,属于生成性的人工智能,在这以前的人工智能都局限在观察分析现有内容,但这次ChatGPT是个突破,它可以根据我们的需要,创造生成全新的内容。

第二个字母P是Pre-trained的缩写,预训练的意思。表示这个模型已经在某些有限的数据集上进行了预训练,ChatGPT在与人的对话中几乎接近正常人的交流,就是因为它已经接受过海量数据的训练,而这些数据就是我们人类2022年以前发布在互联网上的内容(目前版本的ChatGPT还不具备网络数据实时更新功能)。

由于ChatGPT目前还没有实现网络的实时连接,因此回答问题的时效性受到一定的限制。

ChatGPT在正式发布前,已经进行了大量的监督学习和通过人类反馈强化学习,所以我们在使用它的时候,这个模型能准确快速地生成对话内容。

第三个字母是Transformer,翻译过来就是转换器,这是ChatGPT底层人工智能学习的一个算法架构。

ChatGPT严格意义上来说就是一种基于Transformer的自然语言处理模型。采用了预训练加微调的方法,通过对大规模语料库进行预训练,对标注数据进行微调,从而使模型能够适应特定的自然语言处理任务,拥有语言理解和文本生成能力。

2.1.1 ChatGPT的演进过程

第一阶段:GPT-1发布

2018年6月,OpenAl 第一篇论文《Improving Language Understanding by Generative Pre-Training》通过生成式预训练来提高语言理解能力的论文中提出了第一个模型GPT-1。从这篇论文中得出的关键结论是,Transformer 架构与无监督预训练的结合产生了GPT-1, 加上有监督微调方式,针对特定任务进行预训练,实现了强大自然语言理解能力。

第二阶段:GPT-2发布

2019年2月,OpenAI发表了第二篇论文《Language Models are Unsupervised Multitask Learners》,推出了GPT-2 。GPT-2是一种自然语言生成模型,其设计目标是生成与人类语言相似的文本,可以完成多任务处理。

第三阶段:GPT-3发布

2020年5月,OpenAI发表第三篇论文《Language Models are Few-Shot Learners》,推出了GPT-3。GPT-2和GPT-3是两个不同的模型,它们的主要区别在于应用场景、模型规模和性能表现。GPT-3是一种自然语言生成模型,它是目前规模最大的预训练模型,可以生成高质量的自然语言文本,包括文章、诗歌、对话等。GPT-3还支持一些其他的自然语言任务,例如翻译、问答、语义搜索等。

第四阶段:GPT-3.5 发布

2022年11月29日,OpenAI发布了一个命名为“text-davinci-003”(文本-达芬奇-003常称为GPT3.5)的新模型。它以对话方式进行交互,既能够做到回答问题,也能承认错误、质疑不正确的前提以及拒绝不恰当的请求。

2.1.2 ChatGPT的预训练加微调

所谓的ChatGPT预训练,是一个基于transform模型的预训练语言模型,它的训练逻辑如下:

第一是语料准备,从互联网上收集大量文本语料。如新闻、书籍、论坛,其中维基百科是它的一个重要数据来源。维基百科是用多种语言编写而成的网络百科全书。

然后是对数据预处理,对语料进行处理,把它们分割成许多独立的句子或段落,对每个句子进行分词。分词后把每个单词转换成数字,生成一个数字序列,然后构建成数字词典。

训练就是使用这些数字序列用transformer模型进行模拟场景试验,需要投入大量的人工干预,并使用监督学习的方式对预训练模型进行微调。根据奖励模型优化策略,然后生成输出,ChatGPT的预训练绕不开正向传递,反向更新,梯度收敛,预训练模型降低了获取更高水平人工智能的成本。

由于至今OpenAI没有公开ChatGPT相关预训练数据集来源和具体细节,一定程度上阻碍了追赶者的步伐。

2.1.3 ChatGPT的Transformer转换器

ChatGPT的核心技术之一是Transformer转换器,Transformer技术是近几年人工智能技术最大的亮点之一,由谷歌的人工智能的团队“谷歌大脑”首先发布。

这种模型是使用一种叫自注意力的机制(self attention mechanism),它允许模型在进行预测的时候,可根据语言序列的任何位置,为输入数据的不同部分赋予不同的权重,并支持处理更大的数据集。

Transformer的精度和性能上都比之前流行的CNN(卷积神经网络)、RNN(循环神经网络)等模型,大幅提升了模型训练的效果,让人工智能在更大模型、更多数据、更强算力的基础上进一步增强运算能力。此外,还具有很强的跨模态处理能力,不仅在NLP(自然语言理解)领域表现优异,在语音、图像方面也显示出了优异的性能。

Transformer是ChatGPT语言模型的核心技术,是一种用于序列到序列(Sequence-to-Sequence)任务的神经网络模型,例如机器翻译,语音识别和生成对话等,它使用了注意力机制来计算输入序列和输出序列之间的关系。如下图所示

制图:星船知造

Transformer的主要优点是它可以并行地处理输入序列中的所有信息,因此在训练和推理时都有很高效率。

此外,Transformer没有使用循环结构,因此它不受长序列的影响,并且在处理长序列时不会出现梯度消失或爆炸的问题。

2.2 ChatGPT人类反馈优化语言模型(RLHF)

ChatGPT 面对多样化的问题对答如流,已经打破了机器和人类沟通的边界,这一工作的背后是大型语言模型 (Large Language Model,LLM) 生成领域的新训练范式RLHF (Reinforcement Learning from Human Feedback) ,即依据人类反馈的强化学习方法模型。

OpenAI官网上如是说:我们使用依据人类反馈的强化学习方法模型(RLHF)来实施训练,使用监督微调训练一个初始模型与人类人工智能训练师提供对话,他们在其中扮演用户和人工智能助手。我们让培训师可以访问模型编写的建议,以帮助他们撰写答案。

为了创建强化学习的奖励模型,我们需要收集比较数据,其中包括两个或多个按质量排名的模型响应。为了收集这些数据,我们进行了人工智能培训师与聊天机器人的对话。我们随机选择了一个模型编写的消息,抽样了几个替代完成,并让AI培训师对它们进行排名。使用这些奖励模型,我们可以使用近端策略优化来微调模型,我们执行了此过程的多次迭代。

ChatGPT强化学习算法训练奖励模型简单来说就是分为三个阶段:

第一阶段是收集示范数据,人工智能培训师与聊天机器人对话,并接受监督。

第二阶段是收集比较数据,训练一个奖励模型。

第三阶段是利用PPO强化学习算法,优化一个针对奖励模型的策略。

2.5 ChatGPT的DALL.E 2自然语言转换成像技术

根据OpenAI官网上的介绍,ChatGPT中的DALL.E 2自然语言转换成像技术,最初只是一个研究项目,目标是制定并继续改进安全缓解的措施,其中包括:

第一、限制DALL·E 2 自然语言转换成影像时生成暴力、仇恨或成人图像。通过从训练数据中删除有害的视频内容、使用先进的技术来防止真实人物的面部,包括公众知名人物的面部在视频中出现。

第二、遏制用户滥用政策。不允许文本要求生成暴力、成人或政治内容等视频。如果我们的过滤器发现可能违反我们政策的文本提示和图片上传,ChatGPT就会采用自动化和人工监控系统予以拒绝。

OpenAI认为:负责任的开发和安全监管是人工智能的重要组成部分,让用户对ChatGPT安全系统有信心。

OpenAI希望DALL.E 2自然语言转换成像技术能降低图像生成模型相关的风险。为此,DALL.E 2在互联网上数亿张带标题的图像上进行训练,删除并重新加权其中一些图像,更改模型学习的内容。

同时,采用在DALL.E 2中设置各种防护栏训练数据集,过滤训练数据,放大偏差、重复数据删除等多种技术手段,以防止生成的图像违反内容管制政策。使人们能够创造性地表达自己,帮助人们了解ChatGPT人工智能系统如何看待和理解我们的世界,对于创造人类的人工智能使命至关重要。

2.6 ChatGPT软件是否能开源?

OpenAI 不开放,是人工智能业界很多人诟病的话题。软件开源是多年来互联网产业之所以能蓬勃发展的驱动力之一。

软件开源方式可以调动全世界软件开发者的积极性,每个人都可以下载源代码,并可进行优化和社区分享,也可以及时发现软件系统中的缺陷,提醒厂商予以改进完善。

这种用全社会的力量来创新的机制,大幅加速了新技术的发展和产业应用的进程。

据OpenAI 公司证实,目前ChatGPT尚未开源,目前是作为API(应用程序编程接口)调用的方式提供联网服务,暂时没有开源的计划时间表,甚至不排除未来很长一段时间内不会考虑软件开源的问题。

关于ChatGPT为何不开源,业内也有一些专家表示理解,因为人工智能技术至今为止没有一家厂商的软件是开源的,基本上都是一个“黑盒子”,关于其内部的运行机制外界很难了解。

如果软件代码开源,很难避免有人会利用人工智能创造出一些不利于社会和人类的内容,因此人工智能软件代码不开源,可能也是出于系统安全性方面的考虑。

此外,自从Open AI 公司放弃了非营利组织的定位,接受微软等企业投资后,从商业化的角度考虑,也会采取软件和模型代码不开源的措施,保护商业利益和投资。

而采用开放应用接口的方式来加以推广,日后不排除对应用接口部分开源少部分模型,丰富开发者的生态环境,有利于与ChatGPT与其他系统或终端的互联互通,加快人工智能产业的应用进程。

ChatGPT人工智能研究中心及其首席执行官萨姆·奥尔特曼在接受美国《福布斯》双周刊记者采访时,在记者问及关于软件开源问题的追问时说道:

“我认为实现这一目标的最重要方式是推出像ChatGPT这样的AI平台,除此之外,我们希望提供日益强大的应用软件接口(API),同时能够让它们更加安全。我们将继续开源,就像我们开源了CLIP(2021年发布的视觉神经网络),引发图像生成领域实现软件开源。

我们开源了Whisper和Triton(自动语音识别系统和编程语言)。所以我相信这是一个多管齐下的策略,一方面要拿出好的东西,另一方面要平衡每样特定东西带来的风险和收益。”

上述或可佐证Open AI 可能在应用接口部分开源少部分模型,丰富开发者生态环境的意图。

2.7 人工智能AI芯片的重要意义

在人工智能领域,包括人们日常生活中使用的智能手机,智能驾驶汽车等领域要完成运算都是与图像识别、语音识别、自然语言处理有关。

底层最常用的就是卷积神经网络,也就是数学中的矩阵运算和优化处理,一般来说CPU主要适合常用的数学计算。对于矩阵运算,专用的AI 人工智能芯片就比较合适了。所以在这特定的情况下,AI芯片应运而生了。

不同厂商对AI芯片有不同的称呼,有的称为NPU神经网络处理器。谷歌叫TPU张量(矩阵)处理器,美国超威半导体公司(AMD)叫APU加速处理器。苹果叫仿生芯片,市场营销的意味更多一些,而一般都统称为AI芯片或叫人工智能芯片。

人工智能芯片可视为CPU的一部分,作为单独的加速芯片,它其实是从显示芯片GPU发展而来的。

早期的GPU多用于2D和3D图形处理和计算,市场上则主要针对游戏领域。

当下是算力时代,人工智能、深度神经网络、数据分析、可视化、互联网算法、生成性与训练、运算服务器、智能汽车、移动设备等,都离不开算力支撑。

从全球整体市场情况来看,目前全球GPU市场形成多寡头竞争格局,其中包括英特尔、英伟达和AMD、苹果、谷歌、华为、阿里巴巴、腾讯、寒武纪也相继开发出了人工智能芯片。

英伟达和AMD的芯片都是由台积电代工的,台积电在芯片包括AI芯片加工市场占据重要的地位。

2.8 人工智能中的算力单位pfs-day(petaflop/s-day)

随着人工智能尤其是强化学习算法和预训练技术的飞速发展,人工智能AI模型的算力正在以超高的速度发展。特别在自然语言处理领域的增长十分迅速。

OpenAI的GPT-3大型神经网络有1750亿个参数,而且模型越做越大,短期看来是一个技术趋势。

这样大的模型对于训练算力的消耗是惊人的,人们用一个新的单位来衡量算力,即petaflops/s-day,或者缩写成pfs-day。

OpenAI定义神经网络中的每一次乘法或一次加法为一个操作,如果每秒钟可以进行1015方运算,也就是1 peta flops,那么一天就可以进行约1020的运算,这个算力消耗被称为1个petaflop/s-day。

OpenAI透露:曾训练过一个强化学习模型OpenAI Five,使用该系统在2019年战胜了DOTA游戏职业游戏战队,该模型训练量达到800 pfs-day。

OpenAI用了256个英伟达的GPU和12.8万个CPU核心芯片,预训练整整持续了10个月时间。OpenAI Five的总预训练量相当于打了45000年Dota游戏,每天的训练量大概相当于人类打180年游戏。

根据OpenAI的最新研究,从2012年以来,最大的AI训练对于算力的消耗已经增长了30万倍,平均每100天就翻倍,算力是人工智能发展的技术保障,是人工智能发展的动力和引擎。这个速度已经大大超越了两年翻倍的摩尔定律。

2020年5月,OpenAI发表了一篇由多位作者撰写的论文:Language Models are Few-Shot Learners (语言模型是小样本学习者)。其中提到ChatGPT-3中有多达1750亿个参数、数据集45TB,训练花了3640pfs-day,语言模型训练一次的费用保守估计是460万美元,模块总训练成本估计达到了1200 万美元。

由此可见在人工智能领域的资金投入以及对计算机的算力要求是如此之高,远超人们的想象力。

ChatGPT潜在商业价值与市场动态

ChatGPT在系统可靠性、准确性方面还有待改进的空间。人工智能项目当前大多数仍然处于研发和巨大投入阶段,势必还要花费大量的金钱以及资源来实现。

人工智能项目想要持续发展,需要找到适合其自身发展的商业模式。同时由于ChatGPT的突然出现,对于全球的人工智能发展应该说起到了一定的推进作用,新技术的横空出世,当然会促进社会的变革以及带来社会生产力的发展新机遇,同时也一定会伴随着产业的动荡、重组和融合,以此来重新调整社会生产关系,满足先进生产力发展的需要。

3.1 全球市场对ChatGPT 的客观评价(节选)

3.1.2 国外学者大咖对ChatGPT 的客观评价

1. 世界首富比尔·盖茨在接受专访时表示;“ChatGPT以及AI领域的进展令人激动,AI将是2023年最热门的话题。ChatGPT与互联网的发明一样重要,堪称划时代应用”。

2. 马斯克也是OpenAI的联合创始人之一,曾在推特上表示:“ChatGPT好得吓人,我们离强大到危险的人工智能不远了”。话语中既有赞许,又对人工智能发展没有建立可靠的安全监管机制,存有危机感。

3. 微软CEO萨提亚·纳德拉(Satya Nadella)表示:“AI将从根本上改变所有软件,并从搜索这个最大的类别开始。这是搜索的新一天,比赛从今天开始”。

4. OpenAI首席执行官萨姆·奥尔特曼萨姆·奥尔特表示:“这绝对是一个激动人心的时刻,但我希望这只是刚刚开始。事实上,这将是一条技术发展及其对社会产生的积极影响,不断呈几何级数增长的道路”。

5. OpenAI首席技术官米拉·穆拉蒂(Mira Murati)在接受《时代周刊》采访时表示:“ChatGPT有可能真正彻底改变人类的学习方式,具有进行个性化教育的巨大潜力”。

6. 欧盟委员会分管市场(工业)委员蒂埃里·布雷顿(Thierry Breton)日前表示:“欧盟委员会正在起草一项新的人工智能法规,新拟议的人工智能法规将围绕ChatGPT聊天机器人和人工智能技术风险,讨论解决方案”。

3.1.3 国内学者对ChatGPT 的客观评价

1. 传播内容认知全国重点实验室首席科学家张勇东表示:“ChatGPT的出现,是人工智能技术发展的一次飞跃。其在交互和创作方面展现的出色能力,标志人工智能由决策式向生成式转变”。

2. 中国信通院云计算与大数据研究所科技部副主任石霖认为:“ChatGPT的技术基于OpenAI开发的GPT3.5系列模型,该模型参数规模据推测达十亿级别,加之在训练过程中引入人类反馈机制技术,使得ChatGPT在回答准确率、道德表现上进一步得到提升”。

3. 中国工程院院士邬贺铨认为:“现在完全没有必要为ChatGPT的出现而担忧,它的出现是一种技术进步,ChatGPT可以帮助人类做一些资料整理等基础工作,但是它不可能代替人类思考”。

4. 华东师大传播学院院长王峰认为:“ChatGPT带来巨大机遇与挑战,它可以和元宇宙建设结合起来,一旦ChatGPT这样的人工智能应用成熟,这标志着在人类语言反应中,人工智能开始占据优势,会对人类生活造成更深刻的影响”。

3.1.4 国外投资者和厂商对ChatGPT 的反应

路透社报道称:“谷歌母公司宣布将推出名为‘Bard’的AI人工智能聊天机器人服务以及更多的人工智能项目,以应对竞争对手微软所引领的新计算浪潮”。

早在2019年,微软就向ChatGPT的所有者OpenAI公司多次注资,此番ChatGPT-3.5的成功发布,也让业界联想不断,接下来微软可能会砸下更多筹码,甚至将OpenAI和ChatGPT一起收购。

没让人们等待太久,微软就给出了答案:再次向OpenAI投资100亿美元。据消息人士说,早在去年10月微软就开始了就追加投资一事与OpenAI谈判。

现在这笔资金最终敲定,包括新的投资在内,微软将获得OpenAI 的49%股权,OpenAI的估值将达到290亿美元,微软将每年获得OpenAI的75%利润,直到收回投资为止。

因此,这次ChatGPT的成功,最大的赢家无疑就是微软。

3.1.4 国内部分投资者和厂商对ChatGPT 的反应

1. 百度公司正在进行类似ChatGPT产品的上线冲刺,该项目名字确定为“文心一言”英文名“ERNIE Bot”。百度“文心一言”是百度基于“文心大模型”技术推出的生成式对话产品。

百度在人工智能四层架构中,有全栈布局。其中包括底层的AI芯片、深度学习框架、大模型以及最上层的搜索等应用。项目将于2023年3月份完成内测,并面向公众开放。

2. 腾讯申请“人机对话方法、装置、设备及计算机可读存储介质”专利,该专利产品可实现人机顺畅沟通。

3. 阿里巴巴达摩院(杭州)科技有限公司申请了“人机对话及预训练语言模型训练方法、系统及电子设备”专利,可提升问答交互的准确性。

3.2 ChatGPT可能影响的行业初探

人们普遍认为,采用AI技术的ChatGPT发展和应用可能会影响许多职业,特别是一些重复性较高的工作。例如,一些简单的办公室文秘工作、数据处理,以及人工客服可能会被自动化和人工智能代替。

需要高度创造力和人类技能的职业,如医生、律师、艺术家、软件架构师等,则不太可能受其影响。

ChatGPT可以为人们提供有价值的信息和帮助,因此也可能为相关职业带来新的机会。

ChatGPT作为一种领先的聊天机器人技术,已经被广泛应用于多个领域,下面就浅析基于人工智能的ChatGPT可能会对我国哪些行业带来变革和影响。

3.2.1客服行业

人工智能技术可以提供智能客服服务,通过自然语言处理和机器学习技术,为用户提供快速、准确的答案和解决方案,从而减轻人力成本压力。它可以提供比人工客服更全面,更快更准确的客服服务,从而提高客户满意度。主要体现在以下几个方面:

1.提高服务质量

ChatGPT是一种机器人作为客服服务系统,它能够实时对接客户的需求,并根据客户的问题准确回答,出错率较低,解决方案更全面,可以更快准确满足客户的需求,从而提高客服服务的质量。

2.提高客服效率

ChatGPT可减少人工客服的工作量,AI系统能够快速地找到解决方案,不用客服人员花时间查找。人工客服可将更多的时间集中在更复杂问题的处理上,把更多的精力放在为弱势群体或无法准确使用AI系统的人提供人工应答服务。

3.提高客服满意度

ChatGPT可以让客户获得更好的服务体验。它可以更快地提供准确的答案,AI系统可以让客户感受到比人工服务更好地无缝交流,让用户获得更加满意的结果。

4.降低客服成本

ChatGPT可以帮助客服节省时间,减少客服人员,降低人工成本。

5.提升客服系统的管理水平

ChatGPT可以提高客服平台的管理水平,可以根据用户的使用反馈,自动按需生成各类管理报表,为后台管理人员提升服务质量提供数据支撑。

3.2.2教育行业

人工智能技术可以用于教学辅助、在线教育、个性化教育和学生评估等方面,可以提高教育效果和教育公平,为学生提供个性化的教育服务和智能化的学习体验。让ChatGPT作为一种教学辅助工具,成为教师的朋友或帮手。

ChatGPT作为一种教育辅助工具,主要应用体现在以下几个方面:

1.设计课程

ChatGPT可以为教师的课程设计提供创意思路,协助检索和整理教学文献资料,生成完整的课程材料,如教学大纲、课程计划和阅读材料,并可生成文本或PPT图片。

2.协助备课

ChatGPT能够参与到教研备课中,帮助教师节省大量查询资料的时间,提高备课效率。

3.知识搜索

可以与学生一起通过对系统的提问方式,快速搜索到相关的知识点。扩展学生的知识面和对事物的理解深度。增加课堂趣味性和丰富性,帮助学生理解复杂的内容和概念,成为教师的人工智能助教。

4.作业测评

ChatGPT还可以参与到学生成绩的评估,生成作业测验和考卷,帮助教师评估学生的学习质量,观察学生的学习进度。同时也可以对老师的授课质量进行测评,评价教师与学生之间的活动环节,提高教学质量。

3.2.3语言文字翻译行业

人工智能AI技术在语言文字翻译领域已经实现了突破性发展,ChatGPT实现多语言支持,可以识别多种语言,其中包括:

1. 快速翻译:ChatGPT可以让翻译工作更加快捷便利,从而让更多的文本可以在短时间内完成翻译。

2. 准确翻译:ChatGPT能够准确识别出语言或文本的内容,从而提高翻译准确性。

3. 语法检查:ChatGPT可以检查、校对语言或文本的语句,语法等的翻译错误,从而提高翻译人员在翻译过程中的质量和水平。

4. 文本改进:ChatGPT可提出改进文本的建议,从而让文本更加便于理解和完美。

5. 词汇补充:ChatGPT可为翻译人员提供更多参考词汇,同样一个意思,根据不同的场合,用恰当的语言来表达,增强翻译亲和力。

6.语言转换:ChatGPT可帮助翻译人员实现几乎世界上所有语种不同语言之间的转换,从而更好满足翻译需求。

7. 文本格式:ChatGPT可帮助翻译人员更好地理解不同文本格式,直接采用文本、表格、图片或会议纪要形式直接生成,从而更有效地完成翻译工作。

3.2.3金融行业

对金融行业而言,ChatGPT可以提供多种智能化的服务和解决方案,帮助金融机构提高运营效率、降低成本、丰富客户体验、管理金融风险、进行投资决策等。

1,美国SouthState Bank相关负责人表示:该行已确定了15个ChatGPT应用场景,如:在内控与合规管理方面,该行将通过使用ChatGPT帮助银行监测和评估相关风险,例如通过分析公司的合规政策、员工的行为等,提出相应的风控措施。

2,在法律事务处理方面,该行将通过使用ChatGPT自动检测和识别合同风险,在合同草案中插入关键要素和监管要求的法律条款,进行智能审查、智能书写,从而为本行的法律团队节省时间。

3,国内金融机构邮储银行近期表示:将优先使用百度开发的“文心一言”,在金融业开展类似ChatGPT人工智能的应用试点,结合行业知识进行微调和交互式训练。在智能客服、数字员工、虚拟营业厅等场景进行应用,进一步提升客户体验。探索新型的信息统计、信息获取方式,向客户提供更及时、更准确、更个性化的金融咨询服务。

4,今年 2月20日,广发证券宣布将通过百度智能云全面体验并接入百度“文心一言”,通过探索大语言模型融入金融应用场景,尝试打造更为丰富、个性化的金融服务,为客户提供更智能、更有温度的财富管理服务体系。

与此同时,我们也应该认识到无论国内外,金融业都是接受严格监管的行业,ChatGPT需要庞大的数据库支撑,要针对行业做大量的数据训练和优化。而金融数据的获取却非常严格,解决信息的准确性、安全性和用户隐私等问题,都是金融业优先考虑的问题。

国内学者认为,金融服务不但要考虑到人机交互的便捷性,更重要的是避免损失,因此AI和金融的结合一定要经过大量的训练,并且实时更新数据,同时与严格的安全监管机制相匹配。

3.2.4制造业

每一次工业革命都离不开生产力的提升,先进的技术可以帮助人类从传统手工社会转向工业社会和信息化社会助力,带来生产关系的巨大变革。

这次ChatGPT的应用还远远算不上一次工业革命,但可被视下一场变革来临的信号。

人工智能技术可以用于生产流程优化、智能制造和质量控制等方面,可以提高制造业的效率和产品质量。

现在世界各国出生率下降,社会老龄化日益加重,ChatGPT的出现不仅会给生产力带来变化,而且会给生产方式带来一定变化,这种变化在宏观背景下的影响可能会超过所有人的想象。

从目前ChatGPT的功能来看,还不能完全代替人类,但是可以释放出更多生产力,迫使人类去关注那些更具有创意、创造、思想、情感的工作。

ChatGPT直接进入制造业和实体经济还路途遥远,但是专家认为AI所起到的作用,应该主要体现在降本增效上。

在可以预见的将来,大多数产业的发展都将融入人工智能技术。以硬件设备为主体的产业,例如制造业、采掘业、基础设施等,将更多加入人工智能软件的支撑,各类服务业将有更多的简单重复的工作被人工智能设备所替代人工,随着人工智能产业新形态的出现,人们的工作生活环境将因之而变。

3.2.5物流交通运输行业

人工智能技术可以用于物流交通运输行业的智能化的路线规划、运输管理和物流优化等方面,可以提高交通运输的安全性和效率。

ChatGPT为代表的人工智能系统,能科学规划物流和交通规划,可以给物流交通运输行业从订舱到跟踪货物、管理库存到更新车队信息提供全方位的服务,将物流和供应链行业的管理提升到一个新的水平。

3.2.6文秘行业

传统意义上的文秘工作,主要负责处理公司或政府的日常事务,比如接打电话、文件邮寄、办文办会、档案管理、编写会议纪要、协调工作等。

ChatGPT能完成大部分文秘的事务性、程序化的工作,应用人工智能技术,文秘工作的重心需要关注的是如何应用人工智能技术为领导的决策做好辅助性工作。协助领导提高决策的科学性、准确性。文秘可以通过使用人工智能产品,提升信息资源的准确性和效率。

文秘工作者要适应时代的快速发展,接纳新事物、新技术,善于观察、独立思考,提高创新能力和解决问题的能力。

尽管ChatGPT功能强大,但是完全取代文秘工作还为时过早,大量文秘的工作还是需要有人员来处理,ChatGPT无法完全替代。ChatGPT完全可以作为文秘工作的一个好助手,提升文秘工作的质量和水平。

有人这样说:未来不会被人工智能替代的有三种人:

有适应能力的人、有创造力的人、有解决问题能力的人。因此,人们在人工智能时代应该提高适应能力、创新能力就显得尤为重要。

3.2.7法律行业

人工智能技术可以用于法律咨询、文书起草和司法判决等方面,可以提高法律效率和准确性,降低成本和错误率。

利用人工智能可以直接了解用户需求,更好理解用户的提问内容,进行高质量的法律条款的关联;比如检索资料、整理答案、改写文字以及翻译等,ChatGPT在法律领域可能应用的场景如下:

1.查找法律条款

ChatGPT可以通过提问方式直接查找相关的法律条款,能够有效节约大量法律条款记忆和检索的时间,提高法律工作的效率,加快结案的时间。

2.结合案例梳理适用法律要件

在一个法律案例中可能会涉及不同的法律体系,如果不是专门从事这一方向的职业律师或者法官,可能无法进行较为完整准确的分析,未接受过专门法学训练的普通民众更难以遍历相关法律条款,ChatGPT会基于既有的法律资料进行梳理,并给出较为完整的参考。

3.撰写法律文书

ChatGPT具有较强的文书整理能力,可根据双方法庭陈述和辩论,撰写法庭纪要、审判纪要、起诉意见书等法律文书。也可以通过文本输入,请ChatGPT对法律文书进行法律条款使用准确性的检查。

4.辅助司法裁判

2023年哥伦比亚法院在裁判中使用了ChatGPT中的文本生成功能来增加说理依据,在裁判文书中,ChatGPT给出了具体的法律条款、适用情形、立法目的以及法院以往判例对比等内容,能够有效提升诉讼案件处理的准确性。

对于统一裁判尺度具有重要价值,甚至随着技术发展,可以实现裁判文书的辅助生成、案件信息的自动回填等功能,有效辅助司法裁判。

ChatGPT在法律领域的应用制约:

最高人民法院在2022年12月发布《关于规范和加强人工智能司法应用的意见》,提出到2030年,建成具有规则引领和应用示范效应的司法人工智能技术应用和理论体系,为司法为民、公正司法提供全流程高水平智提供辅助支持。

3.2.8社交媒体行业

人工智能技术可以用于社交媒体内容生成、图片画像和产品广告推荐等方面,可提高社交媒体的用户体验和收益,为广告主和内容创作者提供更好的服务。

3.2.9软件开发行业

随着人工智能ChatGPT的发展,越来越多人关心ChatGPT是否会对软件行业就业产生重大影响,ChatGPT会不会让底层程序员失业?

其实目前的ChatGPT还是一个测试的版本,软件代码生成只是其中一个功能,还有很多需要不断改进完善的地方,要完全取代人工编程还要需要很长一段时间。

一般认为程序员就只会写代码,其实程序员写代码的时间最多占其工作量的四分之一都不到,程序员需要用大量的时间了解系统架构、功能开发的用户需求与其他团队的合作、调试和修改验证代码等等。

况且目前的ChatGPT智能写一些简单应用小程序和对话框的界面编程,据称ChatGPT通过了谷歌编码3级工程师的测试,并收到年薪高达18.3万美元的出价,但是对于一些自动化控制程度复杂的大型软件,用ChatGPT开发几乎是不可能的。

在开发场景固定,用户需求固定、控制比较简单、系统安全保密性不高的软件开发场合,ChatGPT可以成为辅助工具,用于代码生成和软件代码调试的辅助工具。

反而,由于ChatGPT的出现,会带动软件开发人员就业岗位增加的机会,比如ChatGPT带动的全球人工智能加速发展,人工智能行业将继续投入大量的软件开发人员,参与人工智能软件开发、生成性预训练模型测试、云计算、云数据库等人工智能关联行业,有大量对有经验软件开发人员的需求,从而带动整个社会从学校的专业课程设置到AI专门程序员的培养。会给软件开发人员带来很多新的工作机会。

软件开发人员的薪资也会水涨船高,有利于整个行业发展,促进社会的进步和人工智能技术的发展。

但是有一点是肯定的,尽管有类似于ChatGPT等人工智能系统的协助软件编程,项目管理者会从系统安全的角度考虑,避免将一些涉及先进模型算法、系统安全、大型网络管理软件、大型数据库和云储存软件,以及计算等控制化程度较高的软件,或者任何等带有企业机密和行业安全软件,不会交给ChatGPT去完成。

ChatGPT是一个开放性的系统,它可能会把你的代码在其他用户的调用中重复出现,那对企业来说是极大的安全隐患,必须设置安全围栏,防止软件编码被泄露的事件发生。

3.3 ChatGPT发布后国外主要企业的动向

3.3.1微软向OpenAI增资100亿美元

早在2019年,微软就向OpenAI投下10亿美金研发资金,ChatGPT此番成功发布,微软准备再次增资100亿美元,甚至不排除将OpenAI和ChatGPT一起收购。

有消息称,微软再次增资100亿美元到位后,OpenAI 公司的估值约为 290 亿美元。微软将获得 OpenAI 公司的49% 股份,75%的利润,直到其收回全部投资,OpenAI的非营利性母公司仅获得2%的股份。

微软公司近期宣布将ChatGPT整合入微软的搜索引擎Bing,没过几天,又宣布会将ChatGPT整合进Office办公套件中的(Word、Excel、PPT)。用户在使用Office时就能体验ChatGPT的对话功能,这将极大丰富微软公司产品的内涵,微软的股价迅速上涨就是资本市场已察觉到了AI对社会进步可能产生的重大推动作用。

3.3.2谷歌的人工智能系统LaMDA

ChatGPT吸引了全世界的目光,谷歌曾经也有在AI聊天机器人方面领先发展的机会,早在2021年5月谷歌的人工智能系统LaMDA亮相就惊艳了众人,但是谷歌出于某种原因,并没有打算把AI聊天机器人推向市场化,错失了一次极好的AI发展机遇。

长期以来,谷歌秉持的宗旨是使用机器学习来改进搜索引擎和其他面向消费者的产品,并为谷歌云技术提供服务。

ChatGPT问世后,谷歌急于赶超在AI领域与微软的差距,于2023年2月6日透露计划推出一款AI聊天机器人Bard,与OpenAI颇受欢迎的ChatGPT竞争。

谷歌所研发的对话应用语言模型LaMDA(LanguageModel for Dialogue Applications),全称是对话应用程序的语言模型,它是一种能力很强的语言模型,适用于对话应用程序,是一种基于网络上数十亿词汇进行训练的大型语言模型,它受益于谷歌强大的计算能力和研发团队。

谷歌认为LaMDA聊天机器人,性能远超现有的ChatGPT;另外,谷歌拥有图像生成能力更强的Imagen模型,性能要优于ChatGPT的DALL.E 2自然语言转换成像技术。

谷歌在2023年2月8日巴黎召开的发布会上,当场展示了Bard聊天机器人的功能。让人没想到的是Bard刚一亮相,就出错了。

在谷歌短短几分钟的展示中,有人向Bard提问;“我可以告诉我 9 岁的孩子关于詹姆斯·韦伯太空望远镜有哪些最新发现吗?”

Bard的回答很出乎人们的意料,它指出詹姆斯·韦伯太空望远镜拍摄到了我们太阳系之外行星的第一张照片。

天体物理学家Grant Tremblay在推特上指出:美国宇航局公布的太阳系外行星的第一张照片,并非詹姆斯·韦伯太空望远镜拍摄,而是由欧洲南方天文台的甚大望远镜(VLT)于2004年拍摄的。

这个错误被出现后,导致外界质疑谷歌在AI聊天机器人和人工智能方面的开发能力,导致其母公司Alphabet当日的股价暴跌7.68%,市值蒸发近1056亿美元(约合人民币7172.78亿元)。

这个错误体现了当前人工智能系统的一个常见缺陷,即暂时还不具备实际的“理解能力”,仅能根据概率进行猜测,并不能甄别虚假信息。

对此,微软也承认了ChatGPT聊天机器人同样面临类似挑战——也会表达虚假信息。

3.3.3 Meta公司加入AI争夺战

继微软、谷歌在人工智能发布产品后,脸书(Facebook)母公司Meta也加入了人工智能AI市场争夺战。

2023年2月24日,Meta官网公布了一款新的人工智能大型语言模型LLaMA,从参数上来看,Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型,并用20种语言进行预训练。而Open AI 推出的GPT-3通过指令微调后得到的数量达1750亿个。

Meta首席AI科学家杨立昆(Yann LeCun)这样说:在一些基准测试中,LLaMA 130亿参数规模的模型性能优于OpenAI推出的GPT-3性能。像LLaMA这样小型模型所需的计算能力和资源要少得多,且能在单个GPU上运行,具有独特的竞争优势。

Meta首席执行官马克·扎克伯格表示:LLaMA模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测复杂任务方面有很好的前景。

最重要的是Meta称将致力于人工智能开源模型的研究,新模型会开源授权给整个人工智能AI研究社区,并授予大学、非政府组织和行业软件访问权限。

Meta表示还有更多研究需要做,以解决大型语言模型中的偏见、有害评论等风险,并计划开发属于自己的AI芯片。

3.3.4 苹果公司在人工智能领域厉兵秣马

作为美国高科技公司巨头的苹果公司CEO蒂姆·库克(TimCook)2月3日说:AI 是苹果布局的重点,这是令人难以置信的技术,它可以丰富客户的生活,能够为苹果在发布的碰撞检测、跌倒检测和心电图功能的产品中赋能。苹果公司在这个领域存在巨大的潜力,几乎可以影响一切。

他再次强调,AI 是一项横向技术,而不是纵向技术,因此它将影响我们所有的产品和服务。

在OpenAI 推出ChatGPT火爆全网后,苹果的压力显而易见,有分析认为,苹果公司原本的语音智能服务Siri被边缘化了,苹果迫切需要有与ChatGPT相竞争的新一代人工智能产品。

外界曾猜测苹果公司将在2023年2月的一次年度人工智能峰会上展示一款类似于ChatGPT的产品。结果什么都没有发生。

苹果公司早在2022年12 月 2日就宣布将大力推出Stable Diffusion模型。Stable Diffusion之所以引人注目,不仅因为它是开源的,还因为它的模型规模非常小,可以在一些消费类计算机上和iPhone产品上运行。

与此同时,Stable Diffusion本身可以内置到苹果的操作系统中,并为任何开发人员提供易于访问的API。

3.3.5 亚马逊公司在人工智能领域横空出世

亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者品牌,其提供超过200项全功能的服务,涵盖计算、存储、数据库、网络、数据分析、机器学习与人工智能、物联网以及应用开发。

2023年2月23日消息,亚马逊决定将与人工智能初创企业合作,加入聊天机器人之战,这是大型科技公司在生成式人工智能系统市场上强强联手的最新举措。

亚马逊云计算服务(AWS)联合开发一种语言生成工具,能与OpenAI的聊天机器人ChatGPT相媲美,可在自己的云客户中使用。

亚马逊云部门业务副总裁斯瓦米·西瓦苏布拉马尼安说:亚马逊公司将打造人工智能语言模型BLOOM。已经有超过10万用户在亚马逊公司的云端运行人工智能应用程序。

由于生成式人工智能程序要对大量现有内容进行整理才能生成可阅读的新内容,因此需要通过云端传输,这意味着,亚马逊将通过云端传输获得丰厚的利润。

对亚马逊来说,更主要的业务收入是出售对云端GPU的访问权,很明显应用模型生成图像或文本,都会在云端的GPU上运行。

与此同时,亚马逊本身就是一家芯片制造商,迄今为止它的大部分精力都集中在Graviton CPU上,但它可以为Stable Diffusion等模型构建自己的专用硬件,并在价格上展开竞争。

3.3.6 英伟达在人工智能中“闷声发财”

就在ChatGPT得到市场热捧的时候,一个厂商正在背后闷声发大财,那就是英伟达公司。

英伟达(NVIDIA)是一家总部位于美国的人工智能计算公司。1999年英伟达定义了GPU(图形处理器单元),其浮点运算和并行运算速度比CPU强百倍之多。

GPU的成功极大地推动了PC游戏市场的发展,重新定义了现代计算机图形技术,并彻底改变了矩形计算的规则,大大提高了计算机的处理能力。

2022 年3月推出的NVIDIA Hopper这一款新架构,以美国计算机领域的先驱科学家 Grace Hopper 的名字命名,将取代两年前推出的 NVIDIA Ampere 架构。基于 Hopper 架构的 GPU — NVIDIA H100,该款 GPU 集成了 800 亿个晶体管,拥有 Transformer 引擎和高度可扩展的 NVIDIA NVLink 互联技术等突破性功能,可推动AI 语言模型、深度推荐系统、基因组学和复杂数字孪生的发展,被广泛应用于数据分析、科学计算和云图形。

事实上,无论是OpenAI的ChatGPT、还是微软的搜索引擎Bing、谷歌的人工智能系统LaMDA,都离不开英伟达提供的底层芯片算力支持。

作为一家市值5000亿美元的科技巨头,以Hopper加速卡为代表数据中心业务堪称是英伟达的“印钞机”。

据瑞银分析师蒂莫西·阿库里估计,OpenAI的ChatGPT中至少购入了1万颗英伟达高端GPU来做预训练模型。

自2023年以来,英伟达的股价在一个月内就大涨40%,尽管英伟达官方对ChatGPT没有任何表态,但花旗分析师表示,ChatGPT的持续快速增长,可能会进一步导致整个2023财年中,英伟达GPU(图形处理器)芯片的销售额将剧增,估计至少增加110亿美元。

美国银行和富国银行的其他分析师也认为,英伟达将从人工智能业务中获取巨额利润。

参考资料:

[1] ChatGPT翻开了硬币的哪一面?北京邮电大学人工智能学院教授邓伟洪、中国信通院云大所有内容科技部副主任石霖

[2] 采访报道ChatGPT“火出圈”我们该“急眼”吗?中国经济网2023年2月20日

[3] OpenAI官网(ChatGPT:优化对话的语言模型 (OpenAI.com))

[4] Interactive Learning from Policy-Dependent Human Feedback (MacGlashan et al. 2017)

[5] Deep Reinforcement Learning from Human Preferences (Christiano et al. 2017)

[6] ChatGPT: Optimizing Language Models for Dialogue (OpenAI 2022)

[7]Scaling Laws for Reward Model Overoptimization (Gao et al. 2022)

[8] Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic, 2022)

[9] Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned (Ganguli et al. 2022)

[10] Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning (Cohen at al. 2022)

本文为转载内容,授权事宜请联系原著作权人。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

4万字告诉你ChatGPT到底是什么?(上)

ChatGPT全称为“Chat Generative Pre-trained Transformer”,Chat是聊天,GPT是“生成型预训练变换模型”,可以翻译为“聊天生成预训练转换器”或简称“优化对话的语言模型”。

文 | 星船知造 钱鸿生

编辑 | 唐晓园

序言及摘要:

作为星船知造“现代通信与智能网技术展望”系列栏目的第一辑,我们邀请星船知造的资深读者、通信行业教授级高级工程师钱鸿生博士为我们撰写了《ChatGPT技术架构及中国人工智能未来发展趋势报告》。

报告正文共3.8万字,在介绍了ChatGPT的进化历程、主要内涵、底层技术架构与逻辑后,提出ChatGPT潜在的商业价值和对资本市场影响的风险管控警示。

并分析了算法和算力以及芯片技术,对我国人工智能AI发展的制约与影响,最后切入我国AI产业结构调整、建立AI法律保护与系统安全的视角,对发展我国人工智能产业提出一些前瞻性的趋势分析和研判。我们将节选出报告中部分内容,在星船知造公众号分上、下两篇发布。

今天的上篇主要聚焦第一章《ChatGPT的含义与OpenAI公司概况》中的“ChatGPT的基本功能模块”;

第二章《ChatGPT的内涵与底层技术架构》中的“ChatGPT的DALLE2自然语言转换成像技术”、“人工智能AI芯片的重要意义”、“人工智能中的算力单位pfs-day”等章节中的部分内容。

同时节选第三章《ChatGPT的潜在商业价值与市场动态》中的“国内投资者和厂商对ChatGPT的反应”、“ChatGPT可能影响的行业初探”等章节中部分内容。

ChatGPT含义与OpenAI公司概况

ChatGPT全称为“Chat Generative Pre-trained Transformer”,Chat是聊天,GPT是“生成型预训练变换模型”,可以翻译为“聊天生成预训练转换器”或简称“优化对话的语言模型”。

由美国人工智能公司OpenAI 开发的ChatGPT两个月时间内用户已超1个亿。

作为一款建立在云计算、海量数据库、人工智能算法架构和深度神经网络基础之上开发的聊天机器人程序,ChatGPT不像传统的搜索引擎一样复制、粘贴、拼凑网上已有的信息给你。它的回答是有逻辑的、生动的,有上下文关联的。

ChatGPT聊天机器人目前支持几乎世界上所有的语言输入。有人说未来它会像《流浪地球》系列电影中的智能量子计算机MOSS,不仅拥有超强算力,还有自我意识、自我迭代、自我更新的特点,最终演化出有思维的人工智能。

或许MOSS已经离我们不远了。

OpenAI官网发布的ChatGPT系统界面

OpenAI初期是从事人工智能研究的非营利化组织,公司初期宗旨和使命是确保通用人工智能 (Artificial General Intelligence,AGI)在大多数具有经济价值的工作上超越人类。建造出安全的、符合共同利益的通用人工智能,也希望能预防人工智能的灾难性影响,推动人工智能技术发挥积极作用。

同时也针对谷歌在搜索引擎业务领域形成的垄断优势,利用人工智能技术展开全面对抗。

OpenAI发展里程碑

2019年3月:OpenAl向资本市场开放,引入战略投资者微软公司,随后宣布从非营利性质过度到封顶营利性质,利润上限为任何投资的100倍。创立了OpenAlLP公司。

2019年7月:微软向OpenAI注资10亿美金,并得到了OpenAl技术的商业化授权,将OpenAl公司开发产品与微软产品深度融合。

2020年6月:OpenAI宣布了GPT-3语言模型,发布了第一个产品OpenAl-API,从此OpenAl公司开始了正式商业运作。

2020年9月:OpenAl公司授权微软公司使用其GPT-3模型,微软成为世界首个享用OpenAl公司人工智能产品GPT-3的公司。

2021年:微软再次对OpenAI投资,双方合作关系正式进入第二阶段,微软拥有OpenAI新技术商业化授权,同时将OpenAI工具与自有产品再次进行深度集成,并推出相应产品。

2022年12月:OpenAI在微软资助下,发布了人工智能模型,开发出了最新款人工智能产品,取名为ChatGPT。2个月后,ChatGPT的全球活跃用户突破了1亿。

2023年2月2日:OpenAI宣布推出ChatGPT Plus订阅服务,可以让用户在高峰期优先使用人工智能聊天机器人 ChatGPT。

OpenAl还有两个不为人知的小故事。其一关于马斯克与OpenAI的历史渊源。

马斯克实际上是OpenAI创始人之一。2015年马斯克联合LinkedIn 创始人、Y Combinator总裁及 PayPal创始人等共同宣布创立OpenAI 公司,目标说是打造属于全人类的、开放的AI组织,其定位是非营利性的,不过在2018年马斯克突然离开OpenAI。

外界传闻有两个版本:

一是特斯拉公司也在研究AI,与OpenAI 在研发方向上有冲突,马斯克因此退出了董事会,但继续担任了OpenAI 公司的顾问。

二是马斯克挖走了当时刚从斯坦福大学博士毕业后加入OpenAI的天才少年安德烈,安德烈的研究方向为计算机视觉,主攻图像识别和理解,当时马斯克的特斯拉也需要这样的人才。于是马斯克请这位安德烈去解决特斯拉的问题,为此OpenAI 公司一气之下把马斯克“踢”出董事会。

其二关于安德烈。出生于捷克斯洛伐克的安德烈全名安德烈·卡帕斯(Andrej Karpathy),作为ChatGPT发展中的重要人物,是位“85后”。29岁时在斯坦福大学拿到博士学位。读博期间,他两次到谷歌公司做毕业实习。

博士毕业后,安德烈2016年加入了当时刚成立一年的OpenAI,是OpenAI创始团队的成员之一,只不过工作一年多后,就被马斯克挖到特斯拉去了。

他被马斯克迅速提升,接管了整个人工智能开发团队的软件部分,并和负责硬件的Pete Bannon携手主导了特斯拉车控智能软件开发。在此之后,他还接管了擎天柱人形机器人、特斯拉超算系统Dojo的开发,可以说是马斯克手下最为重要的人工智能领军人物。

特斯拉人形机器人 图源:Tesla官网

2022年7月安德烈突然离开特斯拉,回归OpenAI。

安德烈在自己的推特账号上轻描淡写说道:“我和许多其他人一样,不管是处于AI圈的还是非AI圈,都被OpenAI的成果鼓舞感动了。我相信这家公司未来的潜力非常大,因此很高兴重新投入到其中来。”

OpenAI很多人对安德烈7年后重新回到公司充满了期待,给予他“让CharGPT再次伟大(Make ChatGPT Great Again)”的厚望。

无论何时,在AI人工智能领域的人才争夺都是如此激烈。

1.2.ChatGPT主要功能

OpenAI官网上说:我们已经训练了一个名为ChatGPT的优化对话的语言模型,它以对话方式进行交互。

对话形式使 ChatGPT 能够回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT 经过训练以遵循提示中的指令并提供详细响应。

和曾经的人工智能是“让计算机在固定场景下干固定的事”这个范畴不同,ChatGPT面对的是一个“open world”。全球目前上亿用户向它提问的问题是不可预知的。这恰恰是AI开发的难点。

ChatGPT目前系统功能主要是文本生成、聊天机器人、语言问答、语言翻译、自动文摘、绘画功能、编程功能、视频生成等八大功能模块所组成。如下图所示 :

星船知造为您逐一稍作展开——

1.2.1文本生成

ChatGPT的文本生成功能可根据人们的提问,生成可读的各种文本。文本生成功能通常用于生成新闻、博客、报告等内容。也可用于生成代码、诗歌、小说等各种不同类型文本。

下图为星船知造编辑部让ChatGPT写一篇“关于中国充电桩各主要生产厂商前景”的报道,然后,它写到一半卡住了

1.2.2 聊天机器人

ChatGPT大型语言模型可以实时回答人们提出的各种问题,ChatGPT可以记住你之前跟它说话的过程与内容。

ChatGPT聊天机器人具有一定的记忆和思维判断功能,能根据对话内容,前后呼应且有一定的语言逻辑推演能力,这也是ChatGPT聊天机器人区别于之前一些人工语言处理系统完全不一样的地方。

1.2.3 语言问答

ChatGPT的语言问答系统是应用人类语言处理技术,通过识别用户问题并匹配相应答案来回答问题。它通过对大量数据学习和深度分析,以及对语言和语法的深入了解,帮助用户快速找到所需的信息。

ChatGPT问答系统适用于售后服务与话务员应答、医疗咨询和教育等场景。可24小时连续不断地提供服务。

1.2.4语言翻译

ChatGPT的语音翻译是利用人工智能技术,将各国不同的文字和语言进行相互转换,可直接把文字转换成不同的语言。它通过使用计算机算法和语音数据库来生成语音合成,可用于语音导航、机器人语音交互、同声翻译、语音自动识别等应用。

1.2.5自动文摘

ChatGPT的自动文摘是一种利用人工智能技术,针对大量文本和视频内容进行简化、概括的技术。它通常采用机器学习和自然语言处理方法,识别文本中的关键信息,生成简明、准确的摘要。

可在一次会议后马上整理出会议纪要,或对长达2个小时的电话视频做出一份10分钟的会议摘要。自动文摘可以缩短文本阅读时间和视频阅读时间,提高编写会议的效率,帮助用户快速了解文本内容。它在新闻、科技、商业等领域都有应用。

1.2.6绘画功能

用户可以在ChatGPT中写一段有关画作的文字描述,描述你想要画出的图片或影像要求。也可以借助ChatGPT的提示,使系统更详细地了解你所要描绘的作品。对于产品广告设计和期刊书籍的插画是方便的工具。使用者不需要专业绘画技术的积累。

1.2.7编程功能

大多数开发场景中,特别是用户需求相对固定的场合,ChatGPT 可以用来编写代码,检查代码语义的准确性,改进和简化人们的编程工作。

ChatGPT 还可以帮助我们提高自己编程代码的质量和可读性,通过你提出的要求,它会逐行添加注释,可以确保代码在发布前得到正确记录,并使其他人更容易理解和使用代码。可提高代码可读性、可维护性和与他人协作的能力。

ChatGPT其实还有很多功能正在被开发与完善之中,有人把目前ChatGPT-3提供的功能细分为8大类60项功能,在此我们就不一一赘述了。

1.2.8视频生成

向ChatGPT提问对某一个产品或一个事件的描述,ChatGPT会送出一份文档,你可以对文档稍作修改,要求ChatGPT直接将文档转换成视频。

除此之外,ChatGPT可以被用于智能助手,智能客服等领域。

总之,ChatGPT的出现,为人工智能技术的发展带来了新的思路和技术支持,在数据处理、自然语言处理以及其他领域的应用前景广阔。

ChatGPT的内涵与底层技术架构

有人把ChatGPT理解为一个简单的搜索引擎功能,认为其工作原理就是把2022年以前网络中已有的数据,加工整理后推送给客户。人们认为ChatGPT只要建立一个足够大的数据存储空间,把所有的信息存放在里面,然后进行检索,就可以实现文本问答和聊天机器人功能了。

其实ChatGPT的工作原理并不是那么简单,比一般人理解的程度要复杂很多,这里面涉及生成性预训练变换模型和很多关键核心技术和底层逻辑。

2.1 ChatGPT生成性预训练变换模型

前文我们在介绍ChatGPT的含义时已经介绍过,ChatGPT的全称为“Chat Generative Pre-trained Transformer”,翻译成中文就是生成型预训练变换模型。在此之前,一般所谓的人工智能、机器学习、聊天对话软件在很大程度上都是局限于观察、分析和内容分类以及图像识别。

而以ChatGPT为代表的生成性人工智能AI是一项技术上的突破,它可以生成新内容,而不仅限于分析现有的数据。它的技术核心是生成性的人工智能。

从ChatGPT字面上来看,Chat是聊天的意思,但GPT才是关键。

第一个字母G是Generative,属于生成性的人工智能,在这以前的人工智能都局限在观察分析现有内容,但这次ChatGPT是个突破,它可以根据我们的需要,创造生成全新的内容。

第二个字母P是Pre-trained的缩写,预训练的意思。表示这个模型已经在某些有限的数据集上进行了预训练,ChatGPT在与人的对话中几乎接近正常人的交流,就是因为它已经接受过海量数据的训练,而这些数据就是我们人类2022年以前发布在互联网上的内容(目前版本的ChatGPT还不具备网络数据实时更新功能)。

由于ChatGPT目前还没有实现网络的实时连接,因此回答问题的时效性受到一定的限制。

ChatGPT在正式发布前,已经进行了大量的监督学习和通过人类反馈强化学习,所以我们在使用它的时候,这个模型能准确快速地生成对话内容。

第三个字母是Transformer,翻译过来就是转换器,这是ChatGPT底层人工智能学习的一个算法架构。

ChatGPT严格意义上来说就是一种基于Transformer的自然语言处理模型。采用了预训练加微调的方法,通过对大规模语料库进行预训练,对标注数据进行微调,从而使模型能够适应特定的自然语言处理任务,拥有语言理解和文本生成能力。

2.1.1 ChatGPT的演进过程

第一阶段:GPT-1发布

2018年6月,OpenAl 第一篇论文《Improving Language Understanding by Generative Pre-Training》通过生成式预训练来提高语言理解能力的论文中提出了第一个模型GPT-1。从这篇论文中得出的关键结论是,Transformer 架构与无监督预训练的结合产生了GPT-1, 加上有监督微调方式,针对特定任务进行预训练,实现了强大自然语言理解能力。

第二阶段:GPT-2发布

2019年2月,OpenAI发表了第二篇论文《Language Models are Unsupervised Multitask Learners》,推出了GPT-2 。GPT-2是一种自然语言生成模型,其设计目标是生成与人类语言相似的文本,可以完成多任务处理。

第三阶段:GPT-3发布

2020年5月,OpenAI发表第三篇论文《Language Models are Few-Shot Learners》,推出了GPT-3。GPT-2和GPT-3是两个不同的模型,它们的主要区别在于应用场景、模型规模和性能表现。GPT-3是一种自然语言生成模型,它是目前规模最大的预训练模型,可以生成高质量的自然语言文本,包括文章、诗歌、对话等。GPT-3还支持一些其他的自然语言任务,例如翻译、问答、语义搜索等。

第四阶段:GPT-3.5 发布

2022年11月29日,OpenAI发布了一个命名为“text-davinci-003”(文本-达芬奇-003常称为GPT3.5)的新模型。它以对话方式进行交互,既能够做到回答问题,也能承认错误、质疑不正确的前提以及拒绝不恰当的请求。

2.1.2 ChatGPT的预训练加微调

所谓的ChatGPT预训练,是一个基于transform模型的预训练语言模型,它的训练逻辑如下:

第一是语料准备,从互联网上收集大量文本语料。如新闻、书籍、论坛,其中维基百科是它的一个重要数据来源。维基百科是用多种语言编写而成的网络百科全书。

然后是对数据预处理,对语料进行处理,把它们分割成许多独立的句子或段落,对每个句子进行分词。分词后把每个单词转换成数字,生成一个数字序列,然后构建成数字词典。

训练就是使用这些数字序列用transformer模型进行模拟场景试验,需要投入大量的人工干预,并使用监督学习的方式对预训练模型进行微调。根据奖励模型优化策略,然后生成输出,ChatGPT的预训练绕不开正向传递,反向更新,梯度收敛,预训练模型降低了获取更高水平人工智能的成本。

由于至今OpenAI没有公开ChatGPT相关预训练数据集来源和具体细节,一定程度上阻碍了追赶者的步伐。

2.1.3 ChatGPT的Transformer转换器

ChatGPT的核心技术之一是Transformer转换器,Transformer技术是近几年人工智能技术最大的亮点之一,由谷歌的人工智能的团队“谷歌大脑”首先发布。

这种模型是使用一种叫自注意力的机制(self attention mechanism),它允许模型在进行预测的时候,可根据语言序列的任何位置,为输入数据的不同部分赋予不同的权重,并支持处理更大的数据集。

Transformer的精度和性能上都比之前流行的CNN(卷积神经网络)、RNN(循环神经网络)等模型,大幅提升了模型训练的效果,让人工智能在更大模型、更多数据、更强算力的基础上进一步增强运算能力。此外,还具有很强的跨模态处理能力,不仅在NLP(自然语言理解)领域表现优异,在语音、图像方面也显示出了优异的性能。

Transformer是ChatGPT语言模型的核心技术,是一种用于序列到序列(Sequence-to-Sequence)任务的神经网络模型,例如机器翻译,语音识别和生成对话等,它使用了注意力机制来计算输入序列和输出序列之间的关系。如下图所示

制图:星船知造

Transformer的主要优点是它可以并行地处理输入序列中的所有信息,因此在训练和推理时都有很高效率。

此外,Transformer没有使用循环结构,因此它不受长序列的影响,并且在处理长序列时不会出现梯度消失或爆炸的问题。

2.2 ChatGPT人类反馈优化语言模型(RLHF)

ChatGPT 面对多样化的问题对答如流,已经打破了机器和人类沟通的边界,这一工作的背后是大型语言模型 (Large Language Model,LLM) 生成领域的新训练范式RLHF (Reinforcement Learning from Human Feedback) ,即依据人类反馈的强化学习方法模型。

OpenAI官网上如是说:我们使用依据人类反馈的强化学习方法模型(RLHF)来实施训练,使用监督微调训练一个初始模型与人类人工智能训练师提供对话,他们在其中扮演用户和人工智能助手。我们让培训师可以访问模型编写的建议,以帮助他们撰写答案。

为了创建强化学习的奖励模型,我们需要收集比较数据,其中包括两个或多个按质量排名的模型响应。为了收集这些数据,我们进行了人工智能培训师与聊天机器人的对话。我们随机选择了一个模型编写的消息,抽样了几个替代完成,并让AI培训师对它们进行排名。使用这些奖励模型,我们可以使用近端策略优化来微调模型,我们执行了此过程的多次迭代。

ChatGPT强化学习算法训练奖励模型简单来说就是分为三个阶段:

第一阶段是收集示范数据,人工智能培训师与聊天机器人对话,并接受监督。

第二阶段是收集比较数据,训练一个奖励模型。

第三阶段是利用PPO强化学习算法,优化一个针对奖励模型的策略。

2.5 ChatGPT的DALL.E 2自然语言转换成像技术

根据OpenAI官网上的介绍,ChatGPT中的DALL.E 2自然语言转换成像技术,最初只是一个研究项目,目标是制定并继续改进安全缓解的措施,其中包括:

第一、限制DALL·E 2 自然语言转换成影像时生成暴力、仇恨或成人图像。通过从训练数据中删除有害的视频内容、使用先进的技术来防止真实人物的面部,包括公众知名人物的面部在视频中出现。

第二、遏制用户滥用政策。不允许文本要求生成暴力、成人或政治内容等视频。如果我们的过滤器发现可能违反我们政策的文本提示和图片上传,ChatGPT就会采用自动化和人工监控系统予以拒绝。

OpenAI认为:负责任的开发和安全监管是人工智能的重要组成部分,让用户对ChatGPT安全系统有信心。

OpenAI希望DALL.E 2自然语言转换成像技术能降低图像生成模型相关的风险。为此,DALL.E 2在互联网上数亿张带标题的图像上进行训练,删除并重新加权其中一些图像,更改模型学习的内容。

同时,采用在DALL.E 2中设置各种防护栏训练数据集,过滤训练数据,放大偏差、重复数据删除等多种技术手段,以防止生成的图像违反内容管制政策。使人们能够创造性地表达自己,帮助人们了解ChatGPT人工智能系统如何看待和理解我们的世界,对于创造人类的人工智能使命至关重要。

2.6 ChatGPT软件是否能开源?

OpenAI 不开放,是人工智能业界很多人诟病的话题。软件开源是多年来互联网产业之所以能蓬勃发展的驱动力之一。

软件开源方式可以调动全世界软件开发者的积极性,每个人都可以下载源代码,并可进行优化和社区分享,也可以及时发现软件系统中的缺陷,提醒厂商予以改进完善。

这种用全社会的力量来创新的机制,大幅加速了新技术的发展和产业应用的进程。

据OpenAI 公司证实,目前ChatGPT尚未开源,目前是作为API(应用程序编程接口)调用的方式提供联网服务,暂时没有开源的计划时间表,甚至不排除未来很长一段时间内不会考虑软件开源的问题。

关于ChatGPT为何不开源,业内也有一些专家表示理解,因为人工智能技术至今为止没有一家厂商的软件是开源的,基本上都是一个“黑盒子”,关于其内部的运行机制外界很难了解。

如果软件代码开源,很难避免有人会利用人工智能创造出一些不利于社会和人类的内容,因此人工智能软件代码不开源,可能也是出于系统安全性方面的考虑。

此外,自从Open AI 公司放弃了非营利组织的定位,接受微软等企业投资后,从商业化的角度考虑,也会采取软件和模型代码不开源的措施,保护商业利益和投资。

而采用开放应用接口的方式来加以推广,日后不排除对应用接口部分开源少部分模型,丰富开发者的生态环境,有利于与ChatGPT与其他系统或终端的互联互通,加快人工智能产业的应用进程。

ChatGPT人工智能研究中心及其首席执行官萨姆·奥尔特曼在接受美国《福布斯》双周刊记者采访时,在记者问及关于软件开源问题的追问时说道:

“我认为实现这一目标的最重要方式是推出像ChatGPT这样的AI平台,除此之外,我们希望提供日益强大的应用软件接口(API),同时能够让它们更加安全。我们将继续开源,就像我们开源了CLIP(2021年发布的视觉神经网络),引发图像生成领域实现软件开源。

我们开源了Whisper和Triton(自动语音识别系统和编程语言)。所以我相信这是一个多管齐下的策略,一方面要拿出好的东西,另一方面要平衡每样特定东西带来的风险和收益。”

上述或可佐证Open AI 可能在应用接口部分开源少部分模型,丰富开发者生态环境的意图。

2.7 人工智能AI芯片的重要意义

在人工智能领域,包括人们日常生活中使用的智能手机,智能驾驶汽车等领域要完成运算都是与图像识别、语音识别、自然语言处理有关。

底层最常用的就是卷积神经网络,也就是数学中的矩阵运算和优化处理,一般来说CPU主要适合常用的数学计算。对于矩阵运算,专用的AI 人工智能芯片就比较合适了。所以在这特定的情况下,AI芯片应运而生了。

不同厂商对AI芯片有不同的称呼,有的称为NPU神经网络处理器。谷歌叫TPU张量(矩阵)处理器,美国超威半导体公司(AMD)叫APU加速处理器。苹果叫仿生芯片,市场营销的意味更多一些,而一般都统称为AI芯片或叫人工智能芯片。

人工智能芯片可视为CPU的一部分,作为单独的加速芯片,它其实是从显示芯片GPU发展而来的。

早期的GPU多用于2D和3D图形处理和计算,市场上则主要针对游戏领域。

当下是算力时代,人工智能、深度神经网络、数据分析、可视化、互联网算法、生成性与训练、运算服务器、智能汽车、移动设备等,都离不开算力支撑。

从全球整体市场情况来看,目前全球GPU市场形成多寡头竞争格局,其中包括英特尔、英伟达和AMD、苹果、谷歌、华为、阿里巴巴、腾讯、寒武纪也相继开发出了人工智能芯片。

英伟达和AMD的芯片都是由台积电代工的,台积电在芯片包括AI芯片加工市场占据重要的地位。

2.8 人工智能中的算力单位pfs-day(petaflop/s-day)

随着人工智能尤其是强化学习算法和预训练技术的飞速发展,人工智能AI模型的算力正在以超高的速度发展。特别在自然语言处理领域的增长十分迅速。

OpenAI的GPT-3大型神经网络有1750亿个参数,而且模型越做越大,短期看来是一个技术趋势。

这样大的模型对于训练算力的消耗是惊人的,人们用一个新的单位来衡量算力,即petaflops/s-day,或者缩写成pfs-day。

OpenAI定义神经网络中的每一次乘法或一次加法为一个操作,如果每秒钟可以进行1015方运算,也就是1 peta flops,那么一天就可以进行约1020的运算,这个算力消耗被称为1个petaflop/s-day。

OpenAI透露:曾训练过一个强化学习模型OpenAI Five,使用该系统在2019年战胜了DOTA游戏职业游戏战队,该模型训练量达到800 pfs-day。

OpenAI用了256个英伟达的GPU和12.8万个CPU核心芯片,预训练整整持续了10个月时间。OpenAI Five的总预训练量相当于打了45000年Dota游戏,每天的训练量大概相当于人类打180年游戏。

根据OpenAI的最新研究,从2012年以来,最大的AI训练对于算力的消耗已经增长了30万倍,平均每100天就翻倍,算力是人工智能发展的技术保障,是人工智能发展的动力和引擎。这个速度已经大大超越了两年翻倍的摩尔定律。

2020年5月,OpenAI发表了一篇由多位作者撰写的论文:Language Models are Few-Shot Learners (语言模型是小样本学习者)。其中提到ChatGPT-3中有多达1750亿个参数、数据集45TB,训练花了3640pfs-day,语言模型训练一次的费用保守估计是460万美元,模块总训练成本估计达到了1200 万美元。

由此可见在人工智能领域的资金投入以及对计算机的算力要求是如此之高,远超人们的想象力。

ChatGPT潜在商业价值与市场动态

ChatGPT在系统可靠性、准确性方面还有待改进的空间。人工智能项目当前大多数仍然处于研发和巨大投入阶段,势必还要花费大量的金钱以及资源来实现。

人工智能项目想要持续发展,需要找到适合其自身发展的商业模式。同时由于ChatGPT的突然出现,对于全球的人工智能发展应该说起到了一定的推进作用,新技术的横空出世,当然会促进社会的变革以及带来社会生产力的发展新机遇,同时也一定会伴随着产业的动荡、重组和融合,以此来重新调整社会生产关系,满足先进生产力发展的需要。

3.1 全球市场对ChatGPT 的客观评价(节选)

3.1.2 国外学者大咖对ChatGPT 的客观评价

1. 世界首富比尔·盖茨在接受专访时表示;“ChatGPT以及AI领域的进展令人激动,AI将是2023年最热门的话题。ChatGPT与互联网的发明一样重要,堪称划时代应用”。

2. 马斯克也是OpenAI的联合创始人之一,曾在推特上表示:“ChatGPT好得吓人,我们离强大到危险的人工智能不远了”。话语中既有赞许,又对人工智能发展没有建立可靠的安全监管机制,存有危机感。

3. 微软CEO萨提亚·纳德拉(Satya Nadella)表示:“AI将从根本上改变所有软件,并从搜索这个最大的类别开始。这是搜索的新一天,比赛从今天开始”。

4. OpenAI首席执行官萨姆·奥尔特曼萨姆·奥尔特表示:“这绝对是一个激动人心的时刻,但我希望这只是刚刚开始。事实上,这将是一条技术发展及其对社会产生的积极影响,不断呈几何级数增长的道路”。

5. OpenAI首席技术官米拉·穆拉蒂(Mira Murati)在接受《时代周刊》采访时表示:“ChatGPT有可能真正彻底改变人类的学习方式,具有进行个性化教育的巨大潜力”。

6. 欧盟委员会分管市场(工业)委员蒂埃里·布雷顿(Thierry Breton)日前表示:“欧盟委员会正在起草一项新的人工智能法规,新拟议的人工智能法规将围绕ChatGPT聊天机器人和人工智能技术风险,讨论解决方案”。

3.1.3 国内学者对ChatGPT 的客观评价

1. 传播内容认知全国重点实验室首席科学家张勇东表示:“ChatGPT的出现,是人工智能技术发展的一次飞跃。其在交互和创作方面展现的出色能力,标志人工智能由决策式向生成式转变”。

2. 中国信通院云计算与大数据研究所科技部副主任石霖认为:“ChatGPT的技术基于OpenAI开发的GPT3.5系列模型,该模型参数规模据推测达十亿级别,加之在训练过程中引入人类反馈机制技术,使得ChatGPT在回答准确率、道德表现上进一步得到提升”。

3. 中国工程院院士邬贺铨认为:“现在完全没有必要为ChatGPT的出现而担忧,它的出现是一种技术进步,ChatGPT可以帮助人类做一些资料整理等基础工作,但是它不可能代替人类思考”。

4. 华东师大传播学院院长王峰认为:“ChatGPT带来巨大机遇与挑战,它可以和元宇宙建设结合起来,一旦ChatGPT这样的人工智能应用成熟,这标志着在人类语言反应中,人工智能开始占据优势,会对人类生活造成更深刻的影响”。

3.1.4 国外投资者和厂商对ChatGPT 的反应

路透社报道称:“谷歌母公司宣布将推出名为‘Bard’的AI人工智能聊天机器人服务以及更多的人工智能项目,以应对竞争对手微软所引领的新计算浪潮”。

早在2019年,微软就向ChatGPT的所有者OpenAI公司多次注资,此番ChatGPT-3.5的成功发布,也让业界联想不断,接下来微软可能会砸下更多筹码,甚至将OpenAI和ChatGPT一起收购。

没让人们等待太久,微软就给出了答案:再次向OpenAI投资100亿美元。据消息人士说,早在去年10月微软就开始了就追加投资一事与OpenAI谈判。

现在这笔资金最终敲定,包括新的投资在内,微软将获得OpenAI 的49%股权,OpenAI的估值将达到290亿美元,微软将每年获得OpenAI的75%利润,直到收回投资为止。

因此,这次ChatGPT的成功,最大的赢家无疑就是微软。

3.1.4 国内部分投资者和厂商对ChatGPT 的反应

1. 百度公司正在进行类似ChatGPT产品的上线冲刺,该项目名字确定为“文心一言”英文名“ERNIE Bot”。百度“文心一言”是百度基于“文心大模型”技术推出的生成式对话产品。

百度在人工智能四层架构中,有全栈布局。其中包括底层的AI芯片、深度学习框架、大模型以及最上层的搜索等应用。项目将于2023年3月份完成内测,并面向公众开放。

2. 腾讯申请“人机对话方法、装置、设备及计算机可读存储介质”专利,该专利产品可实现人机顺畅沟通。

3. 阿里巴巴达摩院(杭州)科技有限公司申请了“人机对话及预训练语言模型训练方法、系统及电子设备”专利,可提升问答交互的准确性。

3.2 ChatGPT可能影响的行业初探

人们普遍认为,采用AI技术的ChatGPT发展和应用可能会影响许多职业,特别是一些重复性较高的工作。例如,一些简单的办公室文秘工作、数据处理,以及人工客服可能会被自动化和人工智能代替。

需要高度创造力和人类技能的职业,如医生、律师、艺术家、软件架构师等,则不太可能受其影响。

ChatGPT可以为人们提供有价值的信息和帮助,因此也可能为相关职业带来新的机会。

ChatGPT作为一种领先的聊天机器人技术,已经被广泛应用于多个领域,下面就浅析基于人工智能的ChatGPT可能会对我国哪些行业带来变革和影响。

3.2.1客服行业

人工智能技术可以提供智能客服服务,通过自然语言处理和机器学习技术,为用户提供快速、准确的答案和解决方案,从而减轻人力成本压力。它可以提供比人工客服更全面,更快更准确的客服服务,从而提高客户满意度。主要体现在以下几个方面:

1.提高服务质量

ChatGPT是一种机器人作为客服服务系统,它能够实时对接客户的需求,并根据客户的问题准确回答,出错率较低,解决方案更全面,可以更快准确满足客户的需求,从而提高客服服务的质量。

2.提高客服效率

ChatGPT可减少人工客服的工作量,AI系统能够快速地找到解决方案,不用客服人员花时间查找。人工客服可将更多的时间集中在更复杂问题的处理上,把更多的精力放在为弱势群体或无法准确使用AI系统的人提供人工应答服务。

3.提高客服满意度

ChatGPT可以让客户获得更好的服务体验。它可以更快地提供准确的答案,AI系统可以让客户感受到比人工服务更好地无缝交流,让用户获得更加满意的结果。

4.降低客服成本

ChatGPT可以帮助客服节省时间,减少客服人员,降低人工成本。

5.提升客服系统的管理水平

ChatGPT可以提高客服平台的管理水平,可以根据用户的使用反馈,自动按需生成各类管理报表,为后台管理人员提升服务质量提供数据支撑。

3.2.2教育行业

人工智能技术可以用于教学辅助、在线教育、个性化教育和学生评估等方面,可以提高教育效果和教育公平,为学生提供个性化的教育服务和智能化的学习体验。让ChatGPT作为一种教学辅助工具,成为教师的朋友或帮手。

ChatGPT作为一种教育辅助工具,主要应用体现在以下几个方面:

1.设计课程

ChatGPT可以为教师的课程设计提供创意思路,协助检索和整理教学文献资料,生成完整的课程材料,如教学大纲、课程计划和阅读材料,并可生成文本或PPT图片。

2.协助备课

ChatGPT能够参与到教研备课中,帮助教师节省大量查询资料的时间,提高备课效率。

3.知识搜索

可以与学生一起通过对系统的提问方式,快速搜索到相关的知识点。扩展学生的知识面和对事物的理解深度。增加课堂趣味性和丰富性,帮助学生理解复杂的内容和概念,成为教师的人工智能助教。

4.作业测评

ChatGPT还可以参与到学生成绩的评估,生成作业测验和考卷,帮助教师评估学生的学习质量,观察学生的学习进度。同时也可以对老师的授课质量进行测评,评价教师与学生之间的活动环节,提高教学质量。

3.2.3语言文字翻译行业

人工智能AI技术在语言文字翻译领域已经实现了突破性发展,ChatGPT实现多语言支持,可以识别多种语言,其中包括:

1. 快速翻译:ChatGPT可以让翻译工作更加快捷便利,从而让更多的文本可以在短时间内完成翻译。

2. 准确翻译:ChatGPT能够准确识别出语言或文本的内容,从而提高翻译准确性。

3. 语法检查:ChatGPT可以检查、校对语言或文本的语句,语法等的翻译错误,从而提高翻译人员在翻译过程中的质量和水平。

4. 文本改进:ChatGPT可提出改进文本的建议,从而让文本更加便于理解和完美。

5. 词汇补充:ChatGPT可为翻译人员提供更多参考词汇,同样一个意思,根据不同的场合,用恰当的语言来表达,增强翻译亲和力。

6.语言转换:ChatGPT可帮助翻译人员实现几乎世界上所有语种不同语言之间的转换,从而更好满足翻译需求。

7. 文本格式:ChatGPT可帮助翻译人员更好地理解不同文本格式,直接采用文本、表格、图片或会议纪要形式直接生成,从而更有效地完成翻译工作。

3.2.3金融行业

对金融行业而言,ChatGPT可以提供多种智能化的服务和解决方案,帮助金融机构提高运营效率、降低成本、丰富客户体验、管理金融风险、进行投资决策等。

1,美国SouthState Bank相关负责人表示:该行已确定了15个ChatGPT应用场景,如:在内控与合规管理方面,该行将通过使用ChatGPT帮助银行监测和评估相关风险,例如通过分析公司的合规政策、员工的行为等,提出相应的风控措施。

2,在法律事务处理方面,该行将通过使用ChatGPT自动检测和识别合同风险,在合同草案中插入关键要素和监管要求的法律条款,进行智能审查、智能书写,从而为本行的法律团队节省时间。

3,国内金融机构邮储银行近期表示:将优先使用百度开发的“文心一言”,在金融业开展类似ChatGPT人工智能的应用试点,结合行业知识进行微调和交互式训练。在智能客服、数字员工、虚拟营业厅等场景进行应用,进一步提升客户体验。探索新型的信息统计、信息获取方式,向客户提供更及时、更准确、更个性化的金融咨询服务。

4,今年 2月20日,广发证券宣布将通过百度智能云全面体验并接入百度“文心一言”,通过探索大语言模型融入金融应用场景,尝试打造更为丰富、个性化的金融服务,为客户提供更智能、更有温度的财富管理服务体系。

与此同时,我们也应该认识到无论国内外,金融业都是接受严格监管的行业,ChatGPT需要庞大的数据库支撑,要针对行业做大量的数据训练和优化。而金融数据的获取却非常严格,解决信息的准确性、安全性和用户隐私等问题,都是金融业优先考虑的问题。

国内学者认为,金融服务不但要考虑到人机交互的便捷性,更重要的是避免损失,因此AI和金融的结合一定要经过大量的训练,并且实时更新数据,同时与严格的安全监管机制相匹配。

3.2.4制造业

每一次工业革命都离不开生产力的提升,先进的技术可以帮助人类从传统手工社会转向工业社会和信息化社会助力,带来生产关系的巨大变革。

这次ChatGPT的应用还远远算不上一次工业革命,但可被视下一场变革来临的信号。

人工智能技术可以用于生产流程优化、智能制造和质量控制等方面,可以提高制造业的效率和产品质量。

现在世界各国出生率下降,社会老龄化日益加重,ChatGPT的出现不仅会给生产力带来变化,而且会给生产方式带来一定变化,这种变化在宏观背景下的影响可能会超过所有人的想象。

从目前ChatGPT的功能来看,还不能完全代替人类,但是可以释放出更多生产力,迫使人类去关注那些更具有创意、创造、思想、情感的工作。

ChatGPT直接进入制造业和实体经济还路途遥远,但是专家认为AI所起到的作用,应该主要体现在降本增效上。

在可以预见的将来,大多数产业的发展都将融入人工智能技术。以硬件设备为主体的产业,例如制造业、采掘业、基础设施等,将更多加入人工智能软件的支撑,各类服务业将有更多的简单重复的工作被人工智能设备所替代人工,随着人工智能产业新形态的出现,人们的工作生活环境将因之而变。

3.2.5物流交通运输行业

人工智能技术可以用于物流交通运输行业的智能化的路线规划、运输管理和物流优化等方面,可以提高交通运输的安全性和效率。

ChatGPT为代表的人工智能系统,能科学规划物流和交通规划,可以给物流交通运输行业从订舱到跟踪货物、管理库存到更新车队信息提供全方位的服务,将物流和供应链行业的管理提升到一个新的水平。

3.2.6文秘行业

传统意义上的文秘工作,主要负责处理公司或政府的日常事务,比如接打电话、文件邮寄、办文办会、档案管理、编写会议纪要、协调工作等。

ChatGPT能完成大部分文秘的事务性、程序化的工作,应用人工智能技术,文秘工作的重心需要关注的是如何应用人工智能技术为领导的决策做好辅助性工作。协助领导提高决策的科学性、准确性。文秘可以通过使用人工智能产品,提升信息资源的准确性和效率。

文秘工作者要适应时代的快速发展,接纳新事物、新技术,善于观察、独立思考,提高创新能力和解决问题的能力。

尽管ChatGPT功能强大,但是完全取代文秘工作还为时过早,大量文秘的工作还是需要有人员来处理,ChatGPT无法完全替代。ChatGPT完全可以作为文秘工作的一个好助手,提升文秘工作的质量和水平。

有人这样说:未来不会被人工智能替代的有三种人:

有适应能力的人、有创造力的人、有解决问题能力的人。因此,人们在人工智能时代应该提高适应能力、创新能力就显得尤为重要。

3.2.7法律行业

人工智能技术可以用于法律咨询、文书起草和司法判决等方面,可以提高法律效率和准确性,降低成本和错误率。

利用人工智能可以直接了解用户需求,更好理解用户的提问内容,进行高质量的法律条款的关联;比如检索资料、整理答案、改写文字以及翻译等,ChatGPT在法律领域可能应用的场景如下:

1.查找法律条款

ChatGPT可以通过提问方式直接查找相关的法律条款,能够有效节约大量法律条款记忆和检索的时间,提高法律工作的效率,加快结案的时间。

2.结合案例梳理适用法律要件

在一个法律案例中可能会涉及不同的法律体系,如果不是专门从事这一方向的职业律师或者法官,可能无法进行较为完整准确的分析,未接受过专门法学训练的普通民众更难以遍历相关法律条款,ChatGPT会基于既有的法律资料进行梳理,并给出较为完整的参考。

3.撰写法律文书

ChatGPT具有较强的文书整理能力,可根据双方法庭陈述和辩论,撰写法庭纪要、审判纪要、起诉意见书等法律文书。也可以通过文本输入,请ChatGPT对法律文书进行法律条款使用准确性的检查。

4.辅助司法裁判

2023年哥伦比亚法院在裁判中使用了ChatGPT中的文本生成功能来增加说理依据,在裁判文书中,ChatGPT给出了具体的法律条款、适用情形、立法目的以及法院以往判例对比等内容,能够有效提升诉讼案件处理的准确性。

对于统一裁判尺度具有重要价值,甚至随着技术发展,可以实现裁判文书的辅助生成、案件信息的自动回填等功能,有效辅助司法裁判。

ChatGPT在法律领域的应用制约:

最高人民法院在2022年12月发布《关于规范和加强人工智能司法应用的意见》,提出到2030年,建成具有规则引领和应用示范效应的司法人工智能技术应用和理论体系,为司法为民、公正司法提供全流程高水平智提供辅助支持。

3.2.8社交媒体行业

人工智能技术可以用于社交媒体内容生成、图片画像和产品广告推荐等方面,可提高社交媒体的用户体验和收益,为广告主和内容创作者提供更好的服务。

3.2.9软件开发行业

随着人工智能ChatGPT的发展,越来越多人关心ChatGPT是否会对软件行业就业产生重大影响,ChatGPT会不会让底层程序员失业?

其实目前的ChatGPT还是一个测试的版本,软件代码生成只是其中一个功能,还有很多需要不断改进完善的地方,要完全取代人工编程还要需要很长一段时间。

一般认为程序员就只会写代码,其实程序员写代码的时间最多占其工作量的四分之一都不到,程序员需要用大量的时间了解系统架构、功能开发的用户需求与其他团队的合作、调试和修改验证代码等等。

况且目前的ChatGPT智能写一些简单应用小程序和对话框的界面编程,据称ChatGPT通过了谷歌编码3级工程师的测试,并收到年薪高达18.3万美元的出价,但是对于一些自动化控制程度复杂的大型软件,用ChatGPT开发几乎是不可能的。

在开发场景固定,用户需求固定、控制比较简单、系统安全保密性不高的软件开发场合,ChatGPT可以成为辅助工具,用于代码生成和软件代码调试的辅助工具。

反而,由于ChatGPT的出现,会带动软件开发人员就业岗位增加的机会,比如ChatGPT带动的全球人工智能加速发展,人工智能行业将继续投入大量的软件开发人员,参与人工智能软件开发、生成性预训练模型测试、云计算、云数据库等人工智能关联行业,有大量对有经验软件开发人员的需求,从而带动整个社会从学校的专业课程设置到AI专门程序员的培养。会给软件开发人员带来很多新的工作机会。

软件开发人员的薪资也会水涨船高,有利于整个行业发展,促进社会的进步和人工智能技术的发展。

但是有一点是肯定的,尽管有类似于ChatGPT等人工智能系统的协助软件编程,项目管理者会从系统安全的角度考虑,避免将一些涉及先进模型算法、系统安全、大型网络管理软件、大型数据库和云储存软件,以及计算等控制化程度较高的软件,或者任何等带有企业机密和行业安全软件,不会交给ChatGPT去完成。

ChatGPT是一个开放性的系统,它可能会把你的代码在其他用户的调用中重复出现,那对企业来说是极大的安全隐患,必须设置安全围栏,防止软件编码被泄露的事件发生。

3.3 ChatGPT发布后国外主要企业的动向

3.3.1微软向OpenAI增资100亿美元

早在2019年,微软就向OpenAI投下10亿美金研发资金,ChatGPT此番成功发布,微软准备再次增资100亿美元,甚至不排除将OpenAI和ChatGPT一起收购。

有消息称,微软再次增资100亿美元到位后,OpenAI 公司的估值约为 290 亿美元。微软将获得 OpenAI 公司的49% 股份,75%的利润,直到其收回全部投资,OpenAI的非营利性母公司仅获得2%的股份。

微软公司近期宣布将ChatGPT整合入微软的搜索引擎Bing,没过几天,又宣布会将ChatGPT整合进Office办公套件中的(Word、Excel、PPT)。用户在使用Office时就能体验ChatGPT的对话功能,这将极大丰富微软公司产品的内涵,微软的股价迅速上涨就是资本市场已察觉到了AI对社会进步可能产生的重大推动作用。

3.3.2谷歌的人工智能系统LaMDA

ChatGPT吸引了全世界的目光,谷歌曾经也有在AI聊天机器人方面领先发展的机会,早在2021年5月谷歌的人工智能系统LaMDA亮相就惊艳了众人,但是谷歌出于某种原因,并没有打算把AI聊天机器人推向市场化,错失了一次极好的AI发展机遇。

长期以来,谷歌秉持的宗旨是使用机器学习来改进搜索引擎和其他面向消费者的产品,并为谷歌云技术提供服务。

ChatGPT问世后,谷歌急于赶超在AI领域与微软的差距,于2023年2月6日透露计划推出一款AI聊天机器人Bard,与OpenAI颇受欢迎的ChatGPT竞争。

谷歌所研发的对话应用语言模型LaMDA(LanguageModel for Dialogue Applications),全称是对话应用程序的语言模型,它是一种能力很强的语言模型,适用于对话应用程序,是一种基于网络上数十亿词汇进行训练的大型语言模型,它受益于谷歌强大的计算能力和研发团队。

谷歌认为LaMDA聊天机器人,性能远超现有的ChatGPT;另外,谷歌拥有图像生成能力更强的Imagen模型,性能要优于ChatGPT的DALL.E 2自然语言转换成像技术。

谷歌在2023年2月8日巴黎召开的发布会上,当场展示了Bard聊天机器人的功能。让人没想到的是Bard刚一亮相,就出错了。

在谷歌短短几分钟的展示中,有人向Bard提问;“我可以告诉我 9 岁的孩子关于詹姆斯·韦伯太空望远镜有哪些最新发现吗?”

Bard的回答很出乎人们的意料,它指出詹姆斯·韦伯太空望远镜拍摄到了我们太阳系之外行星的第一张照片。

天体物理学家Grant Tremblay在推特上指出:美国宇航局公布的太阳系外行星的第一张照片,并非詹姆斯·韦伯太空望远镜拍摄,而是由欧洲南方天文台的甚大望远镜(VLT)于2004年拍摄的。

这个错误被出现后,导致外界质疑谷歌在AI聊天机器人和人工智能方面的开发能力,导致其母公司Alphabet当日的股价暴跌7.68%,市值蒸发近1056亿美元(约合人民币7172.78亿元)。

这个错误体现了当前人工智能系统的一个常见缺陷,即暂时还不具备实际的“理解能力”,仅能根据概率进行猜测,并不能甄别虚假信息。

对此,微软也承认了ChatGPT聊天机器人同样面临类似挑战——也会表达虚假信息。

3.3.3 Meta公司加入AI争夺战

继微软、谷歌在人工智能发布产品后,脸书(Facebook)母公司Meta也加入了人工智能AI市场争夺战。

2023年2月24日,Meta官网公布了一款新的人工智能大型语言模型LLaMA,从参数上来看,Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型,并用20种语言进行预训练。而Open AI 推出的GPT-3通过指令微调后得到的数量达1750亿个。

Meta首席AI科学家杨立昆(Yann LeCun)这样说:在一些基准测试中,LLaMA 130亿参数规模的模型性能优于OpenAI推出的GPT-3性能。像LLaMA这样小型模型所需的计算能力和资源要少得多,且能在单个GPU上运行,具有独特的竞争优势。

Meta首席执行官马克·扎克伯格表示:LLaMA模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测复杂任务方面有很好的前景。

最重要的是Meta称将致力于人工智能开源模型的研究,新模型会开源授权给整个人工智能AI研究社区,并授予大学、非政府组织和行业软件访问权限。

Meta表示还有更多研究需要做,以解决大型语言模型中的偏见、有害评论等风险,并计划开发属于自己的AI芯片。

3.3.4 苹果公司在人工智能领域厉兵秣马

作为美国高科技公司巨头的苹果公司CEO蒂姆·库克(TimCook)2月3日说:AI 是苹果布局的重点,这是令人难以置信的技术,它可以丰富客户的生活,能够为苹果在发布的碰撞检测、跌倒检测和心电图功能的产品中赋能。苹果公司在这个领域存在巨大的潜力,几乎可以影响一切。

他再次强调,AI 是一项横向技术,而不是纵向技术,因此它将影响我们所有的产品和服务。

在OpenAI 推出ChatGPT火爆全网后,苹果的压力显而易见,有分析认为,苹果公司原本的语音智能服务Siri被边缘化了,苹果迫切需要有与ChatGPT相竞争的新一代人工智能产品。

外界曾猜测苹果公司将在2023年2月的一次年度人工智能峰会上展示一款类似于ChatGPT的产品。结果什么都没有发生。

苹果公司早在2022年12 月 2日就宣布将大力推出Stable Diffusion模型。Stable Diffusion之所以引人注目,不仅因为它是开源的,还因为它的模型规模非常小,可以在一些消费类计算机上和iPhone产品上运行。

与此同时,Stable Diffusion本身可以内置到苹果的操作系统中,并为任何开发人员提供易于访问的API。

3.3.5 亚马逊公司在人工智能领域横空出世

亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者品牌,其提供超过200项全功能的服务,涵盖计算、存储、数据库、网络、数据分析、机器学习与人工智能、物联网以及应用开发。

2023年2月23日消息,亚马逊决定将与人工智能初创企业合作,加入聊天机器人之战,这是大型科技公司在生成式人工智能系统市场上强强联手的最新举措。

亚马逊云计算服务(AWS)联合开发一种语言生成工具,能与OpenAI的聊天机器人ChatGPT相媲美,可在自己的云客户中使用。

亚马逊云部门业务副总裁斯瓦米·西瓦苏布拉马尼安说:亚马逊公司将打造人工智能语言模型BLOOM。已经有超过10万用户在亚马逊公司的云端运行人工智能应用程序。

由于生成式人工智能程序要对大量现有内容进行整理才能生成可阅读的新内容,因此需要通过云端传输,这意味着,亚马逊将通过云端传输获得丰厚的利润。

对亚马逊来说,更主要的业务收入是出售对云端GPU的访问权,很明显应用模型生成图像或文本,都会在云端的GPU上运行。

与此同时,亚马逊本身就是一家芯片制造商,迄今为止它的大部分精力都集中在Graviton CPU上,但它可以为Stable Diffusion等模型构建自己的专用硬件,并在价格上展开竞争。

3.3.6 英伟达在人工智能中“闷声发财”

就在ChatGPT得到市场热捧的时候,一个厂商正在背后闷声发大财,那就是英伟达公司。

英伟达(NVIDIA)是一家总部位于美国的人工智能计算公司。1999年英伟达定义了GPU(图形处理器单元),其浮点运算和并行运算速度比CPU强百倍之多。

GPU的成功极大地推动了PC游戏市场的发展,重新定义了现代计算机图形技术,并彻底改变了矩形计算的规则,大大提高了计算机的处理能力。

2022 年3月推出的NVIDIA Hopper这一款新架构,以美国计算机领域的先驱科学家 Grace Hopper 的名字命名,将取代两年前推出的 NVIDIA Ampere 架构。基于 Hopper 架构的 GPU — NVIDIA H100,该款 GPU 集成了 800 亿个晶体管,拥有 Transformer 引擎和高度可扩展的 NVIDIA NVLink 互联技术等突破性功能,可推动AI 语言模型、深度推荐系统、基因组学和复杂数字孪生的发展,被广泛应用于数据分析、科学计算和云图形。

事实上,无论是OpenAI的ChatGPT、还是微软的搜索引擎Bing、谷歌的人工智能系统LaMDA,都离不开英伟达提供的底层芯片算力支持。

作为一家市值5000亿美元的科技巨头,以Hopper加速卡为代表数据中心业务堪称是英伟达的“印钞机”。

据瑞银分析师蒂莫西·阿库里估计,OpenAI的ChatGPT中至少购入了1万颗英伟达高端GPU来做预训练模型。

自2023年以来,英伟达的股价在一个月内就大涨40%,尽管英伟达官方对ChatGPT没有任何表态,但花旗分析师表示,ChatGPT的持续快速增长,可能会进一步导致整个2023财年中,英伟达GPU(图形处理器)芯片的销售额将剧增,估计至少增加110亿美元。

美国银行和富国银行的其他分析师也认为,英伟达将从人工智能业务中获取巨额利润。

参考资料:

[1] ChatGPT翻开了硬币的哪一面?北京邮电大学人工智能学院教授邓伟洪、中国信通院云大所有内容科技部副主任石霖

[2] 采访报道ChatGPT“火出圈”我们该“急眼”吗?中国经济网2023年2月20日

[3] OpenAI官网(ChatGPT:优化对话的语言模型 (OpenAI.com))

[4] Interactive Learning from Policy-Dependent Human Feedback (MacGlashan et al. 2017)

[5] Deep Reinforcement Learning from Human Preferences (Christiano et al. 2017)

[6] ChatGPT: Optimizing Language Models for Dialogue (OpenAI 2022)

[7]Scaling Laws for Reward Model Overoptimization (Gao et al. 2022)

[8] Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic, 2022)

[9] Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned (Ganguli et al. 2022)

[10] Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning (Cohen at al. 2022)

本文为转载内容,授权事宜请联系原著作权人。