正在阅读:

GPT家族进化史

扫一扫下载界面新闻APP

GPT家族进化史

有人说,GPT的出现终于让人类的一只脚迈进了元宇宙。

文|MetaPost

传播学之父威尔伯·施拉姆曾说过:“这一天的前23个小时,人类传播史上几乎全都是空白,一切重大的发展都集中在这一天的最后7分钟。正是这最后7分钟,谱写了人类历史的黄金时期,而午夜前的最后3秒却翻开了人类迈进信息化社会的新篇章。”

这句话用来形容技术进化也很合适。人类绝大多数时间都处在“科技大停滞”的状态,而科技大爆炸来的时候常常是“一句招呼都不打”。近期,人工智能(AI)技术的发展,就让大家切实感受到了科技的“暴力美学”。

在ChatGPT出现前,有人悲观地认为,AI领域已经形成巨大泡沫。但眼下,AI呈现出全新的价值,让行业重现百家争鸣的热闹景象。

3月15日凌晨,OpenAI发布大型多模式模型GPT-4,GPT-4不仅能够处理图像内容,且回复的准确性亦有所提高,在官方演示中,GPT-4只花了10秒,就识别了手绘网站图片,并根据要求实时生成了网页代码制作出了几乎与手绘版一样的网站,堪称“王炸级”产品。

图 | OpenAI

3月16日,提前一个月宣传造势,备受关注的百度文心一言揭开神秘面纱。虽然发布会一开始,百度股价便出现断崖式下跌,李彦宏也坦言产品没有完全准备好,但这并不影响市场的庞大需求。

发布会后1小时内,排队申请文心一言企业版API调用服务测试的企业用户已达3万多家,申请产品测试网页多次被挤爆。

3月17日,在“用AI重塑生产力”活动上,美国科技巨头微软宣布为其Microsoft 365应用和服务推出一款新的AI驱动的产品Copilot,由OpenAI本周发布的GPT-4提供技术支持,旨在像助手一样,用AI帮助用户生成文档、表格、电子邮件、PPT等。这意味着,超12亿人(微软官方数据)将会解放双手,获得AI带来的生产力提升。

对于天天码字的小编来说,只有一个词——想拥有!

时至今日,已经没有人会怀疑AI以及大语言模型的重要性了。更大、更快、更强,又意味着什么呢?有人说,ChatGPT的出现,终于让人类的一只脚迈进了元宇宙。

任何指数增长的曲线初期,拉近了看都不过是一个平淡的缓坡,但只有回顾整个历史的时候,我们才会知道这条曲线最终会加速到怎样的高度。

今天我们就来回顾一下GPT家族的进化史,看看它是如何一步步让全世界科技大厂黯然失色的。

01、GPT的升级之路

过去十年间,谷歌、脸书、亚马逊、苹果和微软等科技巨头纷纷开启AI军备竞赛,先后成立专门的AI实验室,而业界公认的顶级AI实验室只有三家:背靠谷歌的DeepMind、背靠微软的OpenAI和背靠脸书的FAIR。其中,被谷歌收购的DeepMind因拥有AlphaGo(阿尔法狗)最为家喻户晓。

2015年12月,特斯拉汽车创始人埃隆·马斯克,格雷格·布罗克曼(OpenAI联合创始人兼总裁)、山姆·阿尔特曼(OpenAI首席执行官)、彼得泰尔(Paypal创始人)以及伊利亚·苏特斯科夫(师从神经网络之父杰弗里·辛顿,OpenAI首席科学家)等数位硅谷大佬拿出了10亿美元,在旧金山创立了OpenAI Inc.。

OpenAI Inc.设立之时就是一家非盈利组织,他的目标就是研发通用且开放的的人工智能来对抗谷歌的DeepMind“霸权”。

2016年,微软Azure云服务为OpenAI提供了算力条件,使得日后的ChatGPT要进行大规模深度学习、神经网络渲染等都成为可能。

2017年,Google团队首次提出基于自我注意力机制的Transformer模型,并将其应用于自然语言处理。OpenAI应用了这项技术,2018年发布了最早的一代大型模型GPT-1(GPT是Generative Pre-trained Transformer的简称,中文为生成型预训练变换模型)。

最初的GPT-1,运用几十亿文本档案的语言资料库进行训练,模型的参数量为1.17亿个,据说效果一般;2019年,GPT-2发布,模型参数量提高到15亿个,效果仍然很一般;可OpenAI坚持“大力出奇迹”的想法,继续扩大它的参数量,得益于更高的数据质量和更大的数据规模,GPT-2有了惊人的生成能力。

2020年,GPT-3诞生,参数量达到了创纪录的1750亿个,其训练参数是GPT-2的10倍以上,技术路线上则去掉了初代GPT的微调步骤,直接输入自然语言当作指示,给GPT训练读过文字和句子后可接续问题的能力,同时包含了更为广泛的主题。

这一次,结果终于不同,大家发现它的对话功能一下子达到了相当高的水平,2022年12月首次公布的ChatGPT(能够对话的GPT版本)就是在GPT-3基础上的3.5版本。

02、让人工智能出圈的ChatGPT

ChatGPT之所以受到如此广泛的关注和喜爱,是因为它具备了GPT-3所缺乏的关键功能:对话设计。

对于许多人来说,评估一个人工智能模型的好坏,往往看它是否能够在一次来回的对话中听懂使用者的问题,并给出令人满意的答案。相比于背后的知识量,人们更关注AI模型的“沟通能力”。

这些模型能够以比人类快上10倍甚至20倍以上的速度生成文本,并且生成的文本质量还不错,令人印象深刻。

简单来说,GPT-3的架构就是通过喂入大量的范本,学习拆解这些模板并重新组合出新的结果。引擎设计者所喂入的资料越多,GPT-3获得的知识就越丰富。例如,OpenAI在GPT-3的预训练过程中喂入了超过570GB的文本资料。当GPT-3获得足够丰富的知识库时,其生成的结果也变得越来越精确。

使用者只需要将自己的工作通过语意拆分成多个小任务,让GPT-3分别完成,再将结果组装起来,就能像有了10倍超能力的工作者一样高效地完成工作。

03、GPT-4功能强过ChatGPT,能玩梗图还能做网页

鉴于ChatGPT给人工智能产业带来的变革,市场自然对其升级版GPT-4赋予了诸多想象。

3月15日凌晨,OpenAI正式推出GPT-4,产品具备诸多亮点。据OpenAI介绍,在平常的聊天过程中,可能感受不到GPT-3.5和GPT-4之间的区别,但是当任务的复杂性达到足够的阈值时,两者之间的区别就显现出来了。GPT-4比GPT-3.5更可靠、更有创造力,能够处理更细微的指令。

相比ChatGPT仅能在文字领域施展特长,GPT-4的一个关键升级就是多模态,也就是支持图像和文本输入,拥有强大的识图能力。值得一提的是,GPT-4已经能看懂一些图梗了,不再仅仅是对话助手。

用户提问:解释下图的笑点是什么,并对图片中的每部分进行描述。GPT-4的回答如图所示:

图 | OpenAI

据OpenAI介绍,虽然目前GPT-4在现实场景中的能力可能不如人类,但在各种专业和学术考试上都表现出明显超越人类水平的能力。虽然GPT-4的训练语料库还停留在2021年9月之前,但对科学、医学、法律等特定领域进行了知识面的扩充,不仅能在美国统一律师资格考试中取得前列成绩,在奥赛、GRE等考试均取得了很高的分数,甚至SAT成绩(可以理解为美国高考成绩)——已经超过了90%的考生,跨过哈佛、斯坦福等名校的门槛。

图 | OpenAI:GPT3.5和4的部分考试成绩

据外媒最新消息,OpenAI总裁格雷格·布罗克曼称,公司正在测试GPT-4高级版本,是普通GPT-4储存内容能力的5倍。

04、成就GPT的股权新玩法

OpenAI带来的革新不仅体现在产品和技术层面,其独特的股权投资方式也在很大程度上造就了GPT的成功。

随着GPT的技术以指数级速度增长,其算力的烧钱速度也呈现出指数级的上升。巧妇难为无米之炊,OpenAI需要不断地输血才能保持运转,但显然全世界没有一个投资者想当慈善家,唯一的解决办法就是对外引进财务投资。

2019年担任OpenAI首席执行官的阿尔特曼说:为了成功完成我们的使命,我们需要海量资金,数额远超出我最初的设想。

为了彻底解决资金问题,OpenAI调整了结构,一分为二:非营利部门(OpenAI Nonprofit)从事开发技术,营利部门(OpenAI LP)负责商业化,但OpenAI给不同时期进入的投资人设置了各自的盈利天花板。天花板之上,所有的盈利将属于非营利部门。

图:创业邦

2019年,改制后的OpenAI正式开启融资之旅。据创业邦数据显示,包括最早期投资(比种子轮更早的Pre-种子轮),OpenAI一共进行了8轮融资,涉及9家知名机构和企业,融资总金额约110亿美元。

图 | 创业邦

根据OpenAI的发展,简单概括为以下4个阶段:

阶段一:2015年OpenAI首席执行官阿尔特曼,与埃隆·马斯克等人宣布出资10亿美元,创立了非营利性研究机构OpenAI。

阶段二:2019年OpenAI的架构进行了调整,调整后变身为两家机构——营利性机构OpenAI LP和最初的非营利机构OpenAI, Inc。

目前我们提到OpenAI,通常指的是被称为OpenAI LP的一家有限合伙企业,在组织形态上采用的是有限合伙,这是一家盈利公司。

非营利机构OpenAI, Inc是其负责投资管理的普通合伙人(GP),这是一家在美国特拉华州注册的有限责任公司。也就是说,OpenAI LP由OpenAI, Inc控制。

阶段三:从2019年开始,微软与OpenAI建立了战略合作伙伴关系,不少于三次投资,共投入130亿美元,成为OpenAI最大的有限合伙人。OpenAI LP从成立之初参与投资的VC们,也成为了有限合伙人。

阶段四:在OpenAI未来盈利后,与一般企业通过上市让投资人获得回报的做法不同,OpenAI选择了一种新的股权投资协议模式——以投资回报速度代替投资回报水平。

盈利后的OpenAI将分节奏,逐步回报投资人:

1、优先保证OpenAI的首批投资者收回初始资本;

2、微软投资完成、OpenAI LP首批投资人收回初始投资后,微软有权获得OpenAI LP 75%利润;

3、微软收回130亿美元投资、从OpenAI LP获得920亿美元利润后,它分享利润的比例从75%降到49%;

4、OpenAI LP产生的利润达到1500亿美元后,微软和其他风险投资者的股份将无偿转让给OpenAI LP的普通合伙人——非营利机构OpenAI, Inc。

从以上四个阶段可以看出,本质上OpenAI是在把公司借给微软,而借多久,取决于OpenAI赚钱的速度。

直接以投资回报速度代替投资回报水平,这种做法是建立在OpenAI最终回归公益的愿景必然实现的强烈信念,以及管理团队能够驾驭OpenAI走向成功的充分信任基础上。

在这样的信念之下,OpenAI吸引了很多顶尖的AI研究人员,承诺绝对有竞争力的薪水和绝对的商业自由。他们毅然离开原来的科技公司和学术机构,加入OpenAI,希望专心思考人类的终极问题。

当然,OpenAI LP的股权结构尚存在一些不足。相比之下,拥有较好的创始团队激励、较好的股权流动性、无上限的投资回报收益等优点的传统股权投资体系,在现阶段仍然是不可被替代的。

OpenAI LP的新路能否最终通向罗马,尚需时间的检验。

本文为转载内容,授权事宜请联系原著作权人。

微软

5.4k
  • 微软据悉致力于在365 Copilot产品中添加非OpenAI模型
  • 微软据悉为新的AI健康部门挖来多名DeepMind员工

百度

6.9k
  • 纳斯达克中国金龙指数收涨0.91%,阿里巴巴、百度涨超3%
  • 抢在小米百度之前,闪极发布国内首款量产AI眼镜

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

GPT家族进化史

有人说,GPT的出现终于让人类的一只脚迈进了元宇宙。

文|MetaPost

传播学之父威尔伯·施拉姆曾说过:“这一天的前23个小时,人类传播史上几乎全都是空白,一切重大的发展都集中在这一天的最后7分钟。正是这最后7分钟,谱写了人类历史的黄金时期,而午夜前的最后3秒却翻开了人类迈进信息化社会的新篇章。”

这句话用来形容技术进化也很合适。人类绝大多数时间都处在“科技大停滞”的状态,而科技大爆炸来的时候常常是“一句招呼都不打”。近期,人工智能(AI)技术的发展,就让大家切实感受到了科技的“暴力美学”。

在ChatGPT出现前,有人悲观地认为,AI领域已经形成巨大泡沫。但眼下,AI呈现出全新的价值,让行业重现百家争鸣的热闹景象。

3月15日凌晨,OpenAI发布大型多模式模型GPT-4,GPT-4不仅能够处理图像内容,且回复的准确性亦有所提高,在官方演示中,GPT-4只花了10秒,就识别了手绘网站图片,并根据要求实时生成了网页代码制作出了几乎与手绘版一样的网站,堪称“王炸级”产品。

图 | OpenAI

3月16日,提前一个月宣传造势,备受关注的百度文心一言揭开神秘面纱。虽然发布会一开始,百度股价便出现断崖式下跌,李彦宏也坦言产品没有完全准备好,但这并不影响市场的庞大需求。

发布会后1小时内,排队申请文心一言企业版API调用服务测试的企业用户已达3万多家,申请产品测试网页多次被挤爆。

3月17日,在“用AI重塑生产力”活动上,美国科技巨头微软宣布为其Microsoft 365应用和服务推出一款新的AI驱动的产品Copilot,由OpenAI本周发布的GPT-4提供技术支持,旨在像助手一样,用AI帮助用户生成文档、表格、电子邮件、PPT等。这意味着,超12亿人(微软官方数据)将会解放双手,获得AI带来的生产力提升。

对于天天码字的小编来说,只有一个词——想拥有!

时至今日,已经没有人会怀疑AI以及大语言模型的重要性了。更大、更快、更强,又意味着什么呢?有人说,ChatGPT的出现,终于让人类的一只脚迈进了元宇宙。

任何指数增长的曲线初期,拉近了看都不过是一个平淡的缓坡,但只有回顾整个历史的时候,我们才会知道这条曲线最终会加速到怎样的高度。

今天我们就来回顾一下GPT家族的进化史,看看它是如何一步步让全世界科技大厂黯然失色的。

01、GPT的升级之路

过去十年间,谷歌、脸书、亚马逊、苹果和微软等科技巨头纷纷开启AI军备竞赛,先后成立专门的AI实验室,而业界公认的顶级AI实验室只有三家:背靠谷歌的DeepMind、背靠微软的OpenAI和背靠脸书的FAIR。其中,被谷歌收购的DeepMind因拥有AlphaGo(阿尔法狗)最为家喻户晓。

2015年12月,特斯拉汽车创始人埃隆·马斯克,格雷格·布罗克曼(OpenAI联合创始人兼总裁)、山姆·阿尔特曼(OpenAI首席执行官)、彼得泰尔(Paypal创始人)以及伊利亚·苏特斯科夫(师从神经网络之父杰弗里·辛顿,OpenAI首席科学家)等数位硅谷大佬拿出了10亿美元,在旧金山创立了OpenAI Inc.。

OpenAI Inc.设立之时就是一家非盈利组织,他的目标就是研发通用且开放的的人工智能来对抗谷歌的DeepMind“霸权”。

2016年,微软Azure云服务为OpenAI提供了算力条件,使得日后的ChatGPT要进行大规模深度学习、神经网络渲染等都成为可能。

2017年,Google团队首次提出基于自我注意力机制的Transformer模型,并将其应用于自然语言处理。OpenAI应用了这项技术,2018年发布了最早的一代大型模型GPT-1(GPT是Generative Pre-trained Transformer的简称,中文为生成型预训练变换模型)。

最初的GPT-1,运用几十亿文本档案的语言资料库进行训练,模型的参数量为1.17亿个,据说效果一般;2019年,GPT-2发布,模型参数量提高到15亿个,效果仍然很一般;可OpenAI坚持“大力出奇迹”的想法,继续扩大它的参数量,得益于更高的数据质量和更大的数据规模,GPT-2有了惊人的生成能力。

2020年,GPT-3诞生,参数量达到了创纪录的1750亿个,其训练参数是GPT-2的10倍以上,技术路线上则去掉了初代GPT的微调步骤,直接输入自然语言当作指示,给GPT训练读过文字和句子后可接续问题的能力,同时包含了更为广泛的主题。

这一次,结果终于不同,大家发现它的对话功能一下子达到了相当高的水平,2022年12月首次公布的ChatGPT(能够对话的GPT版本)就是在GPT-3基础上的3.5版本。

02、让人工智能出圈的ChatGPT

ChatGPT之所以受到如此广泛的关注和喜爱,是因为它具备了GPT-3所缺乏的关键功能:对话设计。

对于许多人来说,评估一个人工智能模型的好坏,往往看它是否能够在一次来回的对话中听懂使用者的问题,并给出令人满意的答案。相比于背后的知识量,人们更关注AI模型的“沟通能力”。

这些模型能够以比人类快上10倍甚至20倍以上的速度生成文本,并且生成的文本质量还不错,令人印象深刻。

简单来说,GPT-3的架构就是通过喂入大量的范本,学习拆解这些模板并重新组合出新的结果。引擎设计者所喂入的资料越多,GPT-3获得的知识就越丰富。例如,OpenAI在GPT-3的预训练过程中喂入了超过570GB的文本资料。当GPT-3获得足够丰富的知识库时,其生成的结果也变得越来越精确。

使用者只需要将自己的工作通过语意拆分成多个小任务,让GPT-3分别完成,再将结果组装起来,就能像有了10倍超能力的工作者一样高效地完成工作。

03、GPT-4功能强过ChatGPT,能玩梗图还能做网页

鉴于ChatGPT给人工智能产业带来的变革,市场自然对其升级版GPT-4赋予了诸多想象。

3月15日凌晨,OpenAI正式推出GPT-4,产品具备诸多亮点。据OpenAI介绍,在平常的聊天过程中,可能感受不到GPT-3.5和GPT-4之间的区别,但是当任务的复杂性达到足够的阈值时,两者之间的区别就显现出来了。GPT-4比GPT-3.5更可靠、更有创造力,能够处理更细微的指令。

相比ChatGPT仅能在文字领域施展特长,GPT-4的一个关键升级就是多模态,也就是支持图像和文本输入,拥有强大的识图能力。值得一提的是,GPT-4已经能看懂一些图梗了,不再仅仅是对话助手。

用户提问:解释下图的笑点是什么,并对图片中的每部分进行描述。GPT-4的回答如图所示:

图 | OpenAI

据OpenAI介绍,虽然目前GPT-4在现实场景中的能力可能不如人类,但在各种专业和学术考试上都表现出明显超越人类水平的能力。虽然GPT-4的训练语料库还停留在2021年9月之前,但对科学、医学、法律等特定领域进行了知识面的扩充,不仅能在美国统一律师资格考试中取得前列成绩,在奥赛、GRE等考试均取得了很高的分数,甚至SAT成绩(可以理解为美国高考成绩)——已经超过了90%的考生,跨过哈佛、斯坦福等名校的门槛。

图 | OpenAI:GPT3.5和4的部分考试成绩

据外媒最新消息,OpenAI总裁格雷格·布罗克曼称,公司正在测试GPT-4高级版本,是普通GPT-4储存内容能力的5倍。

04、成就GPT的股权新玩法

OpenAI带来的革新不仅体现在产品和技术层面,其独特的股权投资方式也在很大程度上造就了GPT的成功。

随着GPT的技术以指数级速度增长,其算力的烧钱速度也呈现出指数级的上升。巧妇难为无米之炊,OpenAI需要不断地输血才能保持运转,但显然全世界没有一个投资者想当慈善家,唯一的解决办法就是对外引进财务投资。

2019年担任OpenAI首席执行官的阿尔特曼说:为了成功完成我们的使命,我们需要海量资金,数额远超出我最初的设想。

为了彻底解决资金问题,OpenAI调整了结构,一分为二:非营利部门(OpenAI Nonprofit)从事开发技术,营利部门(OpenAI LP)负责商业化,但OpenAI给不同时期进入的投资人设置了各自的盈利天花板。天花板之上,所有的盈利将属于非营利部门。

图:创业邦

2019年,改制后的OpenAI正式开启融资之旅。据创业邦数据显示,包括最早期投资(比种子轮更早的Pre-种子轮),OpenAI一共进行了8轮融资,涉及9家知名机构和企业,融资总金额约110亿美元。

图 | 创业邦

根据OpenAI的发展,简单概括为以下4个阶段:

阶段一:2015年OpenAI首席执行官阿尔特曼,与埃隆·马斯克等人宣布出资10亿美元,创立了非营利性研究机构OpenAI。

阶段二:2019年OpenAI的架构进行了调整,调整后变身为两家机构——营利性机构OpenAI LP和最初的非营利机构OpenAI, Inc。

目前我们提到OpenAI,通常指的是被称为OpenAI LP的一家有限合伙企业,在组织形态上采用的是有限合伙,这是一家盈利公司。

非营利机构OpenAI, Inc是其负责投资管理的普通合伙人(GP),这是一家在美国特拉华州注册的有限责任公司。也就是说,OpenAI LP由OpenAI, Inc控制。

阶段三:从2019年开始,微软与OpenAI建立了战略合作伙伴关系,不少于三次投资,共投入130亿美元,成为OpenAI最大的有限合伙人。OpenAI LP从成立之初参与投资的VC们,也成为了有限合伙人。

阶段四:在OpenAI未来盈利后,与一般企业通过上市让投资人获得回报的做法不同,OpenAI选择了一种新的股权投资协议模式——以投资回报速度代替投资回报水平。

盈利后的OpenAI将分节奏,逐步回报投资人:

1、优先保证OpenAI的首批投资者收回初始资本;

2、微软投资完成、OpenAI LP首批投资人收回初始投资后,微软有权获得OpenAI LP 75%利润;

3、微软收回130亿美元投资、从OpenAI LP获得920亿美元利润后,它分享利润的比例从75%降到49%;

4、OpenAI LP产生的利润达到1500亿美元后,微软和其他风险投资者的股份将无偿转让给OpenAI LP的普通合伙人——非营利机构OpenAI, Inc。

从以上四个阶段可以看出,本质上OpenAI是在把公司借给微软,而借多久,取决于OpenAI赚钱的速度。

直接以投资回报速度代替投资回报水平,这种做法是建立在OpenAI最终回归公益的愿景必然实现的强烈信念,以及管理团队能够驾驭OpenAI走向成功的充分信任基础上。

在这样的信念之下,OpenAI吸引了很多顶尖的AI研究人员,承诺绝对有竞争力的薪水和绝对的商业自由。他们毅然离开原来的科技公司和学术机构,加入OpenAI,希望专心思考人类的终极问题。

当然,OpenAI LP的股权结构尚存在一些不足。相比之下,拥有较好的创始团队激励、较好的股权流动性、无上限的投资回报收益等优点的传统股权投资体系,在现阶段仍然是不可被替代的。

OpenAI LP的新路能否最终通向罗马,尚需时间的检验。

本文为转载内容,授权事宜请联系原著作权人。