正在阅读:

大模型一体机是在“卖盒子”吗?

扫一扫下载界面新闻APP

大模型一体机是在“卖盒子”吗?

大模型不一定要捆绑硬件来凸显价值,但一定要结合硬件来充分释放价值

文|脑极体

如果要找一个海内外大模型商业化探索的差异点,“一体机”应该榜上有名。

微软、谷歌、OpenAI等,主要通过基于云的AI服务和API接口来实现商业化。当然也有硬件,比如英伟达推出的Jetson,就是面向边缘计算和AI应用的一款设备,可以用来在边缘场景中运行复杂的AI模型,但更多的是作为一个通用的AI计算平台,而不是集成了特定大模型的一体机。

与之相比,“大模型一体机”在中国市场的热度更高。主流AI大模型厂商、ICT服务商及ISV服务商,几乎全部下场了。

AI大模型厂商,如百度的千帆大模型一体机、科大讯飞的星火一体机、智谱AI的智谱GLM昇腾大模型一体机。ICT厂商和ISV服务商也都在积极推出各种场景化一体机,比如新华三面向政企客户的AIGC灵犀一体机,达观数据面向企业市场的“曹植”大模型一体机,商汤科技的金融大模型检索问答一体机,中软国际面向政府市场的JointPilot“四问(问数、问视、问策、问服)”系列大模型一体机等。

大模型一体机,是一个非常有意思的赛道。

有人说,大模型一体机更符合国情,类似于“卖盒子”,也就是软硬结合,将软件带硬件盒子一起卖给客户,这在ToB/ToG市场很好用,因为更符合“拍板领导”的认知范围,不认可软件的价值,只愿意为看得见摸得着的硬资产付费。

大模型一体机,通过将计算硬件和AI大模型及相关支持软件,紧耦合封装在一起,方便客户使用大模型来实现AI应用,可以看作是AI版的“卖盒子”,是一种好的商业模式吗?

一体机里除了大模型还有什么?

首先有必要搞清楚,大模型一体机究竟在卖什么?市面上的大模型一体机,主要由几个部分构成:

1.硬件。大模型的训练和推理,需要大量的算力资源,涉及高性能AI硬件。大模型一体机搭载AI硬件,并针对模型进行优化调校。

2.大模型。满足客户使用大模型、开发AI应用的需求,大模型一体机中内置的大模型也各有特色。这里简单介绍两种,一种是单一大模型的一体机,比如软通动力联合百川智能推出的“软通-百川AI大模型一体机”,就预装了百川大模型。另一种是开源开放的大模型一体机,提供丰富的基座大模型让企业测试、调用,比如百度的千帆大模型一体机,除了内置百度自研的文心大模型,也提供Llama、Baichuan、ChatGLM等十余个主流开源大模型。

3.全栈工具。通用场景的大模型,是无法直接被特定领域、垂直场景来使用的。举个例子,很多行业还没有高质量的语料,一些知识经验还没有被文本化、数据化,导致大模型无法充分学习。所以,想要用好大模型,很多企业还需要有工程师来进行数据治理,建立高质量的行业语料和知识库,做好提示词工程,开发业务友好的插件……从零搭建起全栈AI开发能力,有着不小的工程量。而大模型一体机,针对垂直场景进行过优化微调,集成了易用的平台化工具,可以将原本几个月的开发周期缩短到几天、几小时,实现特定行业专属大模型的快速部署。

4.支持服务。不同于传统软件,大模型需要持续学习,根据人类反馈和数据集及时更新迭代,具有很强的时效性,需要服务商更快、更有针对性地响应。而作为整体解决方案出售的大模型一体机,包含了一定程度的技术支持和服务,可以解决企业长期应用大模型的问题。

不难发现,相比单纯售卖AI服务和API的商业模式,开箱即用的大模型一体机,能够缩短部署周期、深度结合场景、打消落地门槛,是更符合当下产业现状的一种选择,也可以让更多企业更快地用好大模型。

大模型一体机不等于传统盒子

国内企业纷纷推出大模型一体机时,我所在的一个行业群,有人表示:国内就是软件不值钱,硬件值钱。

提供服务和解决方案的商业模式,优于“卖盒子”,是一个业内流传已久的观念。

尤其是在传统企业软件和云计算领域,“卖盒子”被认为是市场不够成熟的无奈之选,因为以前很多甲方的领导不了解软件技术,觉得硬件更有科技含量。而在销售方式上,卖盒子壁垒不高,拼的不是产品创新,而是客情关系和酒量。商业回报上,卖盒子涉及定制成本、人力维护成本,无法像软件那样通过规模化获得非线性增长,干的都是苦活累活。

既然大模型一体机,也是将大模型及相关软件与硬件集成,作为一个整体产品出售来“卖盒子”。这种商业模式究竟好不好呢?

这里要明确,尽管都是将软硬件集成在一起售卖,但此一时彼一时,大模型一体机并不能等同于传统的“卖盒子”模式。

从市场源头的需求驱动力来看,购买一体机的用户,并非“不懂大模型”。

认为“卖盒子”比“卖软件服务”low,往往是觉得ToB市场的很多客户不懂软件,不明白为什么一张license要卖那么贵,必须封装到盒子里才肯买单。

但今时今日,随着数字化、智能化的深入,各行各业的企业决策者,很少有人不认可大模型的价值,不认可数据工程、知识工程等“软实力”之于AI落地的意义。恰恰相反,大模型一体机的市场崛起,正是因为对应用大模型、开发专属大模型的迫切渴求。

如果说以前“卖盒子”有点买椟还珠的味道,那么现在,一体机中大模型这颗“明珠”在企业市场的认可度,是毋庸置疑的。

除了“软实力”的价值受到认可,大模型一体机的硬件,也更加多元化。

“卖盒子”的另一类诉求是,将硬件作为企业资产的一部分,更好估价,导致了硬件过度堆砌、脱离业务实际需求的情况。显然,大模型一体机市场,也并不是这样的。

我们注意到,大模型一体机的供应商,普遍会提供多种部署方案,既有低成本的轻量级一体机,也有针对大中型客户的定制化高配一体机,相当于中杯、大杯和超大杯。企业完全可以立足于业务场景的实际需求,选择最适合自己的硬件版本,无需重度投入过多的硬件资源。

“不是高配一体机买不起,而是轻量一体机更有性价比”,价值导向、实用导向驱动的大模型一体机,拼的主要是产品力,在供给和销售策略上也更合理、更市场化。

另外值得一提的是,“卖盒子”曾被认为是迎合了中国企业缺乏“安全感”的心理,进行(没有太大必要的)私有化本地部署。那么,支持本地部署、强调数据隔离与安全保障的大模型一体机,有必要吗?

相信了解大模型技术的读者,都会很快做出判断:很有必要。

大模型不同于传统的软件技术,其训练和推理都会涉及大量重要隐私数据,又存在“幻觉”问题,对数据监管和内容安全的担忧并非杞人忧天。

而大模型一体机的本地私有化部署,可以帮助企业实现数据隔离与网络隔离,减少数据传输及存储的风险,确保数据资产的安全性。不打消客观存在的安全顾虑,大模型是很难落地到“最后一公里”的。

所以,大模型一体机并不等于传统的“卖盒子”,而是从复杂产业实际出发的一种选择。

大模型一体机到底谁在用?

当然,大模型一体机确有其用,并不意味着每一个开发者、每一家企业都适合。

相比大模型一体机少则几万、多则几十万的前期投入成本,通过API调用次数或计算资源计费,一个token只需要几分钱,初始成本更低。那么,这大模型一体机到底是谁在用啊?

有三类群体,应该将大模型一体机的集成方案,作为重点考量:

一是风险敏感型。

包括数据隐私安全风险,以及供应链断链风险。软硬件协同优化的一体机,可以让AI大模型在国产硬件上也有不错的性能表现。对于有信创需求的企事业单位,是更优解。

公开报道显示,基于昇腾AI硬件底座的软通AI训推一体化平台,就受到央国企、科技机构、教育、金融等领域客户的认可。

二是长期运营型。

一位开发者朋友,在调用了GPT4-Turbo之后表示:“太烧钱了!”他所用的非代码调用场景,一次要花费0.5元,长期用是不可承受的,于是选择了能力更低的GPT-3.5+其他模型的组合拳。

大模型API基于token使用量的计费方式,虽然初始阶段看起来成本更低,但总体拥有成本(TCO)却未必。实践看来,企业应用AI,并不意味着所有任务都要使用云端先进大模型的完整能力。

大模型一体机提供的更丰富的模型选型、本地化部署、优化过的性能保障,可能让企业AI开发应用的全生命周期,打好“组合拳”。

三是非AI原生型。

大模型火爆之后,很多行业和企业才开始关注AI、使用AI,没有积累相关的开发能力和人才,对技术也是一知半解,这时候想要在自身的业务场景中快速上马大模型,可能要面临短期内资源紧缺的溢价情况,被迫在算力市场、人才市场进行竞价,试错成本更高。这时候,通过大模型一体机的小时级一站式交付、即插即用,可以快速试错。

比如一个普惠版的大模型一体机,不需要A100这类高端显卡,就可以帮助企业打造一个专属大模型,开发出小型的知识库应用或AIGC类应用,让业务智能化起来,让大模型不再遥远。

大模型的商业化探索还处于早期,用传统的眼光去看待新兴事物,未尝不是一种刻舟求剑。大模型不一定要捆绑硬件来凸显价值,但一定要结合硬件来充分释放价值。

从这个角度来说,大模型一体机的商业内核,与以往的“卖盒子”有本质的不同,或许能为企业市场带来一种全新的商业机遇。

本文为转载内容,授权事宜请联系原著作权人。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

大模型一体机是在“卖盒子”吗?

大模型不一定要捆绑硬件来凸显价值,但一定要结合硬件来充分释放价值

文|脑极体

如果要找一个海内外大模型商业化探索的差异点,“一体机”应该榜上有名。

微软、谷歌、OpenAI等,主要通过基于云的AI服务和API接口来实现商业化。当然也有硬件,比如英伟达推出的Jetson,就是面向边缘计算和AI应用的一款设备,可以用来在边缘场景中运行复杂的AI模型,但更多的是作为一个通用的AI计算平台,而不是集成了特定大模型的一体机。

与之相比,“大模型一体机”在中国市场的热度更高。主流AI大模型厂商、ICT服务商及ISV服务商,几乎全部下场了。

AI大模型厂商,如百度的千帆大模型一体机、科大讯飞的星火一体机、智谱AI的智谱GLM昇腾大模型一体机。ICT厂商和ISV服务商也都在积极推出各种场景化一体机,比如新华三面向政企客户的AIGC灵犀一体机,达观数据面向企业市场的“曹植”大模型一体机,商汤科技的金融大模型检索问答一体机,中软国际面向政府市场的JointPilot“四问(问数、问视、问策、问服)”系列大模型一体机等。

大模型一体机,是一个非常有意思的赛道。

有人说,大模型一体机更符合国情,类似于“卖盒子”,也就是软硬结合,将软件带硬件盒子一起卖给客户,这在ToB/ToG市场很好用,因为更符合“拍板领导”的认知范围,不认可软件的价值,只愿意为看得见摸得着的硬资产付费。

大模型一体机,通过将计算硬件和AI大模型及相关支持软件,紧耦合封装在一起,方便客户使用大模型来实现AI应用,可以看作是AI版的“卖盒子”,是一种好的商业模式吗?

一体机里除了大模型还有什么?

首先有必要搞清楚,大模型一体机究竟在卖什么?市面上的大模型一体机,主要由几个部分构成:

1.硬件。大模型的训练和推理,需要大量的算力资源,涉及高性能AI硬件。大模型一体机搭载AI硬件,并针对模型进行优化调校。

2.大模型。满足客户使用大模型、开发AI应用的需求,大模型一体机中内置的大模型也各有特色。这里简单介绍两种,一种是单一大模型的一体机,比如软通动力联合百川智能推出的“软通-百川AI大模型一体机”,就预装了百川大模型。另一种是开源开放的大模型一体机,提供丰富的基座大模型让企业测试、调用,比如百度的千帆大模型一体机,除了内置百度自研的文心大模型,也提供Llama、Baichuan、ChatGLM等十余个主流开源大模型。

3.全栈工具。通用场景的大模型,是无法直接被特定领域、垂直场景来使用的。举个例子,很多行业还没有高质量的语料,一些知识经验还没有被文本化、数据化,导致大模型无法充分学习。所以,想要用好大模型,很多企业还需要有工程师来进行数据治理,建立高质量的行业语料和知识库,做好提示词工程,开发业务友好的插件……从零搭建起全栈AI开发能力,有着不小的工程量。而大模型一体机,针对垂直场景进行过优化微调,集成了易用的平台化工具,可以将原本几个月的开发周期缩短到几天、几小时,实现特定行业专属大模型的快速部署。

4.支持服务。不同于传统软件,大模型需要持续学习,根据人类反馈和数据集及时更新迭代,具有很强的时效性,需要服务商更快、更有针对性地响应。而作为整体解决方案出售的大模型一体机,包含了一定程度的技术支持和服务,可以解决企业长期应用大模型的问题。

不难发现,相比单纯售卖AI服务和API的商业模式,开箱即用的大模型一体机,能够缩短部署周期、深度结合场景、打消落地门槛,是更符合当下产业现状的一种选择,也可以让更多企业更快地用好大模型。

大模型一体机不等于传统盒子

国内企业纷纷推出大模型一体机时,我所在的一个行业群,有人表示:国内就是软件不值钱,硬件值钱。

提供服务和解决方案的商业模式,优于“卖盒子”,是一个业内流传已久的观念。

尤其是在传统企业软件和云计算领域,“卖盒子”被认为是市场不够成熟的无奈之选,因为以前很多甲方的领导不了解软件技术,觉得硬件更有科技含量。而在销售方式上,卖盒子壁垒不高,拼的不是产品创新,而是客情关系和酒量。商业回报上,卖盒子涉及定制成本、人力维护成本,无法像软件那样通过规模化获得非线性增长,干的都是苦活累活。

既然大模型一体机,也是将大模型及相关软件与硬件集成,作为一个整体产品出售来“卖盒子”。这种商业模式究竟好不好呢?

这里要明确,尽管都是将软硬件集成在一起售卖,但此一时彼一时,大模型一体机并不能等同于传统的“卖盒子”模式。

从市场源头的需求驱动力来看,购买一体机的用户,并非“不懂大模型”。

认为“卖盒子”比“卖软件服务”low,往往是觉得ToB市场的很多客户不懂软件,不明白为什么一张license要卖那么贵,必须封装到盒子里才肯买单。

但今时今日,随着数字化、智能化的深入,各行各业的企业决策者,很少有人不认可大模型的价值,不认可数据工程、知识工程等“软实力”之于AI落地的意义。恰恰相反,大模型一体机的市场崛起,正是因为对应用大模型、开发专属大模型的迫切渴求。

如果说以前“卖盒子”有点买椟还珠的味道,那么现在,一体机中大模型这颗“明珠”在企业市场的认可度,是毋庸置疑的。

除了“软实力”的价值受到认可,大模型一体机的硬件,也更加多元化。

“卖盒子”的另一类诉求是,将硬件作为企业资产的一部分,更好估价,导致了硬件过度堆砌、脱离业务实际需求的情况。显然,大模型一体机市场,也并不是这样的。

我们注意到,大模型一体机的供应商,普遍会提供多种部署方案,既有低成本的轻量级一体机,也有针对大中型客户的定制化高配一体机,相当于中杯、大杯和超大杯。企业完全可以立足于业务场景的实际需求,选择最适合自己的硬件版本,无需重度投入过多的硬件资源。

“不是高配一体机买不起,而是轻量一体机更有性价比”,价值导向、实用导向驱动的大模型一体机,拼的主要是产品力,在供给和销售策略上也更合理、更市场化。

另外值得一提的是,“卖盒子”曾被认为是迎合了中国企业缺乏“安全感”的心理,进行(没有太大必要的)私有化本地部署。那么,支持本地部署、强调数据隔离与安全保障的大模型一体机,有必要吗?

相信了解大模型技术的读者,都会很快做出判断:很有必要。

大模型不同于传统的软件技术,其训练和推理都会涉及大量重要隐私数据,又存在“幻觉”问题,对数据监管和内容安全的担忧并非杞人忧天。

而大模型一体机的本地私有化部署,可以帮助企业实现数据隔离与网络隔离,减少数据传输及存储的风险,确保数据资产的安全性。不打消客观存在的安全顾虑,大模型是很难落地到“最后一公里”的。

所以,大模型一体机并不等于传统的“卖盒子”,而是从复杂产业实际出发的一种选择。

大模型一体机到底谁在用?

当然,大模型一体机确有其用,并不意味着每一个开发者、每一家企业都适合。

相比大模型一体机少则几万、多则几十万的前期投入成本,通过API调用次数或计算资源计费,一个token只需要几分钱,初始成本更低。那么,这大模型一体机到底是谁在用啊?

有三类群体,应该将大模型一体机的集成方案,作为重点考量:

一是风险敏感型。

包括数据隐私安全风险,以及供应链断链风险。软硬件协同优化的一体机,可以让AI大模型在国产硬件上也有不错的性能表现。对于有信创需求的企事业单位,是更优解。

公开报道显示,基于昇腾AI硬件底座的软通AI训推一体化平台,就受到央国企、科技机构、教育、金融等领域客户的认可。

二是长期运营型。

一位开发者朋友,在调用了GPT4-Turbo之后表示:“太烧钱了!”他所用的非代码调用场景,一次要花费0.5元,长期用是不可承受的,于是选择了能力更低的GPT-3.5+其他模型的组合拳。

大模型API基于token使用量的计费方式,虽然初始阶段看起来成本更低,但总体拥有成本(TCO)却未必。实践看来,企业应用AI,并不意味着所有任务都要使用云端先进大模型的完整能力。

大模型一体机提供的更丰富的模型选型、本地化部署、优化过的性能保障,可能让企业AI开发应用的全生命周期,打好“组合拳”。

三是非AI原生型。

大模型火爆之后,很多行业和企业才开始关注AI、使用AI,没有积累相关的开发能力和人才,对技术也是一知半解,这时候想要在自身的业务场景中快速上马大模型,可能要面临短期内资源紧缺的溢价情况,被迫在算力市场、人才市场进行竞价,试错成本更高。这时候,通过大模型一体机的小时级一站式交付、即插即用,可以快速试错。

比如一个普惠版的大模型一体机,不需要A100这类高端显卡,就可以帮助企业打造一个专属大模型,开发出小型的知识库应用或AIGC类应用,让业务智能化起来,让大模型不再遥远。

大模型的商业化探索还处于早期,用传统的眼光去看待新兴事物,未尝不是一种刻舟求剑。大模型不一定要捆绑硬件来凸显价值,但一定要结合硬件来充分释放价值。

从这个角度来说,大模型一体机的商业内核,与以往的“卖盒子”有本质的不同,或许能为企业市场带来一种全新的商业机遇。

本文为转载内容,授权事宜请联系原著作权人。