界面新闻记者 |
7月4日下午,腾讯云正式发布AI原生(AI Native)向量数据库Tencent Cloud VectorDB,该数据库能够被广泛应用于大模型的训练、推理和知识库补充等场景。腾讯方面表示,它是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。
根据官方公开的数据信息,腾讯云向量数据库最高支持10亿级向量检索规模,延迟控制在毫秒级;它相比传统单机插件式数据库检索规模提升10倍,同时具备百万级每秒查询(QPS)的峰值能力。
“如果你看好AI大模型,就应该看好向量数据库”,腾讯云数据库副总经理罗云表示,随着大模型的不断发展和普及,AI Native向量数据库将成为企业数据处理的标配。
向量数据库通过把数据向量化然后进行存储和查询,能极大提升效率和降低成本。它能解决大模型预训练成本高、没有“长期记忆”、知识更新不足、提示词工程复杂等问题,突破大模型在时间和空间上的限制,加速大模型落地行业场景。
腾讯官方的数据显示,将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗相比传统方式可以实现10倍效率的提升,如果将向量数据库作为外部知识库用于模型推理,则可以将成本降低2-4个数量级。
罗云称,腾讯云重新定义了AI Native的开发范式,提供了接入层、计算层、存储层的全面AI化解决方案,使用户在使用向量数据库的全生命周期,都能应用到AI能力。
具体而言,在接入层,腾讯云向量数据库支持自然语言文本的输入,同时采用“标量+向量”的查询方式,支持全内存索引;在计算层,AI Native开发范式能实现全量数据AI计算,一站解决企业在搭建私域知识库时的文本切分(segment)、向量化(embedding)等难题;在存储层,腾讯云向量数据库支持数据智能存储分布,让企业存储成本降低50%。
腾讯官方信息称,使用腾讯云向量数据库后,企业接入大模型需要花费的时间,能从一个月降低至三天左右,极大降低企业的接入成本。
对于产品的商业化问题,罗云表示,目前向量数据库可以单独对外提供,未来也不排除把向量数据库和其它相关产品打包售卖的可能性。
在具体落地应用层面,腾讯方面表示,该向量数据库基于腾讯每日处理千亿次检索的向量引擎(OLAMA),数据接入AI的效率比传统方案提升10倍,运行稳定性达到99.99%,目前已经应用在腾讯视频、QQ浏览器、QQ音乐等30多款腾讯内部产品之中。
以腾讯视频的应用为例,视频库中的图片、音频、标题文本等内容使用腾讯云向量数据库,月均完成的检索和计算量高达200亿次,能够满足版权保护、原创识别、相似性检索等场景需求。
从使用结果来看,向量数据库能直接提升运营效率。官方信息显示,使用腾讯云向量数据库后,QQ音乐人均听歌时长提升3.2%、腾讯视频有效曝光人均时长提升1.74%、QQ浏览器成本降低了37.9%。
评论