界面新闻2023年7月8日从2023世界人工智能大会“大模型时代下的数据要素流通”主题论坛上获悉,上海数交所官网已经于7月7日正式上线语料库,累计挂牌近30个语料数据产品,包含文本、音频、图像等多模态,覆盖金融、交通运输和医疗等领域。
语料库是大模型训练不可或缺的要素。
上海数交所总经理汤奇峰认为,大模型时代下的语料库建设存在语料库供给不足、语料库质量不高、语料库多样性匮乏、语料库标准欠缺等问题。“语料库建设不是单一企业的责任,需要多方共同推进,如果每个企业都单独建设维护语料库,会拉低效率,也会增加企业成本,数交所希望通过自己的努力加强数据要素建设提升语料库建设效率。”
为此,上海数据交易所在上线语料库的同时,牵头发起语料数据生态创新合作伙伴计划。
据其透露,上海数据交易所首批合作伙伴包括上海人工智能实验室、商汤科技、中国知网、澜舟科技、OpenKG、拓尔思、新致和蜜度,旨在引导不同行业、不同领域、具有一定规模的高质量语料数据产品挂牌交易,推动人工智能大模型技术创新与应用落地,进一步丰富语料库多样性,助力数据要素市场建设。
上海数交所总经理汤奇峰表示,大模型建设中,语料库是一个非常重要的方向,语料库采购已经在不少大模型企业成本中占据重要比重,上海数交所希望以市场配置的方式组织数据要素推动语料库建设。
上海数交所建设语料库主要考虑两个维度,一是语料库的质量,另一个是语料库的开放程度。“比如有的企业具有海量高质量数据资源,开放意愿度也很高,但需要组织大量社会第三方企业帮助组织相关的大模型训练,我们针对四类数据产品开发情况不同、实际需求不同的供方企业制定了差异化工作策略,着力打造语料数据生态。”汤奇峰说。
目前,上海正在引导、扶持企业积极发展以大模型为代表的人工智能技术。
上海市经济和信息化委员会信息化推进处处长钱晓在会上透露,2022年上海市数据核心企业突破1200家,核心产业规模近3400亿元;建设了上海数据交易所,累计挂牌数据产品超1300个,率先提出数商体系,数商新业态蓬勃兴起,全国首个数据要素产业集聚区在张江启动建设。
他表示,未来将继续加强技术创新,形成行业领先的高质量语料标准操作流程和技术规范;完善组织机制,形成包括图书馆、媒体、互联网平台、大数据企业等在内的核心数据伙伴群;做好评估机制,加快构建高质量数据集的评价指标体系。
评论