大模型开启新赛季,腾讯云存储升级:已有80%头部厂商采用

时间:2024-04-09 06:58
来源:证券之星
阅读量:18956   

图源:腾讯云官方

过去一年,大模型搅动全球科技圈。2024年初,Sora、Kimi等应用产品爆火,大模型迎来新一轮狂欢。

时代财经从腾讯云获悉,数据存储约占大模型训练整体工程量的20%-30%。AIGC相关应用持续爆发,数据存储的重要性正在逐渐凸显。

“训练数据是大模型云存储的重要步骤,云存储系统需要能够快速响应数据读写请求,提供低延迟、高吞吐量的存储服务。还要具备可扩容性和暂存能力,比如训练出现突发情况后,能在原有基础上重启继续训练。”某云厂商行业人员向时代财经表示。

4月8日,腾讯云宣布云存储解决方案面向AIGC场景全面升级,能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示,采用腾讯云AIGC云存储解决方案,可将大模型的数据清洗和训练效率均提升一倍,需要的时间缩短一半。

腾讯云对象存储COS支持单集群管理百 EB 级别存储规模,提供便捷、高效的数据公网接入能力,并支持多种协议,充分支持大模型PB级别的海量数据采集。

在数据清洗环节,大数据引擎需要快速地读取并过滤出有效数据,COS通过自研数据加速器GooseFS提升数据访问性能,可实现高达数TBps的读取带宽,支撑计算高速运行,大大提升数据清洗效率。

在模型训练环节,通常需要每2-4小时保存一次训练成果,以便能在GPU故障时时能回滚,因此快速地读写checkpoint文件也成了能否高效利用算力资源、提高训练效率的关键。

腾讯云自主研发并行文件存储CFS Turbo ,面向AIGC训练场景的进行了专门优化,每秒总读写吞吐达到TiB/s级别,每秒元数据性能高达百万OPS,均为业界第一。3TB checkpoint 写入时间从10分钟,缩短至10秒内,使大模型训练效率大幅提升。

同时,随着训练数据和推理数据的增长,需要提供低成本的存储能力,减少存储开销。对象存储服务提供了高达 12 个 9 的数据持久性和 99.995% 的数据可用性,能够为业务提供持续可用的存储服务。

在此之前,腾讯云已经面向AIGC场景推出了基于星脉网络的大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。

“稳定性、性能、性价比是大模型时代云存储的核心。”腾讯云智能存储总监叶嘉梁说道,他认为,腾讯云存储未来要做的是把数据的价值开放给客户,让客户能有效地利用好数据。

据今年1月国际调研机构沙利文联合头豹研究院发布的《2023年中国云存储解决方案》报告,腾讯云存储位居国内厂商第一位,获增长指数和创新指数双第一,入选中国云存储解决方案市场“领导者”阵营。

时代财经从腾讯方面获悉,目前已有80%的头部大模型企业选择腾讯云AIGC云存储解决方案,包括百川智能、智谱、元象等明星大模型企业。

声明:免责声明:此文内容为本网站转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。