欢迎来到安阳市科学技术协会!
http://www.ayskx.org.cn/skin/default/img/tt1.png
http://www.ayskx.org.cn/skin/default/img/tt2.png
http://www.ayskx.org.cn/skin/default/img/tt3.png
http://www.ayskx.org.cn/skin/default/img/tt4.png
栏目导航
 
推荐文章
 
当前位置: 首页» 科普万象 » 正文

算力越堆越大,为什么GPU还在饿着等数据?

放大字体  缩小字体 发布日期:2026-10-28  来源:科普中国 编辑:刘杰 审核:杨亚鹍  浏览次数:968

算力规模越大,数据供给的重要性越高;算力越昂贵,存储对算力效率的影响越大。当前,智算基础设施领域的竞争重心,正逐步从单一的算力规模竞赛,转向算力效率竞赛,并进一步向计算、网络、存储协同优化能力的综合竞争演进。从这一趋势看,AI原生存储正在成为继AI芯片、高速网络之后,值得重点关注的新基础设施方向。

1、AI基础设施竞争正在从“堆算力”走向“提效率”

人工智能特别是大模型技术快速发展,正在推动智算基础设施进入超大规模建设阶段。近年来,全球头部科技企业持续扩大GPU集群规模,智算集群从千卡、万卡逐步迈向数万卡乃至十万卡级。随着单集群算力规模快速提升,基础设施竞争的重点也正在发生变化,即过去主要关注“有多少算力”,未来将更加关注“这些算力能够有多少时间真正用于有效计算”。

在超大规模AI集群中,影响算力有效利用率的因素已经不再局限于GPU本身,网络、存储、数据供给、任务调度以及故障恢复等都可能成为限制算力释放的关键环节。其中,存储正在从传统意义上的“后台数据保存系统”,逐渐转变为直接影响GPU利用率和AI任务效率的核心基础设施。

传统数据中心的存储体系主要围绕文件、数据库和对象等通用数据访问场景构建,核心目标是提供可靠、稳定、可扩展的数据保存能力。而AI工作负载具有明显不同的特征——数据规模巨大、访问并发度高、带宽需求强、数据生命周期短、访问模式具有明显的阶段性,并且越来越多的数据已经不再是传统意义上的“文件”,而是Checkpoint、KV Cache、模型权重、训练中间状态等与AI计算过程紧密耦合的数据对象。

2、AI正在推动存储发生三大变化

①数据形态从“静态文件”向“高速AI数据流”转变

传统存储系统主要解决“数据如何长期保存”的问题,数据通常以文件、数据库记录或对象的形式存在,计算和存储之间具有相对清晰的边界。AI工作负载则正在改变这一模式。在大模型训练过程中,模型参数、优化器状态、训练数据、Checkpoint等数据持续产生并在计算节点与存储系统之间高速流动;在推理过程中,模型权重、prompt以及KV Cache等数据又在GPU、CPU、内存和SSD之间频繁迁移。因此,AI数据正在形成一种新的运行模式,即“数据产生—高速缓存—计算使用—状态更新—再次缓存—持久化—复用”。

从技术架构上看,未来AI数据将越来越多地分布在HBM、DRAM、本地SSD和分布式存储等多个层级之间,存储系统实际上承担的不仅是“保存数据”,更在于管理数据在不同存储层级之间的流动。尤其值得关注的是,Checkpoint和KV Cache代表了两类典型的AI数据。训练Checkpoint具有数据量大、写入集中、周期性明显等特点。当大量GPU同时进行Checkpoint时,可能产生巨大的瞬时写流量,形成所谓的“Checkpoint洪峰”,使存储和网络成为训练任务的瓶颈。推理KV Cache则更加特殊。随着长上下文、多轮对话和大规模推理的发展,KV Cache正在从计算过程中的临时状态逐步转变为具有复用价值的基础数据。未来需要解决的不仅是“如何保存”,更重要的是“哪些Cache值得保存、在哪里保存、何时迁移、如何复用”。这意味着:AI存储需要从管理“文件”,逐步转向管理“AI数据流”。

②计算与存储从“松耦合”向“语义协同”转变

传统存储系统通常只看到I/O请求,很难理解请求背后的AI计算语义。例如对于一个普通的写请求,存储系统可能只能知道:某个客户端正在写入若干GB数据。但对于AI训练系统而言,它实际上可能代表:这是第1000步产生的Checkpoint;属于某个训练任务;当前是临时版本;后续还会继续产生新的Checkpoint;发生故障时,该数据具有较高恢复价值。如果存储系统能够获得这些信息,就可以采取完全不同的策略。例如,对于即将被覆盖的临时Checkpoint,可以优先放入高速暂存层;对于已经完成并需要长期保留的Checkpoint,则可以异步迁移至持久化存储;对于即将用于恢复的数据,可以提高副本可靠性或预留读取带宽。因此,未来AI存储的一个重要变化,是建立计算与存储之间的语义协同机制。可以形成“AI 框架 / Runtime → AI语义层 → 存储系统”。由AI Runtime向存储提供Checkpoint阶段、数据优先级、生命周期、访问预测等信息,存储系统再结合自身资源状态进行数据放置、调度和迁移。这将使存储从“被动响应I/O”,逐渐转向“理解计算意图并主动优化数据”。

③存储评价指标从“容量效率”向“算力效率”转变

过去评价存储系统主要看容量、IOPS、带宽、时延、可靠性及单位容量成本,这些指标在AI场景仍然重要,但已经不足以完整反映存储价值。对于智算中心而言,更值得关注的是存储系统是否能够让昂贵的GPU尽可能持续处于有效计算状态。如果一次Checkpoint导致数万张GPU暂停数分钟,即使存储系统本身具备很高的峰值带宽,也不能简单认为系统效率足够高。真正需要关注的是Checkpoint过程中GPU产生了多少等待,以及这些等待是否能够通过本地暂存、异步写入、流量调度等机制被消除。因此,未来AI存储的核心价值可以从“每秒能存多少GB”,进一步转变为“每单位存储资源能够支撑多少有效算力、多少有效Token和多少训练计算 ”。换句话说,存储的最终价值不是存储了多少数据,而是支撑了多少有效算力。这一变化将推动AI存储从传统存储性能竞争走向算力效率竞争。

3、超大规模智算带来的四项新挑战

①计算、网络与存储之间仍然存在明显割裂

当前AI软件栈、网络系统和存储系统仍然相对独立。AI框架知道Checkpoint的生命周期,存储系统却往往只看到普通I/O;存储系统知道设备负载,却不知道训练任务什么时候进入Checkpoint阶段。随着集群规模扩大,这种信息割裂会进一步放大资源浪费。未来需要建立面向AI的统一语义接口,使计算能够向存储传递能力能力。

②超大规模集群下,故障将从“偶发事件”变成“运行常态”

当集群规模达到数万卡甚至十万卡,GPU、服务器、SSD、NIC、交换机等设备数量巨大,系统运行过程中发生局部故障将成为常态。传统存储主要强调副本、纠删码和数据可靠性,而AI集群更进一步要求:故障发生后,不能因为存储恢复而长时间拖住计算。因此,需要建立面向AI任务的故障域感知、自愈和快速恢复机制,将Checkpoint状态、任务状态与存储故障恢复结合起来,实现故障隔离、流量重路由、数据恢复和后台重构的协同。未来存储系统的目标将逐渐从:“数据不丢”走向:“设备有故障,但计算尽量不停。”

③训练和推理正在形成两种完全不同的数据服务需求

训练侧重点是大规模顺序数据、Checkpoint、高吞吐和周期性突发I/O;推理侧则越来越关注低时延、高并发、KV Cache复用和数据快速迁移。随着训推一体化智算中心发展,同一套基础设施需要同时支撑两种完全不同的数据流。因此,未来智算中心存储不宜简单理解为建设一套更大的传统分布式文件系统,而应形成:统一数据底座 + AI语义层 + 多级数据缓存/暂存 + 场景化数据服务的存储综合体,通过统一架构支撑训练和推理,同时针对不同AI数据建立差异化的数据服务能力。

④存储成本将成为智算中心总体TCO的重要组成

AI集群规模扩大后,存储容量、网络带宽、服务器本地SSD以及数据副本等基础设施成本都会快速增长。如果仅通过不断增加存储设备和网络带宽解决问题,基础设施投入将随算力规模快速增长。因此,需要通过AI数据生命周期管理、冷热分层、数据复用、语义感知、缓存和暂存等方式,提高存储资源利用率。其核心目标是让有限的存储资源更加精准地服务计算,而不是简单建设更多存储。

4、产业趋势判断:AI原生存储正在形成新的技术窗口

从全球产业发展看,头部AI企业已经开始针对Checkpoint、数据缓存、计算存储协同等问题进行大量基础设施创新。这些探索表明,传统通用存储体系并不会消失,但AI工作负载正在推动存储系统向更加贴近计算的方向演进。这一趋势与过去网络技术的发展具有一定相似性。早期网络主要解决“数据能否传输”,随后发展到高速网络、RDMA等,逐渐成为高性能计算体系的重要组成部分。存储也可能经历类似过程:通用存储 → 高性能存储 → AI感知存储 → AI原生数据基础设施。未来AI存储的竞争壁垒也将不再仅仅来自单一存储介质或者单一文件协议,而会更多来自AI Runtime与存储的协同能力、AI数据语义理解能力、多级存储资源调度能力、超大规模故障自愈能力、计算-网络-存储协同优化能力、面向Checkpoint/KV Cache等新型AI数据的原生服务能力。因此,当前正处于AI原生存储从技术探索走向产业化的重要窗口期。

5、结语

随着GPU规模不断扩大,人工智能基础设施的核心命题将由如何获得更多算力,逐步变为如何让已经投入的大规模算力持续、高效地工作,从单纯的“算力规模竞争”,逐步走向“算力效率竞争”。而算力效率的提升,不仅取决于GPU本身,也取决于数据能否及时、稳定、高效地供给计算。因此,存储正在从传统意义上的后台数据基础设施,走向AI计算体系的重要组成部分。下一阶段AI基础设施的关键竞争之一,将不再只是“谁拥有更多算力”,而是“谁能够让更多算力转化为有效计算”。从这一意义上看,AI原生存储不仅是传统存储面向AI场景的一次技术升级,更可能成为下一代智算基础设施的重要技术底座。当前提前布局AI Runtime、AI数据语义、Checkpoint、KV Cache原生存储架构以及计算—网络—存储协同技术,有望形成面向超大规模智算集群的新型基础设施能力,并为未来智算中心建设和AI基础设施产业竞争建立新的技术优势。


 
 

豫ICP备15019654号-1  电话:0372-2555661

扫描加关注 官方账号:
安阳市科学技术协会