2024年，AI大模子的火热态势仍在合手续，从客岁的单模态到本年的多模态，大模子才智束缚进化。

　　与此同期，与大模子干系的技能也在束缚迭代。

　　现在业界照旧明确，决定大模子才智的除了算法、算力、数据等中枢身分，还有计较、采集、存储等基础步调才智。

　　以存储为例，大模子的研发分娩进程不祥可分为数据采集与清洗、模子锻练、推理三大尺度，在每个尺度，皆对存储才智有着极高的条目。

　　大模子需要更强的存储性能

　　当先在数据采集与清洗尺度，工程师需要从公开导集上采集原始数据，并进行数据清洗，将重迭、无理、无效的数据过滤掉。

　　由于数据开首万般且限度达到PB级别，该尺度的存储系统需要撑合手多种契约，并能提供超大读取带宽。

　　跟大数据场景近似的是，AI大模子也需要使用灌入大批的非结构化数据，现在业界趋势是使用spark计较引擎（数据湖）。

　　在大数据场景下，为了普及通盘这个词链路的后果，宽泛会将数据预处理算法作念并行化奉行。然则，AI大模子的原始数据集果然太大，以往锻练数据的清洗场景中数据量为 GB 级别（数十或者数百 GB），AI大模子的数据是TB和PB级别。

　　这对存储的读写性能，尤其是蒙眬条目很高。作念数据清洗，要把上T的数据读到计较引擎中，这对存储带宽有很大压力。在传统的决议中，仅读取数据的时刻就要30多分钟。

　　而在AI大模子锻练场景下，需要反复地将锻练数据从对象存储COS拉取到文献存储中，再从文献存储读取到缓存顶用于模子锻练与计较，在这个过程中需要大批的读取、写入或者创建删除等操作，条目超高的IOPS（每秒读写次数）。

　　另外，大模子锻练集群宽泛为几百到数千台计较节点，集群限度大，机器、愚弄等极端出现次数相对多。一朝出现该情况，若是模子莫得保存，相配于前功尽弃。

　　因此，为了减少计较节点的物理损坏带来的耗损，大模子需要周期性地进行保存刻下的阶段，也等于checkpoint（查抄点），以便在机器宕掉的时候，不错快速规复。宽泛，2-4小时保存一次checkpoint，上千台机器并发，会带来百GB/s的读写蒙眬。这个阶段，杠杆比例也条目存储不祥在高并发的情况下，具备快速读写数据的才智。

　　云厂商加快家具才智迭代

　　为了适当大模子期间的存储需求，曩昔一年，各个云厂商也在加快对自身的存储处置决议进行升级。4月8日，腾讯云交出了其最新升级的云存储处置决议。

　　据先容，腾讯云AIGC云存储处置决议由对象存储COS、高性能并行文献存储CFS Turbo、数据加快器GooseFS和数据万象CI等家具构成，是国内首个杀青有储引擎全面自研的云存储处置决议。

　　关于上文提到的一些场景，腾讯云也进行了针对性升级。比如面向大模子锻练场景，腾讯云自主研发的并行文献存储CFS Turbo，每秒总读写蒙眬可达TiB/s级别，每秒元数据性能达百万OPS，这使得3TB checkpoint的写入时刻从10分钟镌汰至10秒内。

　　腾讯云存储总司理马文霜在吸收21世纪经济报谈采访时打了个譬如，“若是存储是仓库，计较是加工场，数据是货色，把数据喂给大模子进行锻练成像把货色从仓库运到加工场进行加工。”

　　而传统的散布式存储（NFS契约）像传统仓库，是单链路传输，这导致蒙眬存在性能瓶颈。腾讯云CFS Turbo则像先进仓库，是N条链路同期传输。

　　“咱们提供的并行造访，相配于把雄壮仓库分了区域，并开了很多扇门，这就允许每个客户告成从仓库的各个区域告成取货。同期，除了仓库自身，还在仓库前有一派离客户更近的前置仓（缓存），稀薄用于存放各个客户最近宽泛购买的东西，或者放手最近运载来存储的货色，这么若是客户要买致使皆无谓进到仓库里拿或取，告成从前置仓即可赢得，镌汰时刻，这则至智能缓存”。马文霜示意。

　　据马文霜先容，现在，照旧有80%的头部大模子企业聘任了腾讯云AIGC云存储处置决议，包括百川智能、智谱、元象等明星大模子企业。其中，CFS Turbo也被愚弄于自动驾驶与工业仿真场景。

　　在大模子期间。数据照旧成为至关伏击的分娩要素，其也为社会发展带来新动能。IDC发布的《数据期间2025》显露，2018年我国数据圈（以数据圈代表每年被创建、采集或是复制的数据聚首）为7.6ZB，瞻望到2025年将增至48.6ZB，成为专家最大的数据圈。2018年至2025年年均复合增长率将达到30.35%

　　而数据的快速增长也在鼓舞数据存储需求大幅加多，是以接下来，将存储才智的快速迭代，以适当阛阓需求，仍会是云厂商要点发力的一个观念。

• 改进
• 大摩
• 间的
• 存储
• 子期