大模型场景下智算平台的设计与优化实践

大模型场景下智算平台的设计与优化实践.pptx

下载

pptx文件

5.2M

百度分享大模型时代智算平台的设计与优化实践，针对资源利用率低、训练耗时长、异构芯片适配等挑战，提出混合多芯调度、高性能存储（RDMA加速）及GPU虚拟化方案，结合Flash Checkpoint实现秒级容错，训练效率提升30%。通过优化网络拓扑与并行策略，推理性能提升60%，并借助百度百舸平台整合万卡集群，支撑千亿参数模型训练。未来将聚焦降低使用门槛，强化AI研发栈支持，应对推理爆发与领域微调趋势，推动智算平台向高效、稳定、易用演进。