使用国产信创算力部署大模型实践

使用国产信创算力部署大模型实践.pptx

下载

pptx文件

5.5M

第四范式推出Project-HAMi开源平台，基于Kubernetes实现国产异构算力（海光DCU、寒武纪MLU、华为升腾等）高效复用，通过虚拟化技术支持显存超售与算力隔离，解决设备闲置及生态割裂问题。结合自研SLX LLM推理加速框架，在72B大模型上实现10倍性能提升，兼容主流推理框架，优化多组件协同部署。未来将扩展硬件支持与调度策略，推动国产算力在大模型训练与推理中的规模化应用。