2024AiCon：小米大模型端侧部署落地探索

2024AiCon：小米大模型端侧部署落地探索.pptx

下载

pptx文件

2.0M

小米在2024AiCon分享大模型端侧部署实践，强调端侧AI在可靠性、隐私安全及成本效益上的优势。面对内存限制（如6B模型适配16G设备）、推理速度（优化后达1.7~2.1倍加速）等挑战，采用剪枝（结构化/非结构化）、量化（低比特优化）及投机推理（并行验证候选词）技术降本增效。当前已实现1.3B~6.7B模型在高通/天玑平台部署，未来将融合轻量化与硬件优化，推动个性化服务与端侧AI规模化落地。