容量规划

AI推理服务若只看芯片算力或压测峰值，采购与扩容可能偏离真实承载能力：并发、请求速率、输入输出长度、首字延迟、生成速度、批处理、显存及故障冗余都会改变有效吞吐。文章从业务负载和服务等级目标出发，梳理测算变量、压测验收与容量配置流程，强调容量上限应以仍满足目标的负载点为准。如何把峰值数字转化为可用、可比较的部署依据？