转自：中国证券报·中证网
中证报中证网讯（记者 孟培嘉）据第四范式官方微信公众号4月7日消息，近期，公司一体机解决方案SageOne IA全新升级，推出“模型弹性伸缩”技术来应对流量波动。
据悉，“模型弹性伸缩”是系统根据负载状况，自动灵活切换同一系列下不同参数大小的模型提供模型服务，无需额外扩展计算节点，节省算力成本，提升资源使用效率的同时还大大降低运维工作量。
例如，在大模型推理场景下，负载较小时，满血版模型提供高精度的推理服务；进入高峰时段时，系统会自动将满血版降级为一个或多个蒸馏版/量化版模型实例，来处理大量并发请求。结合模型预加载等技术，可避免模型服务切换时，导致服务中断或输出质量波动问题，做到用户无感知的平滑切换；当流量回归常态后，系统再自动升级到满血版模型服务，并释放多余的较小参数模型实例。
同时，系统可预设多种基于负载的触发条件，如结合GPU使用率、请求队列长度、响应延迟等资源健康度指标，形成动态切换策略和任务路由机制，使弹性方案在实际应用中更贴近业务需求。
