今天分享的是：大语言模型服务管理的实践分享

报告共计：30页

《大语言模型服务管理的实践分享》由阿里云王夕宁、马元元在2024 AI+研发数字峰会上发表，主要围绕大语言模型（LLM）服务管理展开，涵盖其特征挑战、应对方案、技术扩展及统一管理方式等内容。

1. LLM服务管理的特征与挑战：GenAI/LLM服务管理在流量管理上与传统网络差异显著。其请求/响应体量大，单个查询常占满计算资源，处理时间长且不可预测，每次请求生成内容独特，还需根据请求选择不同成本模型，传统流量管理方式难以适用。

2. 应对思路与方案：引入推测最短作业优先（SSJF）调度器，借助代理模型预测推理请求序列长度，以此提升调度效率。采用智能工作负载优先级调度，通过令牌桶和加权公平排队调度器（WFQ），依业务价值和请求紧急度分配资源，保障关键用户体验，还制定多种流量调度策略，如并发速率限制、配额调度等，防范服务过载，优化系统性能。

3. 现有技术基础扩展支持：利用声明式API增强AI服务管理，涵盖数据丢失预防、提示词保护等功能。实现LLM请求路由，可依用户身份切换后端模型，按比例分发流量到不同Provider。构建多维度安全防护体系，通过多种安全模型和能力，保障LLM应用安全。同时，基于服务网格原生Telemetry资源定制，实现LLM请求的可观测性，兼容OpenTelemetry标准。

4. Model Service Mesh（MSM）：MSM融合服务网格与模型服务管道，统一管理GenAI/LLM工作负载。在案例ChatQnA中，控制面进行流量、安全、可观测规则配置，数据面完成具体服务编排，有效简化GenAI应用流程。

通过上述一系列措施，能有效应对LLM服务管理挑战，提升服务效率与质量，推动AI驱动的研发变革，助力企业降本增效，为大语言模型在企业中的应用提供有力支撑 。

以下为报告节选内容