大语言模型的推理与服务框架

主讲人：王刚

课程简介

       本课程中，主讲人介绍了构建企业级人工智能应用的三层架构：前端框架（用户交互与请求处理）、中间件（业务逻辑与流程调度）和后端推理框架（模型加载与高效计算）。通过理论与实践结合，掌握大模型服务化的完整流程，获得将大模型技术集成到实际产品的关键能力，为开发智能应用奠定坚实基础。

课程时长

       9分钟

课程提纲

       一、前端框架

       二、中间件框架

       三、后端推理框架