用Docker和Xinference部署本地大语言模型

主讲人：王刚

课程简介

       利用Docker容器技术与专业的Xinference推理框架，构建可扩展、高性能的企业级部署环境。本课程中，主讲人介绍了使用Docker与Xinference部署大模型前的核心环境准备与选型建议，其核心思想是为了获得稳定且高效的大模型本地部署体验，推荐在Linux系统下，利用容器技术和GPU加速库来构建环境。

课程时长

       11分钟