使用AI容器镜像部署Qwen大语言模型

场景简介 在本实验场景中，将使用Alibaba Cloud AI Containers（AC2）容器镜像服务，通过Docker容器镜像部署Qwen系列大语言模型。本实验场景基于第八代Intel实例，使用Alibaba Cloud Linux 3作为实验系统，使能Intel最新的 AI 加速指令集，提供完整的容器生态支持。 本实验场景无需深奥的AI背景知识，只要了解基本的Linux基础知识，能够使用命令行，就可以轻松完成本实验，体验大语言模型的对话能力，感受AIGC的魅力。 使用AI容器镜像的过程中，有任何疑问和建议，您可以加入钉钉群（群号33605007047）反馈，并获取技术支持。 背景知识 本场景主要涉及以下云产品和服务： 云服务器ECS 云服务器（Elastic Compute Service，简称ECS）是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS（Infrastructure as a Service）级别云计算服务。一台云服务器ECS实例等同于一台虚拟服务器，内含CPU、内存、操作系统、网络配置、磁盘等基础的组件。云服务器ECS免去了您采购IT硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器，解决多种业务需求，助力您的业务发展。 Alibaba Cloud Linux Alibaba Cloud Linux是阿里云研发的稳定、安全、高性能的服务器操作系统，是目前阿里云上部署规模最大的操作系统之一，可以为用户应用部署在Web服务、云原生应用、大数据、数据库、AI等场景中提供系统软件维护、安全加固、性能优化、多架构支持、内核热补丁等操作系统服务。 阿里云AI容器镜像 阿里云AI容器镜像（Alibaba Cloud AI Containers 简称 AC2）是阿里云提供的对面向AI场景的系列容器镜像，通过提供开箱即用的AI应用环境，包括内置CUDA AI库、AI框架PyTorch，并结合阿里云基础设施进行性能优化、兼容性保障、稳定性保障，让用户可以在阿里云上全容器场景下有更好的使用体验。
云起实验室将在您的账号下开通本次实操资源，资源按量付费，需要您自行承担本次实操的云资源费用。 重要 本实验预计产生费用4.61/时，0.8元/G公网流量。如果您调整了资源规格、使用时长，或执行了本方案以外的操作，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。
创建实验资源 在实验页面，勾选我已阅读并同意《阿里云云起实践平台服务协议》和我已授权阿里云云起实践平台创建、读取及释放实操相关资源后，单击开始实操。 创建资源需要5分钟左右的时间，请您耐心等待。 在云产品资源列表，您可以查看本场景涉及的云产品资源信息。
安全设置 资源创建完成后，为了保护您阿里云主账号上资源的安全，请您重置云服务器ECS的登录密码、设置安全组端口。 重置云服务器ECS的登录密码。 在云产品资源列表的ECS云服务器区域，单击管理。 在实例详情页签的基本信息区域，单击重置密码。 在重置实例密码对话框中，设置新密码和确认密码，重置密码的方式选择在线重置密码，配置SSH密码登录策略选择开启，单击确认修改。 返回如下结果，表示ECS实例root用户的登录密码重置成功。 设置安全组端口。 在云产品资源列表的安全组区域，单击管理。 在访问规则区域的入方向中，添加SSH(22)、HTTP(80)、HTTPS(443)和8000端口。 重要 添加端口时，授权对象建议选择您电脑的IP地址。
准备系统环境 首先需要添加系统组件，后续需要下载大模型与运行脚本。 在云产品资源列表的ECS云服务器区域，单击远程连接。 在登录实例对话框中，输入用户自定义密码，单击确定。 执行如下命令，安装Git等必备软件。     sudo dnf install -y git git-lfs wget 执行如下命令，安装Git LFS。     sudo git lfs install
安装Docker 使用AC2需要首先设置Docker运行环境。在Alibaba Cloud Linux 3上可以通过以下步骤安装Docker。 执行如下命令，添加docker-ce软件源，并安装软件源兼容插件。     sudo dnf config-manager --add-repo=https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo sudo dnf install -y --repo alinux3-plus dnf-plugin-releasever-adapter 执行如下命令，安装Docker-CE。     sudo dnf install -y docker-ce 执行如下命令，检查Docker是否安装成功。     docker -v 返回类似信息如下。 执行如下命令，启动Docker服务。     sudo systemctl start docker 执行如下命令，检查Docker服务运行情况。     sudo systemctl status docker 返回类似信息如下，表示Docker已正常启动，并设置开机自启。 说明 查看Docker服务运行情况后，您可使用Ctrl+C退出查看。
下载Qwen大模型与运行脚本 由于Qwen运行环境镜像中并不包含大模型权重与运行脚本，您需要预先下载到本地。 执行如下命令，下载Qwen-1.8B-Chat模型。 说明 模型下载耗时较长，终端可能会无响应，等待下载完毕即可恢复。     git clone https://www.modelscope.cn/qwen/Qwen-1_8B-Chat.git ~/Qwen-1_8B-Chat 执行如下命令，下载Qwen大模型运行脚本。 说明 脚本通过GitHub托管，若下载失败，请重新执行命令。     wget -O ~/qwen_web_demo.py https://raw.githubusercontent.com/QwenLM/Qwen/8c53f58a673f976f923fc71340b2220293b8052f/web_demo.py 执行如下命令，修改运行脚本，使用BF16精度加载模型，使用Intel AMX加速指令集。     grep "torch.bfloat16" qwen_web_demo.py 2>&1 >/dev/null || s
创建大模型容器 Qwen系列镜像是Alibaba Cloud AI Containers（AC2）容器镜像服务推出的开箱即用大模型镜像。其中包含了运行Qwen系列大模型所需的所有依赖，包括Python运行环境、深度学习框架、模型权重文件以及依赖库。确保Qwen系列大模型能够高效、稳定地在不同环境下部署和服务。 下面将快速拉取AC2 Qwen运行环境镜像，并创建容器。 执行如下命令，拉取Qwen镜像。     sudo docker pull ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/qwen:runtime-pytorch2.2.0.1-alinux3.2304 执行如下命令，创建容器，并挂载本地模型文件以及运行脚本。该命令会以分离运行模式创建一个名为qwen的容器，并将本地模型目录与运行脚本挂载到容器中。     sudo docker run -itd --name qwen --net host \-v $HOME/Qwen-1_8B-Chat:/models/Qwen-1_8B-Chat \-v $HOME/qwen_web_demo.py:/app.py \ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/qwen:run
进入容器运行脚本 接下来将进入容器环境，并运行大模型脚本。 执行如下命令，进入容器环境。     sudo docker attach qwen 执行如下命令，执行运行脚本，指定模型路径以及监听主机名。     export GRADIO_ANALYTICS_ENABLED=False python3 /app.py -c /models/Qwen-1_8B-Chat/ --server-name 0.0.0.0 返回如下结果，表示您已成功运行脚本。
与Qwen大模型对话 部署完毕后，在本机浏览器地址栏中，输入http://ECS实例公网IP:8000访问服务。 说明 您可在云产品资源列表查看ECS实例公网IP。 成功部署后可以通过网页Demo与大模型进行对话。您可以在Input输入框中输入您想问的问题，比如“你好，你是谁？”，然后单击Submit (发送)，大模型会实时回答输入的问题。
清理资源 在完成实验后，如果无需继续使用资源，选择不保留资源，单击结束实操。在结束实操对话框中，单击确定。 在完成实验后，如果需要继续使用资源，选择付费保留资源，单击结束实操。在结束实操对话框中，单击确定。请随时关注账户扣费情况，避免发生欠费。
【实践】使用AI容器镜像部署Qwen大语言模资源开通说明 • 开始实操前，请确保您已通过 实名认证 且 账户余额 充足 • 资源开通在个人账号，默认时长60分钟 • 云资源产生的费用需您自行承担，云起实践平台不会向您征收额外费用 • 实操结束后，您可以选择继续付费保留资源，或参考手册自动/手动释放资源 包含云产品资源（4个）： 云服务器 ECS 按量付费 ecs.g8i.4xlarge,16vCPU64GiB,100G ESSD 专有网络VPC   IPV4网段:172.16.0.0/12 云服务器 ECS   VSwitch 云服务器 ECS   安全组