1. 安装Ollama

Download Ollama on Windows

2. 在官网上查找模型列表，确定要部署的模型

Ollama Search

image-tcdh.png

本次部署以支持 function call的Qwen-QWQ模型为主

3. 修改下载模型的环境变量

避免模型直装到C盘，添加环境变量

image-rzzx.png

4. 下载模型

ollama run qwq

image-heel.png

image-dwrg.png

5. API调试

image-roeu.png

6. 停止运行模型

本地部署32B的模型对个人电脑性能还是存在一定要求，在不使用的情况下最好停止模型运行，对于经常运行的推荐在云服务器上部署。

若无对大模型的定制要求可以使用互联网上的大模型提供商的API，例如dashscope，硅基流动，百度云千帆等。

# 列出所有运行模型
ollama ps
# 停止运行指定模型
ollama top model:version

7. 使用可视化客户端与大模型进行对话

建议使用cherry studio

Cherry Studio 官方网站 - 全能的AI助手