AI 真正走入大众视野并引发全球狂潮，标志性的节点无疑是 2022 年 11 月 30 日 OpenAI 发布 ChatGPT。在此之前，大家遇到复杂难题，第一反应还是去 Google 或 Bing 检索答案。虽然这股 AI 浪潮空前高涨，但我此前一直只是通过线上 API 调用，并未尝试过本地部署。直到今年脚踝骨折在家修养，百无聊赖之际，我才决定折腾一下手头这台主机，尝试用 Ollama 在本地部署属于自己的 AI 模型。
本地电脑配置：
System: ASUS System Product Name, Win11 Pro 26H2 64bit
CPU: 英特尔酷睿 Ultra 7 270K Plus 二十四核
Motherboard: 华硕 B860M AYW GAMING WIFI
RAM: 24GB DDR5 6000MHz
GPU: NVIDIA GeForce RTX 5070 (12GB)
Integrated Graphics: Intel(R) Graphics (128MB / 共享)
Display: VG27AQ5A (27.2英寸)
Storage: BIWIN NV7200 1TB (1024GB
介绍Ollama Ai引擎
Ollama 是目前在个人电脑上运行开源大语言模型（LLM）最轻量、最方便的工具引擎。
如果把各种开源大模型（如 Qwen、DeepSeek-R1、Llama 3 等）比作“游戏光盘”，那么 Ollama 就是一台为你准备好的“全自动游戏主机”——你不需要去研究复杂的 Python 环境配置或显卡驱动优化，装上它就能“即插即用”地跑各种模型。
为什么 Ollama 这么受欢迎？
-
极简命令行体验（类似 Docker） 它采用了非常熟悉的命令行交互方式。只需一条命令
ollama run qwen2.5，它就会自动下载模型权重、配置 GPU 加速并直接带你进入聊天界面。 -
自动硬件加速Ollama 后端集成了高性能推理引擎（基于
llama.cpp和 Apple MLX 等）。无论你使用的是 NVIDIA 显卡 (CUDA)、AMD 显卡 (ROCm) 还是 Apple Silicon (Mac)，它都能自动识别硬件并将模型切分加载到显存/内存中，无需手动写代码配置显存。 -
内置标准 API 接口启动 Ollama 后，它会在本地后台（默认端口
11434）开辟一个与 OpenAI API 格式兼容 的本地服务端点。这意味着：-
你可以在客户端工具（如 Chatbox、Cherry Studio、Open WebUI）中直接将 API Base URL 填为
http://localhost:11434/v1； -
在 VS Code / Cursor 里搭配 Cline、Continue 等 AI 编程插件做代码补全和重构。
-
-
灵活的模型定制（Modelfile）类似于 Docker 的
Dockerfile，你可以通过写简单的Modelfile来基于官方开源模型微调它的 Prompt 角色设定、温度参数（Temperature）或上下文窗口长度（Context Window）。 -
100% 本地与隐私安全 所有推理过程完全跑在你自己的显卡/CPU 上，不需要联网传输对话内容（除非你在拉取新模型），非常适合处理敏感代码、隐私文件或离线使用。
Ollama 核心常用命令
| 命令 | 功能描述 |
|---|---|
ollama run <模型名> |
下载（若本地没有）并运行模型进入对话 |
ollama pull <模型名> |
仅把模型下载到本地，不立即启动 |
ollama list |
查看当前本地已经安装了哪些模型 |
ollama ps |
查看当前正在显存中运行/加载的模型状态 |
ollama rm <模型名> |
删除某个本地模型以释放硬盘空间 |
如何安装Ollama？
打开电脑浏览器搜寻“Ollama”看到浏览器返回的信息点击第一栏就能进入Ollama · Run AI models locally and in the cloud
现在找到Download按钮，选择你的电脑相应的下载地址下载安装就行（安装时一路允许任何提示就行，我不在做记录演示）
修改模型存储路径（防 C 盘爆满）
Ollama 默认会将下载的所有大模型存放在 C:\Users\用户名\.user\.ollama\models 目录下。由于模型动辄几 GB 到几十 GB，强烈建议在安装前或首次运行前配置环境变量，将模型搬到其他盘（例如 D盘）：
-
退出 Ollama：如果安装后右下角任务栏已经出现了 Ollama 图标，右键选择 Quit 退出（确保后台没在运行）。
-
设置系统环境变量：
-
打开 Windows“环境变量”设置界面（可以在开始菜单搜索“环境变量”）。
-
点击下方的 “新建”（系统变量）：
-
变量名：
OLLAMA_MODELS -
变量值：你希望存放模型的目标路径（例如
D:\Ollama\models）。
-
-
点击确定保存。
-
下载模型
一般在Ollama图形界面
Chat聊天窗口右下方就可以看到模型列表，点击带有下载图标的模型等待几分钟等待模型下载就可以直接聊天使用了。我这里使用的Qwen3.5:4b大模型，有关介绍请访问Ollama官方模型库Qwen3.5
如果你需要更多的模型体验，请到Ollama官方模型库搜寻。安装前建议提问AI你适合那些本地模型，可以更好的体验本地ai带来的高质量服务。
通过 CMD（命令提示符）或 PowerShell下载模型
通过 CMD（命令提示符）或 PowerShell 下载模型非常简单，主要有两种方式，取决于你是想“只下载不运行”，还是“下载后直接开始聊天”。
方法一：只下载模型（推荐，推荐后台静默下载）
使用 ollama pull 命令，Ollama 会把模型文件下载到本地并做好配置，但不会自动进入聊天界面：
ollama pull <模型名称>
常用示例：
-
下载 Qwen2.5 7B 代码模型：
ollama pull qwen2.5-coder:7b -
下载 Qwen3 视觉大模型：
ollama pull qwen3-vl:8b -
下载 DeepSeek-R1 推理模型：
ollama pull deepseek-r1:8b
优势：适合在后台下载大文件，下载完成后终端不会卡在对话界面，方便后续给客户端（如 Chatbox）调用。
方法二：下载并直接开始对话
使用 ollama run 命令。如果本地没有该模型，Ollama 会先自动下载，下载完成后立刻启动模型并进入交互终端：
ollama run qwen2.5-coder:7b
当命令行出现 >>> 提示符时，就说明下载完成且已经进入对话模式了。退出对话只需输入 /bye 并回车即可。
辅助管理命令
在 CMD 里下载或管理模型时，这几个命令非常实用：
-
查看已下载的所有模型及占用大小：
ollama list -
查看当前正在显存中运行的模型：
ollama ps -
删除不需要的模型（释放硬盘空间）：
ollama rm <模型名称>
有了这套高效、离线且完全保护隐私的本地 AI 环境，无论是平常处理代码、识别图片还是调优脚本，都能随调随用。
