# 手把手教你学会Ollama引擎

**URL:** <https://yangyang.si/t/topic/88>\
**Category:** 常规\
**Created:** [2026 年10 月 21 日 04:56 UTC](https://yangyang.si/t/topic/88 "2026-10-21T04:56:42Z")\
**Posts on this page:** 2\
**Page:** 1

<div class="post-metadata">

作者： ![wenxin](https://yangyang.si/user_avatar/yangyang.si/wenxin/32/84_2.png) [@wenxin](https://yangyang.si/u/wenxin)\
发布日期： [2026 年10 月 21 日 04:56 UTC](https://yangyang.si/t/topic/88/1 "2026-10-21T04:56:42Z")

</div>

AI 真正走入大众视野并引发全球狂潮，标志性的节点无疑是 **2022 年 11 月 30 日 OpenAI 发布 ChatGPT** 。在此之前，大家遇到复杂难题，第一反应还是去 Google 或 Bing 检索答案。虽然这股 AI 浪潮空前高涨，但我此前一直只是通过线上 API 调用，并未尝试过本地部署。直到今年脚踝骨折在家修养，百无聊赖之际，我才决定折腾一下手头这台主机，尝试用 **Ollama** 在本地部署属于自己的 AI 模型。

### 本地电脑配置：

```auto
System: ASUS System Product Name, Win11 Pro 26H2 64bit
CPU: 英特尔酷睿 Ultra 7 270K Plus 二十四核
Motherboard: 华硕 B860M AYW GAMING WIFI
RAM: 24GB DDR5 6000MHz
GPU: NVIDIA GeForce RTX 5070 (12GB)
Integrated Graphics: Intel(R) Graphics (128MB / 共享)
Display: VG27AQ5A (27.2英寸)
Storage: BIWIN NV7200 1TB (1024GB

```

### 介绍Ollama Ai引擎

**Ollama 是目前在个人电脑上运行开源大语言模型（LLM）最轻量、最方便的工具引擎** 。

如果把各种开源大模型（如 Qwen、DeepSeek-R1、Llama 3 等）比作“游戏光盘”，那么 **Ollama 就是一台为你准备好的“全自动游戏主机”** ——你不需要去研究复杂的 Python 环境配置或显卡驱动优化，装上它就能“即插即用”地跑各种模型。

 ![屏幕截图 2026-10-21 123101](https://yangyang.si/uploads/default/original/1X/c11127b49ddedb50c9721f1265283de39eeb7738.png)

### 🌟 为什么 Ollama 这么受欢迎？

1. **极简命令行体验（类似 Docker）** 它采用了非常熟悉的命令行交互方式。只需一条命令 `ollama run qwen2.5`，它就会自动下载模型权重、配置 GPU 加速并直接带你进入聊天界面。

2. **自动硬件加速** Ollama 后端集成了高性能推理引擎（基于 `llama.cpp` 和 Apple MLX 等）。无论你使用的是 **NVIDIA 显卡 (CUDA)**、**AMD 显卡 (ROCm)** 还是 **Apple Silicon (Mac)**，它都能自动识别硬件并将模型切分加载到显存/内存中，无需手动写代码配置显存。

3. **内置标准 API 接口** 启动 Ollama 后，它会在本地后台（默认端口 `11434`）开辟一个与 **OpenAI API 格式兼容** 的本地服务端点。这意味着：

4. **灵活的模型定制（Modelfile** ）类似于 Docker 的 `Dockerfile`，你可以通过写简单的 `Modelfile` 来基于官方开源模型微调它的 Prompt 角色设定、温度参数（Temperature）或上下文窗口长度（Context Window）。

5. **100% 本地与隐私安全** 所有推理过程完全跑在你自己的显卡/CPU 上，不需要联网传输对话内容（除非你在拉取新模型），非常适合处理敏感代码、隐私文件或离线使用。

### 🛠 Ollama 核心常用命令

| 命令 | 功能描述 |
| --- | --- |
| `ollama run <模型名>` | 下载（若本地没有）并运行模型进入对话 |
| `ollama pull <模型名>` | 仅把模型下载到本地，不立即启动 |
| `ollama list` | 查看当前本地已经安装了哪些模型 |
| `ollama ps` | 查看当前正在显存中运行/加载的模型状态 |
| `ollama rm <模型名>` | 删除某个本地模型以释放硬盘空间 |

### 如何安装Ollama？

打开电脑浏览器搜寻“Ollama”看到浏览器返回的信息点击第一栏就能进入[Ollama · Run AI models locally and in the cloud](https://ollama.com/)

 ![屏幕截图 2026-10-21 123436](https://yangyang.si/uploads/default/original/1X/4d1f37abe70defbebc8598bbd4acc747f6ed8108.png)

现在找到Download按钮，选择你的电脑相应的下载地址下载安装就行（安装时一路允许任何提示就行，我不在做记录演示）

### 修改模型存储路径（防 C 盘爆满）

**Ollama** 默认会将下载的所有大模型存放在 `C:\Users\用户名\.user\.ollama\models` 目录下。由于模型动辄几 GB 到几十 GB， **强烈建议在安装前或首次运行前配置环境变量，将模型搬到其他盘** （例如 `D盘`）：

1. **退出 Ollama** ：如果安装后右下角任务栏已经出现了 Ollama 图标，右键选择 **Quit** 退出（确保后台没在运行）。

2. **设置系统环境变量** ：

### 下载模型

一般在 **Ollama** 图形界面➡ **Chat** ➡聊天窗口右下方就可以看到 **模型列表** ，点击带有下载图标的模型等待几分钟等待模型下载就可以直接聊天使用了。我这里使用的 **Qwen3.5:4b** 大模型，有关介绍请访问Ollama官方模型库[Qwen3.5](https://ollama.com/library/qwen3.5)

 ![屏幕截图 2026-10-21 123951](https://yangyang.si/uploads/default/original/1X/7eae19c6e3de5aab483b2429458cdc43274081c3.png)

如果你需要更多的模型体验，请到[Ollama官方模型库](https://ollama.com/search)搜寻。安装前建议提问AI你适合那些本地模型，可以更好的体验本地ai带来的高质量服务。

### 通过 **CMD** （命令提示符）或 **PowerShell下载模型**

通过 **CMD** （命令提示符）或 **PowerShell** 下载模型非常简单，主要有两种方式，取决于你是想“ **只下载不运行** ”，还是“ **下载后直接开始聊天** ”。

方法一：只下载模型（推荐，推荐后台静默下载）

使用 `ollama pull` 命令，Ollama 会把模型文件下载到本地并做好配置，但 **不会自动进入聊天界面** ：

```auto
ollama pull <模型名称>

```

**常用示例：**

- 下载 Qwen2.5 7B 代码模型：

- 下载 Qwen3 视觉大模型：

- 下载 DeepSeek-R1 推理模型：

> 💡 **优势** ：适合在后台下载大文件，下载完成后终端不会卡在对话界面，方便后续给客户端（如 Chatbox）调用。

### 方法二：下载并直接开始对话

使用 `ollama run` 命令。如果本地没有该模型，Ollama 会 **先自动下载，下载完成后立刻启动模型并进入交互终端** ：

```auto
ollama run qwen2.5-coder:7b

```

当命令行出现 `>>>` 提示符时，就说明下载完成且已经进入对话模式了。退出对话只需输入 `/bye` 并回车即可。

### 💡 辅助管理命令

在 CMD 里下载或管理模型时，这几个命令非常实用：

1. **查看已下载的所有模型及占用大小** ：

2. **查看当前正在显存中运行的模型** ：

3. **删除不需要的模型（释放硬盘空间）** ：

有了这套高效、离线且完全保护隐私的本地 AI 环境，无论是平常处理代码、识别图片还是调优脚本，都能随调随用。

---

<div class="post-metadata">

作者： ![wenxin](https://yangyang.si/user_avatar/yangyang.si/wenxin/32/84_2.png) [@wenxin](https://yangyang.si/u/wenxin)\
发布日期： [2026 年10 月 21 日 10:02 UTC](https://yangyang.si/t/topic/88/2 "2026-10-21T10:02:51Z")

</div>

### 接下来为Linux发行版的Fedora操作系统上安装

一、打开系统终端

```auto
curl -fsSL https://ollama.com/install.sh | sh

```

输入后输入密码开始安装。

 ![截图 2026-10-21 17-27-32](https://yangyang.si/uploads/default/original/1X/1377dee2b76dd38c3c078d83b86d04b57d7de87c.png)

这个时候会出县系统提示 `Install complete` 说明 **Ollama 已经成功安装** 了！

 ![截图 2026-10-21 17-33-02](https://yangyang.si/uploads/default/original/1X/d1b2ec98f0b865083086370072ac89e558f64fbd.png)

这个 **`WARNING`（警告）** 的意思是： **Ollama 没有检测到可以用来进行硬件加速的 NVIDIA 或 AMD 独立显卡，因此它将自动切换到 CPU 模式来运行大模型。不用担心哦！**

### 笔记本配置

 ![截图 2026-10-21 17-36-57](https://yangyang.si/uploads/default/original/1X/3f5e3cb00a1547ac46572d86432422ce732d66e3.jpeg)

### 安装大模型

32GB DDR5 内存对于运行 CPU/核显模式的大模型来说是非常充沛的（内存带宽和容量都很够），不过因为没有独立显显存，模型推理主要依赖内存带宽。

对于 **Gemma 2 系列** ，官方主要提供三个参数版本，根据你的配置，推荐如下：

**推荐版本：`gemma2:9b`（最佳平衡首选）**

```auto
ollama run gemma2:9b

```

等待下载安装，时间长短取决于网络速度。

 ![截图 2026-10-21 17-41-27](https://yangyang.si/uploads/default/original/1X/ceda20b92106c95ec4de4179428c829f4b9b08a0.png)

- 
### **推荐理由** ：

  - **内存占用** ：9B 版本在默认的 4-bit 量化下，模型本身仅占用约 **5.4 GB** 内存。结合笔记本 32GB 内存，即使给上下文（Context Window）留出空间，也只占用 7~8GB 左右，完全没有任何内存压力。

  - **推理速度与能力** ：Gemma 2 9B 的逻辑能力和回答质量非常高（在同参数量级中口碑极佳）。在 DDR5 内存的较高带宽支持下，CPU 纯算力运行每秒可以输出约 8 ~ 15 个 Token，日常对话、逻辑推理、代码辅助体验都相当流畅。

### 安装完成了

出现这个提示就可以使用大模型了

 ![截图 2026-10-21 17-50-05](https://yangyang.si/uploads/default/original/1X/27ee8aab14afdcbc403ee4e38482738a52df8b0b.png)

 ![截图 2026-10-21 17-52-49](https://yangyang.si/uploads/default/original/1X/68f44476c3712edf89ab3cc8fd4a9066ea50c097.png)

 ![截图 2026-10-21 17-53-04](https://yangyang.si/uploads/default/original/1X/7289e4710a262938413e07da10e0a65f1b21c03d.png)

想结束聊天使用\*\*`Ctrl+D` `/bye`\*\*就能结束对话。这次是在Linux环境下使用Ollama所以这里我会整理一份操作手册

## 🛠 Ollama 常用指令速查手册

### 1. 核心交互指令（最常用）

| **命令** | **说明** | **实际示例** |
| --- | --- | --- |
| **`ollama run <模型名>`** | **启动并开始对话** （本地没有会自动下载） | `ollama run gemma2:9b` |
| **`ollama pull <模型名>`** | **仅下载模型** （后台静默下载，不直接进入对话） | `ollama pull qwen2.5:7b` |
| **`/bye`** | **退出对话** （在 `>>>` 对话界面中输入） | `/bye` _(或按 `Ctrl + D`)_ |

### 2. 本地模型管理

| **命令** | **说明** | **实际示例** |
| --- | --- | --- |
| **`ollama list`** | **查看已下载的模型** （显示名称、大小、最后更新时间） | `ollama list` |
| **`ollama ps`** | **查看正在运行的模型** （显示内存/显存占用） | `ollama ps` |
| **`ollama rm <模型名>`** | **删除本地模型** （释放硬盘空间） | `ollama rm gemma2:9b` |
| **`ollama show <模型名>`** | **查看模型详细信息** （参数量、系统提示词模板等） | `ollama show gemma2:9b` |
| **`ollama cp <原名> <新名>`** | **复制/重命名本地模型** | `ollama cp gemma2:9b my-gemma` |

### 3. 系统服务管理 (Fedora systemd)

由于你在 Fedora 上安装了系统服务，可以用以下 Linux 标准命令控制后台服务：

| **命令** | **说明** |
| --- | --- |
| **`sudo systemctl status ollama`** | 查看 Ollama 后台服务运行状态 |
| **`sudo systemctl restart ollama`** | 重启 Ollama 服务（修改配置或卡死时使用） |
| **`sudo systemctl stop ollama`** | 停止 Ollama 后台服务 |
| **`sudo systemctl start ollama`** | 启动 Ollama 后台服务 |

### 💡 对话界面实用小技巧 (`>>>`)

- **多行输入/粘贴代码** ：输入 `"""`（三个双引号）按回车开启多行模式，粘贴完文本或代码后，再输入 `"""` 按回车即可发送。

- **查看对话快捷指令** ：在对话界面输入 `/?` 并回车，可查看所有内置帮助指令。

### **大模型在那里下载？**

这里再次提醒一下所有的模型请到Ollama查找安装：[Ollama Models](https://ollama.com/search)

### 系统性能监视器

 ![截图 2026-10-21 18-13-44](https://yangyang.si/uploads/default/original/1X/609b224883cc617b9cd4aecc3e633f86048a2b85.jpeg)

运行这款模型实际占用也就40%内存，这还是运行了一些应用的情况下。对于这台笔记本配置来说，毫无压力！🤣