2026-10-02 AI 实战:用 Ollama 本地跑 LLM + 接入 AI 编程助手

背景

2026 年,云端 AI 仍然很强大,但很多人开始在意三件事:隐私、成本、延迟。

  • 代码不能随便上传到云端?→ 需要本地模型。
  • 每个月订阅 AI 工具太贵?→ 本地跑开源模型,基本免费。
  • 网络卡顿、API 限流?→ 本地 127.0.0.1 毫秒级响应。

Ollama 已经成为本地运行 LLM 的事实标准之一。搭配 AI 编程助手(Continue / Cline / aider),可以让你在 VS Code 里拥有一个完全离线、可定制、数据不出本机的编程搭档。

本教程目标:
用 Ollama 在本地启动一个可用的 LLM,并接入 VS Code 的 AI 编程助手,完成写代码、重构、生成测试的基础流程。


准备环境

硬件建议

配置 最低要求 推荐配置
内存 16 GB 32 GB 以上
显卡 无要求(CPU 可跑小模型) NVIDIA GPU 8GB+ / Apple Silicon 16GB+
硬盘 10 GB 可用空间 20 GB 以上 SSD

2026 年建议模型:qwen3:14b、qwen3:8b、llama4:17b。
显存不足就选 7B/8B 量化版,内存不足就选更小模型。

软件安装

  1. 安装 Ollama
    官网下载:https://ollama.com
    Linux/macOS 终端也可以直接执行:

    1
    curl -fsSL https://ollama.com/install.sh | sh

    Windows 用户下载 OllamaSetup.exe 安装即可。

  2. 安装 VS Code
    下载地址:https://code.visualstudio.com

  3. 安装 Git(可选,用于项目版本管理)

验证安装

打开终端 / PowerShell 执行:

1
ollama --version

能看到版本号,比如 ollama version 0.x.x 就说明安装成功。


操作步骤

第一步:下载并启动模型

在终端执行:

1
ollama pull qwen3:14b

这个命令会下载 Qwen3 14B 模型,约 9~10 GB,耐心等待。

下载完成后,直接运行:

1
ollama run qwen3:14b

看到 >>> 提示符后,输入:

1
你好,请用一句话介绍你自己。

测试通过后,输入 /bye 退出。

如果想用更强的模型,可以试试:

1
ollama pull llama4:17b

内存 32GB 以上的机器建议直接用 qwen3:32b。

第二步:确认 Ollama 本地服务

Ollama 默认在后台启动服务,监听 127.0.0.1:11434。

打开另一个终端,执行:

1
curl http://localhost:11434/v1/models

如果返回一串 JSON 列表,说明本地 API 服务正常。

也可以直接用 OpenAI 兼容接口测试:

1
2
3
4
5
6
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3:14b",
"messages": [{"role": "user", "content": "用 Python 写一个快排"}]
}'

看到返回内容包含 choices 字段,就说明本地 LLM 服务已经完全可用了。

第三步:在 VS Code 中接入 AI 编程助手

这里以 Continue 插件为例(2026 年最常用的开源 AI 编程助手之一)。

  1. 打开 VS Code,点击左侧扩展图标,搜索 Continue,安装。
  2. 按 Ctrl+Shift+P(macOS 是 Cmd+Shift+P),输入 Continue: Open Config,打开配置文件。
  3. 在 models 中添加以下配置:
1
2
3
4
5
6
7
8
9
{
"models": [
{
"title": "Local Qwen3",
"provider": "ollama",
"model": "qwen3:14b"
}
]
}
  1. 保存配置文件。
  2. 打开一个项目文件夹,按 Ctrl+L(macOS:Cmd+L)打开 Continue 对话框。

在对话框中输入:

1
请阅读当前项目的 README 和代码结构,然后告诉我这个项目是做什么的。

Continue 会调用本地模型,然后把回答显示在侧边栏。

如果你更喜欢命令行工具,可以安装 aider:

1
pip install aider-chat

然后运行:

1
aider --model ollama_chat/qwen3:14b

第四步:用提示词模板提高效率

本地模型能力不如云端最强模型,所以提示词质量决定输出质量。

模板 1:代码审查

在 Continue 中发送:

1
2
3
4
5
6
7
8
9
10
你是一名资深后端工程师。请审查以下代码,指出:
1. 潜在 bug
2. 安全问题
3. 可读性问题
4. 改进建议

代码:
```python
def get_user(id):
return db.query(f"SELECT * FROM users WHERE id = {id}")
1
2
3
4
5

本地模型会告诉你 SQL 注入风险,并建议使用参数化查询。

#### 模板 2:生成单元测试

请为下面这个函数生成 pytest 单元测试,覆盖正常输入、边界输入和异常输入。
不要解释,直接给出测试代码。

函数:
def divide(a, b):
if b == 0:
raise ValueError(“除数不能为0”)
return a / b

1
2
3

#### 模板 3:重构

请把下面这段代码重构为更清晰的版本,保持功能不变,并说明你做了哪些改动。

代码:
代码过长时,请把你要重构的代码粘贴进来。

1
2
3

#### 模板 4:让 AI 理解项目

请先分析当前项目的文件结构,重点查看 src/ 目录下的核心文件。
然后总结项目架构,最后给出一个技术债清单。

1
2
3
4
5
6
7
8
9
10
11
12
13

> 技巧:在 Continue 中输入 `@` 可以引用当前文件,比如 `@src/main.py 这个文件有哪些地方需要优化?`

### 第五步:局域网共享(可选)

如果你想在另一台电脑或平板上访问本地模型,需要让 Ollama 监听局域网:

- Windows/macOS:右键点击 Ollama 托盘图标 → Settings → 开启 `Expose on local network`
- Linux:设置环境变量

```bash
export OLLAMA_HOST="0.0.0.0"
ollama serve

然后在另一台设备上把 API 地址改成:

1
http://你的电脑IP:11434

注意:手机端可以用 Enchanted、Ollama App 等客户端连接。


总结

通过 Ollama + Continue,你已经在 2026 年拥有了一套完全本地化的 AI 编程环境:

  • 模型文件在你硬盘上,代码不会上传到第三方服务器。
  • 不需要按 API 调用次数付费,只有电费成本。
  • 断网也能使用,适合内网开发环境。
  • 可以随时更换模型:ollama pull 一个新模型,改一下配置就切换。

推荐的日常组合:

  • 日常代码补全:qwen3:8b(快,省电)
  • 深度重构 / 代码审查:qwen3:14b 或 qwen3:32b
  • 生成测试 / 文档:llama4:17b

最后提醒一句:本地模型不是越大约好,而是越适合你的硬件越好。
先从小模型开始,跑通流程,再逐步升级。

现在,打开你的终端,让 AI 在本地为你工作吧。