AI Tutorial · October 2, 2026 - AI Practical Guide
2026-10-02 AI 实战:用 Ollama 本地跑 LLM + 接入 AI 编程助手
背景
2026 年,云端 AI 仍然很强大,但很多人开始在意三件事:隐私、成本、延迟。
- 代码不能随便上传到云端?→ 需要本地模型。
- 每个月订阅 AI 工具太贵?→ 本地跑开源模型,基本免费。
- 网络卡顿、API 限流?→ 本地 127.0.0.1 毫秒级响应。
Ollama 已经成为本地运行 LLM 的事实标准之一。搭配 AI 编程助手(Continue / Cline / aider),可以让你在 VS Code 里拥有一个完全离线、可定制、数据不出本机的编程搭档。
本教程目标:
用 Ollama 在本地启动一个可用的 LLM,并接入 VS Code 的 AI 编程助手,完成写代码、重构、生成测试的基础流程。
准备环境
硬件建议
| 配置 | 最低要求 | 推荐配置 |
|---|---|---|
| 内存 | 16 GB | 32 GB 以上 |
| 显卡 | 无要求(CPU 可跑小模型) | NVIDIA GPU 8GB+ / Apple Silicon 16GB+ |
| 硬盘 | 10 GB 可用空间 | 20 GB 以上 SSD |
2026 年建议模型:
qwen3:14b、qwen3:8b、llama4:17b。
显存不足就选 7B/8B 量化版,内存不足就选更小模型。
软件安装
安装 Ollama
官网下载:https://ollama.com
Linux/macOS 终端也可以直接执行:1
curl -fsSL https://ollama.com/install.sh | sh
Windows 用户下载 OllamaSetup.exe 安装即可。
安装 VS Code
下载地址:https://code.visualstudio.com安装 Git(可选,用于项目版本管理)
验证安装
打开终端 / PowerShell 执行:
1 | ollama --version |
能看到版本号,比如 ollama version 0.x.x 就说明安装成功。
操作步骤
第一步:下载并启动模型
在终端执行:
1 | ollama pull qwen3:14b |
这个命令会下载 Qwen3 14B 模型,约 9~10 GB,耐心等待。
下载完成后,直接运行:
1 | ollama run qwen3:14b |
看到 >>> 提示符后,输入:
1 | 你好,请用一句话介绍你自己。 |
测试通过后,输入 /bye 退出。
如果想用更强的模型,可以试试:
1 ollama pull llama4:17b内存 32GB 以上的机器建议直接用
qwen3:32b。
第二步:确认 Ollama 本地服务
Ollama 默认在后台启动服务,监听 127.0.0.1:11434。
打开另一个终端,执行:
1 | curl http://localhost:11434/v1/models |
如果返回一串 JSON 列表,说明本地 API 服务正常。
也可以直接用 OpenAI 兼容接口测试:
1 | curl http://localhost:11434/v1/chat/completions \ |
看到返回内容包含 choices 字段,就说明本地 LLM 服务已经完全可用了。
第三步:在 VS Code 中接入 AI 编程助手
这里以 Continue 插件为例(2026 年最常用的开源 AI 编程助手之一)。
- 打开 VS Code,点击左侧扩展图标,搜索
Continue,安装。 - 按
Ctrl+Shift+P(macOS 是Cmd+Shift+P),输入Continue: Open Config,打开配置文件。 - 在
models中添加以下配置:
1 | { |
- 保存配置文件。
- 打开一个项目文件夹,按
Ctrl+L(macOS:Cmd+L)打开 Continue 对话框。
在对话框中输入:
1 | 请阅读当前项目的 README 和代码结构,然后告诉我这个项目是做什么的。 |
Continue 会调用本地模型,然后把回答显示在侧边栏。
如果你更喜欢命令行工具,可以安装 aider:
1 pip install aider-chat然后运行:
1 aider --model ollama_chat/qwen3:14b
第四步:用提示词模板提高效率
本地模型能力不如云端最强模型,所以提示词质量决定输出质量。
模板 1:代码审查
在 Continue 中发送:
1 | 你是一名资深后端工程师。请审查以下代码,指出: |
1 |
|
请为下面这个函数生成 pytest 单元测试,覆盖正常输入、边界输入和异常输入。
不要解释,直接给出测试代码。
函数:
def divide(a, b):
if b == 0:
raise ValueError(“除数不能为0”)
return a / b
1 |
|
请把下面这段代码重构为更清晰的版本,保持功能不变,并说明你做了哪些改动。
代码:
代码过长时,请把你要重构的代码粘贴进来。
1 |
|
请先分析当前项目的文件结构,重点查看 src/ 目录下的核心文件。
然后总结项目架构,最后给出一个技术债清单。
1 |
|
然后在另一台设备上把 API 地址改成:
1 | http://你的电脑IP:11434 |
注意:手机端可以用 Enchanted、Ollama App 等客户端连接。
总结
通过 Ollama + Continue,你已经在 2026 年拥有了一套完全本地化的 AI 编程环境:
- 模型文件在你硬盘上,代码不会上传到第三方服务器。
- 不需要按 API 调用次数付费,只有电费成本。
- 断网也能使用,适合内网开发环境。
- 可以随时更换模型:
ollama pull一个新模型,改一下配置就切换。
推荐的日常组合:
- 日常代码补全:
qwen3:8b(快,省电) - 深度重构 / 代码审查:
qwen3:14b或qwen3:32b - 生成测试 / 文档:
llama4:17b
最后提醒一句:本地模型不是越大约好,而是越适合你的硬件越好。
先从小模型开始,跑通流程,再逐步升级。
现在,打开你的终端,让 AI 在本地为你工作吧。





