背景

2026 年,AI 辅助编程已成为开发者日常的一部分,但云端 API 带来的隐私泄露、订阅成本和网络延迟问题始终让人不安。尤其是企业级代码、个人项目中的敏感逻辑,一旦发给第三方服务,风险难以估量。

本地运行 LLM(大语言模型)成为最佳解法。以 Ollama 为代表的工具链,把模型下载、运行、调用抽象成几条命令,让普通开发者也能在一台消费级电脑上跑起 7B~14B 参数的模型。再结合 Continue、Cline 等 AI 编程插件,彻底实现“断网也能写代码”的体验。

本文基于 2026-09-04 的稳定生态,教你从零搭建一套本地 LLM + AI 编程工具环境,全程可操作。

准备环境

硬件要求

配置项 最低要求 推荐配置
CPU 4 核以上 8 核以上
内存 16 GB 32 GB
显卡 无(纯 CPU 可跑小模型) NVIDIA GPU 8GB 显存以上
硬盘 20 GB 可用空间 50 GB NVMe

对于纯编程用途,推荐使用 7B~14B 参数的代码模型(如 Qwen2.5-Coder-7B、DeepSeek-Coder-7B)。无需顶级显卡,MacBook M1/M2 也能流畅运行。

软件依赖

  • Windows 11 / macOS 14+ / Ubuntu 22.04+
  • VS Code 或 Cursor(本文以 VS Code 为例)
  • 稳定的网络(仅用于首次下载模型,之后完全离线可用)

安装 Ollama

打开终端,执行:

1
curl -fsSL https://ollama.com/install.sh | sh

macOS 可直接从官网下载 .dmg 安装包。Windows 用户下载 OllamaSetup.exe 双击安装。

验证安装:

1
ollama --version

看到版本号即成功。

操作步骤

第一步:下载代码模型

Ollama 用一条命令拉取模型。这里选择 Qwen2.5-Coder-7B,专为编程优化,中英文能力均衡:

1
ollama pull qwen2.5-coder:7b

等待下载完成(约 4.7 GB)。如果想尝试更小的模型(适合纯 CPU),可改为:

1
ollama pull qwen2.5-coder:3b

第二步:启动 Ollama 服务

安装完成后,Ollama 通常已作为后台服务自动运行。手动确认:

1
ollama serve

保持终端开启。另开一个终端,测试模型:

1
ollama run qwen2.5-coder:7b "用 Python 写一个快速排序"

模型流式输出代码后,输入 /bye 退出。

第三步:配置 AI 编程插件 Continue

VS Code 是主流编辑器,安装开源插件 Continue:

  1. 打开 VS Code,进入扩展面板(Ctrl+Shift+X)。
  2. 搜索 Continue,选择下载量最高的版本,点击安装。
  3. 安装后重启 VS Code,侧边栏出现 Continue 图标。

第四步:将 Continue 连接到本地 Ollama

  1. 点击 Continue 图标,打开配置面板。
  2. 选择模型提供方为 Ollama。
  3. 在 Model 下拉框中找到 qwen2.5-coder-7b,选中它。
  4. 确认 API Base URL 为 http://localhost:11434(Ollama 默认端口)。

配置界面会自动识别本地模型。你也可以手动打开配置文件 config.yaml,添加:

1
2
3
4
5
models:
- name: Qwen2.5-Coder-7B
provider: ollama
model: qwen2.5-coder:7b
apiBaseUrl: http://localhost:11434

保存后,Continue 即与本地模型建立连接。

第五步:使用 AI 编程功能

现在你有三种核心用法:

1. 行内补全

在代码中输入注释或部分函数名,按 Tab 触发补全。例如:

1
# 读取 CSV 文件并统计每列缺失值数量

按回车后,模型会自动生成代码,按 Tab 接受。

2. 对话问答

按 Ctrl+L 打开对话面板,选中代码后发送指令:

  • “解释这段代码的时间复杂度”
  • “给这个函数添加类型注解”
  • “发现一个 bug,修复它”

模型基于你选中的代码上下文回答,全程本地推理。

3. 内联编辑(快速重构)

选中一段代码,按 Ctrl+I,输入:

1
把 if-else 改为字典映射,并加上类型检查

模型会生成修改后的版本,你确认后一键替换。

第六步:优化模型表现(进阶)

创建自定义模型,额外设置系统提示词,让它更符合你的编码风格:

1
ollama create my-coder -f ./Modelfile

Modelfile 内容示例:

1
2
3
FROM qwen2.5-coder:7b

SYSTEM "你是一名资深软件架构师,回答时先给出思路,再给代码,代码必须可直接运行。"

之后在 Continue 中把模型改为 my-coder 即可。

第七步:启用 GPU 加速(可选)

NVIDIA GPU 用户安装 CUDA 后,Ollama 会自动检测并使用 GPU。验证方法:

1
ollama run qwen2.5-coder:7b "test" --verbose

若输出中包含 GPU 或 gpu 字样,说明已启用。CPU 运行 7B 模型也能接受,但 GPU 可让流式输出快 3~5 倍。

总结

通过 Ollama + Continue,你获得了一个完全本地化、可断网运行、零订阅费的 AI 编程助手。2026 年生态已经足够成熟,7B 模型在代码补全、Bug 修复、代码解释等场景下,效果逼近云端大模型,同时隐私完全由自己掌控。

关键一步是选对模型:本地编程首选 Qwen2.5-Coder 或 DeepSeek-Coder;若硬件强大,可以升级到 14B/32B 参数版本,能力进一步增强。未来几个月,预计会有更多端侧推理优化的模型发布,本地 AI 编程的门槛还会更低。

现在,关掉云端 API,打开你的终端,享受真正属于你的 AI 编程环境。