AI Tutorial · September 4, 2026 - AI Practical Guide
背景
2026 年,AI 辅助编程已成为开发者日常的一部分,但云端 API 带来的隐私泄露、订阅成本和网络延迟问题始终让人不安。尤其是企业级代码、个人项目中的敏感逻辑,一旦发给第三方服务,风险难以估量。
本地运行 LLM(大语言模型)成为最佳解法。以 Ollama 为代表的工具链,把模型下载、运行、调用抽象成几条命令,让普通开发者也能在一台消费级电脑上跑起 7B~14B 参数的模型。再结合 Continue、Cline 等 AI 编程插件,彻底实现“断网也能写代码”的体验。
本文基于 2026-09-04 的稳定生态,教你从零搭建一套本地 LLM + AI 编程工具环境,全程可操作。
准备环境
硬件要求
| 配置项 | 最低要求 | 推荐配置 |
|---|---|---|
| CPU | 4 核以上 | 8 核以上 |
| 内存 | 16 GB | 32 GB |
| 显卡 | 无(纯 CPU 可跑小模型) | NVIDIA GPU 8GB 显存以上 |
| 硬盘 | 20 GB 可用空间 | 50 GB NVMe |
对于纯编程用途,推荐使用 7B~14B 参数的代码模型(如 Qwen2.5-Coder-7B、DeepSeek-Coder-7B)。无需顶级显卡,MacBook M1/M2 也能流畅运行。
软件依赖
- Windows 11 / macOS 14+ / Ubuntu 22.04+
- VS Code 或 Cursor(本文以 VS Code 为例)
- 稳定的网络(仅用于首次下载模型,之后完全离线可用)
安装 Ollama
打开终端,执行:
1 | curl -fsSL https://ollama.com/install.sh | sh |
macOS 可直接从官网下载 .dmg 安装包。Windows 用户下载 OllamaSetup.exe 双击安装。
验证安装:
1 | ollama --version |
看到版本号即成功。
操作步骤
第一步:下载代码模型
Ollama 用一条命令拉取模型。这里选择 Qwen2.5-Coder-7B,专为编程优化,中英文能力均衡:
1 | ollama pull qwen2.5-coder:7b |
等待下载完成(约 4.7 GB)。如果想尝试更小的模型(适合纯 CPU),可改为:
1 | ollama pull qwen2.5-coder:3b |
第二步:启动 Ollama 服务
安装完成后,Ollama 通常已作为后台服务自动运行。手动确认:
1 | ollama serve |
保持终端开启。另开一个终端,测试模型:
1 | ollama run qwen2.5-coder:7b "用 Python 写一个快速排序" |
模型流式输出代码后,输入 /bye 退出。
第三步:配置 AI 编程插件 Continue
VS Code 是主流编辑器,安装开源插件 Continue:
- 打开 VS Code,进入扩展面板(
Ctrl+Shift+X)。 - 搜索
Continue,选择下载量最高的版本,点击安装。 - 安装后重启 VS Code,侧边栏出现 Continue 图标。
第四步:将 Continue 连接到本地 Ollama
- 点击 Continue 图标,打开配置面板。
- 选择模型提供方为
Ollama。 - 在
Model下拉框中找到qwen2.5-coder-7b,选中它。 - 确认 API Base URL 为
http://localhost:11434(Ollama 默认端口)。
配置界面会自动识别本地模型。你也可以手动打开配置文件 config.yaml,添加:
1 | models: |
保存后,Continue 即与本地模型建立连接。
第五步:使用 AI 编程功能
现在你有三种核心用法:
1. 行内补全
在代码中输入注释或部分函数名,按 Tab 触发补全。例如:
1 | # 读取 CSV 文件并统计每列缺失值数量 |
按回车后,模型会自动生成代码,按 Tab 接受。
2. 对话问答
按 Ctrl+L 打开对话面板,选中代码后发送指令:
- “解释这段代码的时间复杂度”
- “给这个函数添加类型注解”
- “发现一个 bug,修复它”
模型基于你选中的代码上下文回答,全程本地推理。
3. 内联编辑(快速重构)
选中一段代码,按 Ctrl+I,输入:
1 | 把 if-else 改为字典映射,并加上类型检查 |
模型会生成修改后的版本,你确认后一键替换。
第六步:优化模型表现(进阶)
创建自定义模型,额外设置系统提示词,让它更符合你的编码风格:
1 | ollama create my-coder -f ./Modelfile |
Modelfile 内容示例:
1 | FROM qwen2.5-coder:7b |
之后在 Continue 中把模型改为 my-coder 即可。
第七步:启用 GPU 加速(可选)
NVIDIA GPU 用户安装 CUDA 后,Ollama 会自动检测并使用 GPU。验证方法:
1 | ollama run qwen2.5-coder:7b "test" --verbose |
若输出中包含 GPU 或 gpu 字样,说明已启用。CPU 运行 7B 模型也能接受,但 GPU 可让流式输出快 3~5 倍。
总结
通过 Ollama + Continue,你获得了一个完全本地化、可断网运行、零订阅费的 AI 编程助手。2026 年生态已经足够成熟,7B 模型在代码补全、Bug 修复、代码解释等场景下,效果逼近云端大模型,同时隐私完全由自己掌控。
关键一步是选对模型:本地编程首选 Qwen2.5-Coder 或 DeepSeek-Coder;若硬件强大,可以升级到 14B/32B 参数版本,能力进一步增强。未来几个月,预计会有更多端侧推理优化的模型发布,本地 AI 编程的门槛还会更低。
现在,关掉云端 API,打开你的终端,享受真正属于你的 AI 编程环境。






