想用 AI 分析文档、写代码、改文案，又不想把内容上传到云端？现在在 Windows 11 上跑“离线 AI”已经不是极客专属了。所谓离线 AI 工具，就是把开源模型下载到本机，用显卡或 CPU 在本地运行，模型下载完之后，断网也能继续用。
先说结论：新手优先试 LM Studio 或 Jan；想要更多模型和扩展、愿意多学一点的，选 Ollama。下面小编把几款常见工具的特点、适合谁、怎么上手讲清楚。内容整理自原文介绍，具体功能以各工具官网为准。
为什么越来越多人用离线 AI
云端 AI 方便，但每次对话都会传到远程服务器，免费版往往还有每日次数限制。如果您处理的是专有代码、客户文档或私人笔记，就会有顾虑。离线工具的好处很直接：对话和数据留在自己电脑上；坐飞机或网络不稳定时也能用；不受服务策略突然变化和服务器故障的影响。
硬件也跟上来了。原文提到，普通的 Windows 11 台式机和笔记本现在可以较流畅地运行 7B 到 13B 规模的模型。日常的头脑风暴、改代码、总结文章、写邮件，离线工具已经够用。很多人的做法是两者搭配：日常和隐私内容用离线工具，需要深入研究时再用云端。
选离线 AI 工具，看哪几点
一个好用的工具，界面要简单，能轻松搜索、下载模型；最好支持您的显卡；有本地 API 的话，以后接入其他软件会很方便；个人使用最好免费。硬件上可以参考下面这个大致范围：
| 配置 | 大致能跑什么 |
|---|---|
| 8–16 GB 内存 | 较小的 3B–9B 模型 |
| 16–32 GB 内存 + 6–12 GB 显存的显卡 | 更大的模型 |
| 较新的普通 CPU | 显卡忙碌时可以顶上 |
也就是说，不一定要高端游戏本，普通办公电脑也有人在用。
LM Studio：最适合新手
LM Studio 界面干净，自带模型浏览器：找到模型、点下载、加载、开始聊天，不用敲命令。它还能和文件对话、调整参数，甚至开启本地服务器，让其他程序调用同一个模型。原文说它个人和商用都免费，支持 Windows 11，不强制要高性能显卡。
缺点是软件本身不是开源的，不过对多数人来说，对话仍然保存在自己电脑上。如果您刚入门，从它开始，学习成本最低。
Ollama：模型多、扩展性强
Ollama 最早是命令行工具，现在也有了带聊天界面的 Windows 桌面应用，模型管理简单，还提供本地 API。很多其他软件都能接到 Ollama 上，所以以后想把本地 AI 接进脚本、笔记软件或代码编辑器，它会比较顺手。
原文说大约 16 GB 内存就能用，显存越大，能跑的模型越大。Ollama 免费且开源，比 LM Studio 稍复杂一点，但对大多数用户仍然够简单。不少人的做法是先装 Ollama，再配一个更友好的前端。
Jan：开源、纯离线思路
Jan 从设计上就是为离线使用考虑的：开源、界面简洁、不需要账号，所有记录都保存在本机。支持 Windows 11 和 10，支持常见的开源模型，带本地 API 和自定义助手功能，您可以建一个专门答技术问题的助手，再建一个专门写作的。
它还在持续开发中，可能不会在新模型发布当天就支持，但用来写代码、查资料、写作、日常问答已经足够。看重开源和透明度的话，Jan 是目前不错的选择之一。
其他值得一提的工具
- GPT4All：没有独立显卡的旧电脑也能跑，界面清爽，支持查询自己的文件。原文提到它的开发节奏放缓，新模型更新较慢，但对老笔记本仍然实用。
- AnythingLLM：适合“和自己的文档聊天”，可以完全离线，主要用于私人文档检索。设置略复杂，配好后适合做个人知识库，能加载 PDF、文件夹和文本。
- llama.cpp 相关工具：效率和可控性更高，适合长文本生成和创作类场景，更偏向进阶用户。
上手步骤：6 步跑起来
选一个难度合适的工具，新手建议从 Jan 或 LM Studio 开始：
- 从工具官网下载安装包。
- 安装并打开程序。
- 查看可用模型。
- 搜索常见的模型，如 Qwen、Llama 3.2、Mistral，选 GGUF 格式。
- 按自己电脑的内存，选 Q4 或 Q5 这类量化版本。
- 下载、加载，然后开始聊天。
想看本站对同类工具更细的对比，可以读《Windows 11 免费离线 AI 工具推荐：LM Studio、Ollama、Jan 怎么选》；对绘图感兴趣的话，看《Windows 11 免费 AI 绘图软件推荐：本地离线 4 款》。
常见问题（FAQ）
离线 AI 工具真的不用联网吗？
下载工具和模型需要联网。模型存到硬盘后，运行时可以断网使用。
没有独立显卡能用吗？
可以，用 CPU 也能运行较小的模型，只是速度会慢一些。内存不够的话，优先选小一点的模型和 Q4 量化版本。
LM Studio 和 Ollama 该选哪个？
只想点点鼠标就用，选 LM Studio；以后想接入脚本、编辑器等其他软件，选 Ollama。
模型从哪下载最稳妥？
优先用工具内置的模型浏览器，或官方推荐的来源。如果下载模型时网络不稳，可以先确认自己的网络环境；需要使用代理的朋友请遵守所在地法律法规。
总结
离线 AI 的意义在于隐私和自主：数据不出电脑，也不怕服务变动。新手选 LM Studio 或 Jan，想要更多扩展选 Ollama，旧电脑可以试 GPT4All，做文档问答看 AnythingLLM。选一个，下载一个小模型，十几分钟就能跑起来。