不想把文档、代码和聊天记录传到云端，又想用上 AI？那就试试离线 AI 工具。简单讲，就是把模型下载到自己电脑上，用显卡或 CPU 在本地运行，断网也能继续聊。新手推荐先从 LM Studio 或 Jan 入手，想要更灵活再上 Ollama。
为什么越来越多人用离线 AI
云端 AI 方便，但每次对话都会发送到远程服务器，免费版还常有每日次数限制。如果您处理的是公司代码、客户文件或个人笔记，数据留在本机会安心得多。离线工具的好处大致有这几点：
- 对话和数据不离开您的电脑；
- 飞机上、网络不稳的地方也能用；
- 核心工具免费，没有使用次数限制；
- 不怕服务临时调整政策或出现故障。
现在普通的 Windows 11 台式机和笔记本，已经能比较流畅地跑 7B 到 13B 规模的模型。写邮件、改代码、总结文章、头脑风暴这类日常活，本地工具已经够用；需要深度检索资料时，再配合云端工具，是不少人的做法。
挑工具前先看硬件
不需要高端游戏本，普通办公电脑也能跑。大致参考：
- 8–16 GB 内存：适合 3B–9B 的小模型；
- 16–32 GB 内存，外加 6–12 GB 显存的显卡：可以跑更大的模型；
- 显卡忙的时候，一颗够新的 CPU 也能顶上。
挑工具时，小编看重四点：界面是否友好、能否方便地搜索下载模型、能否调用显卡、是否支持本地 API（以后接别的软件会用到），最好个人和商用都免费。
五款工具怎么选
LM Studio：新手最省心
界面干净，自带模型浏览器：找到模型、点下载、加载、开聊，全程不用敲命令。它还支持和文件对话，也能开一个本地服务器，让别的程序调用同一个模型。不要求高端显卡，个人和商用都免费。唯一的小遗憾是软件本身不是开源的，不过您的聊天内容依然保存在本机。
Ollama：生态最丰富
最早是命令行工具，现在已有带聊天界面的 Windows 桌面版，模型管理简单，本地 API 也很稳。很多第三方工具都能接入 Ollama，以后想把本地 AI 接进脚本、笔记软件或代码编辑器，它最顺手。大约 16 GB 内存即可使用，显存更多能跑更大的模型，免费且开源。比 LM Studio 稍复杂，但对多数人不难。
Jan：开源、注重隐私
从设计上就以离线为核心，开源、界面清爽，数据都记录在本机，也不用注册账号。支持 Windows 11 和 10，带本地 API，还能创建各有指令的自定义助手，比如一个专门答技术问题、一个专门写文案。缺点是开发仍在推进，新模型发布当天不一定能立刻支持。
GPT4All：老电脑的备选
在没有独立显卡的低配电脑上也能跑，聊天界面简洁，支持就自己的文件提问。近期更新放缓，新模型出现得慢，但对旧笔记本来说，依然比那些笨重的工具轻快。
AnythingLLM：专攻“和自己的文档聊天”
可以完全离线运行，主要用来在私人文档里检索。您可以导入 PDF、文件夹或文本文件，然后直接提问。设置比前几款略复杂，但搭好之后就是一套很实用的个人知识库。另外，基于 llama.cpp 的工具在效率和可控性上更强，适合长文生成或创意写作。
新手上手步骤
先挑一款，初学者推荐 Jan 或 LM Studio，然后照着做：
- 从官方网站下载安装包；
- 安装并打开软件；
- 在软件里查看可用模型；
- 搜索 Qwen、Llama 3.2、Mistral 等常见模型，格式选 GGUF；
- 按您的内存挑量化版本（Q4 或 Q5 比较常见）；
- 下载、加载，就可以开始聊天了。
想了解更多，可以对照小编之前的 Windows 11 免费离线 AI 工具推荐。各工具的最新版本和下载地址，请以官网为准，例如 LM Studio、Ollama 和 Jan。
常见问题（FAQ）
没有独立显卡能用吗？
可以。用小模型加 CPU 就能跑，只是速度慢一些。GPT4All 对这类电脑比较友好。
8 GB 内存够不够？
勉强可以跑 3B 左右的小模型，想要体验更好，建议 16 GB 起。
这些工具真的免费吗？
文中几款核心工具都可免费使用。模型各有各的许可，商用前请看一下模型自己的授权说明。
本地模型比云端 AI 差很多吗？
日常的写作、改代码、总结文章已经够用，深度研究类任务仍是云端更强。
断网后还能继续聊吗？
可以。模型下载到硬盘后，断开网络照样使用。