不想把文档、代码和聊天记录传到云端，又想用上 AI，该怎么办？
简单讲：在 Windows 11 上装一个离线 AI 工具，把开源模型下载到本地，断网也能用。新手首选 LM Studio 或 Jan，想要最大的模型选择和扩展性选 Ollama，老电脑可以试 GPT4All，专门“和自己的文档聊天”的话看 AnythingLLM。这些工具核心功能都免费，数据留在您自己的电脑里。
离线 AI 工具是什么，为什么值得用
所谓离线 AI 工具，就是能把开源（open-weight）模型下载到本机，用显卡、CPU 或两者一起来运行的软件。模型存到硬盘之后，断网也能继续用。
云端 AI 方便，但也有代价：每次对话都要发到远程服务器，免费版常有每日条数限制，而工作里的代码、客户文档、个人笔记恰恰是最不想外传的。离线工具把这些顾虑去掉了：对话和数据不出您的电脑，飞机上、网络不稳的地方也能用，也不怕服务临时调整政策或宕机。
硬件这两年也跟上了：不少普通的 Windows 11 台式机和笔记本，已经能比较流畅地跑 7B 到 13B 规模的模型。写邮件、改代码、总结文章、头脑风暴这类日常事，离线工具和云端的差距在缩小。很多人的做法是两个都用：隐私和日常用离线，需要深度检索时再用云端。
选工具之前，先看您的电脑配置
不一定要高端游戏本，普通办公电脑也能跑。大致参考：
| 配置 | 大致能跑什么 |
|---|---|
| 8–16 GB 内存 | 较小的 3B–9B 模型 |
| 16–32 GB 内存 + 6–12 GB 显存的显卡 | 更大的模型 |
| 较新的普通 CPU | 显卡忙时可以顶上，速度会慢一些 |
好用的离线工具一般有这几个特点：界面友好、能方便地搜索和下载模型、能用上您的显卡、提供本地 API（以后接别的软件用得上），并且个人和商用都不收费。
五款工具一张表看懂
| 工具 | 适合谁 | 特点 | 要留意 |
|---|---|---|---|
| LM Studio | 刚入门的新手 | 自带模型库，点下载就能聊，可开本地服务 | 软件本身不开源 |
| Ollama | 想要最大灵活度的人 | 模型多，生态丰富，有桌面应用和本地 API，开源免费 | 比 LM Studio 稍复杂 |
| Jan | 看重开源和隐私的人 | 为离线设计，无需账号，可自建助手 | 更新新模型可能不及时 |
| GPT4All | 没有独立显卡的旧电脑 | 界面简洁，可查询自己的文件 | 开发节奏放缓，新模型出得慢 |
| AnythingLLM | 想和自己的文档聊天的人 | 可完全离线，擅长私人文档检索 | 初次设置稍麻烦 |
LM Studio：对新手最友好
LM Studio 是最省事的选择：界面干净，内置模型浏览器，找到模型、点下载、加载、开聊，不用敲复杂命令。它还能让您和文件聊天、调整参数，甚至开一个本地服务器，让别的程序也能调用同一个模型。个人和商用都免费，兼容 Windows 11，也不强求高端显卡。
想快速试多个模型的话，它特别合适：可以下载几个，随时切换。小模型回得快，大模型内容更深入。唯一的缺点是软件本身不是开源的，不过对话仍然留在您电脑里，多数人并不在意。
刚接触离线 AI，小编建议先从它开始，学习曲线比其他几款低。官网：lmstudio.ai。
Ollama：模型最多，扩展性最强
Ollama 一开始是命令行工具，后来有了带聊天界面的 Windows 桌面应用，同时保留了方便的模型管理和稳定的本地 API。装好后，可以在聊天窗口里用，也可以用简单的命令运行模型。
它的最大优势是生态：很多第三方工具和插件都能直接接入 Ollama，以后想把本地 AI 接进自己的脚本、笔记软件或代码编辑器，都比较顺。内存 16 GB 左右就能用，显存更大则能跑更大的模型。完全免费，而且开源。
不少人的做法是先装 Ollama，再按喜好搭配一个更好看的前端，兼顾易用和能力。官网：ollama.com。
Jan：开源、专注离线
Jan 从一开始就是围绕离线使用设计的：开源，界面清爽，所有内容记录在本机，不需要注册账号。它兼容 Windows 11 和 Windows 10，支持主流开源模型，带本地 API 和自定义助手功能。
比如您可以建一个专答技术问题的助手，再建一个专门写文章的助手，各有各的指令。界面也不会塞满一堆设置。需要注意的是它仍在持续开发，新模型发布当天不一定能立即支持，但写代码、查资料、写作、日常问答都够用。看重透明度和隐私的话，它是目前很值得试的一款。官网：jan.ai。
另外值得一提的几款
GPT4All：在没有独立显卡的弱机器上依然能用，聊天界面简洁，也能查询您自己的文件。它的开发节奏已经放缓，新模型出得慢，但对老笔记本来说，比那些又重又杂的工具更合适。官网：gpt4all.io。
AnythingLLM：如果您主要想“和自己的文档聊天”，它很实用。可以完全离线运行，专注私人文档检索，加载 PDF、笔记、文件夹和文本文件后就能提问。初次设置比别的工具复杂一点，但跑起来之后是个不错的个人知识库。官网：anythingllm.com。
llama.cpp：很多工具的底层都基于它。直接用或使用基于它的工具，效率和可控性更高，适合长篇生成和创意写作。
如果您还想用本地模型画图，可以看这篇：Windows 11 免费 AI 绘图软件推荐：本地离线 4 款。
上手步骤：从下载到开聊
新手建议从 Jan 或 LM Studio 开始，照着下面做：
- 从官方网站下载所选工具的安装包。
- 安装并打开应用。
- 进入模型库，看看有哪些模型可用。
- 找 Qwen、Llama 3.2、Mistral 这类热门模型的 GGUF 格式版本。
- 按您的内存选择合适的量化版本（一般是 Q4 或 Q5）。
- 下载、加载，然后就可以开始聊天了。
常见问题（FAQ）
没有独立显卡，能用离线 AI 吗？
能。LM Studio 不强求高端显卡，GPT4All 在没有独立显卡的机器上也能跑，只是模型要选小一些，速度会慢一点。
8 GB 内存够用吗？
可以跑较小的 3B 到 9B 模型，大模型建议 16 GB 以上。
这些工具真的免费吗？商用要付费吗？
文中提到的这几款，核心功能都可以免费使用，LM Studio 个人和商用都免费。具体以各家官网的最新条款为准。
断网之后还能继续聊天吗？
能。模型下载到硬盘之后，不联网也能继续使用。
LM Studio 和 Ollama 该先装哪个？
只想马上聊起来选 LM Studio；以后想接脚本、笔记软件或编辑器就选 Ollama。
模型名字里的 Q4、Q5 是什么意思？
是量化等级，数字越小占内存越少、速度越快，质量略低。内存吃紧时选 Q4，宽裕就选 Q5。