AnythingLLM 本地部署：五人团队的私有知识库与文档问答指南

对于五人团队，AnythingLLM 本地部署更适合采用单个自托管 Docker 实例，搭配独立登录账号和本地模型。AnythingLLM 可以让文档问答留在自己的服务器上；但一旦选择云端模型，用于回答问题的文本就会发送给该服务商。仅仅把文件存放在本地，并不意味着对话内容只在企业内部流转。

如果你的首要需求是根据公司文档回答问题，接下来还想给助手接入一些实用工具，AnythingLLM 值得考虑。个人使用选 Desktop，共享服务器选 Docker，希望由 Mintplex Labs 运维基础设施则选托管 Cloud。

本文于 2026 年 11 月 5 日对照项目官网、文档和 GitHub 仓库核验。 下文提供的是文档支持的部署路径，并附有访问限制建议，并不表示我们已完成性能或安全测试。

AnythingLLM 是什么？该选哪个版本？

AnythingLLM 围绕你选择的模型，整合了聊天界面、文档检索、工作空间和智能体。Docker 是用于在容器中运行应用的软件，AnythingLLM 的共享服务器版通过它来打包部署。大语言模型（LLM）负责生成答案；AnythingLLM 则提供文档、对话内容和可用工具，帮助模型回答业务问题。

可以把它想成公司的图书馆：工作空间是阅览室，文档是书架上的藏书，搜索索引负责找出有用段落，模型根据面前的段落组织答案。这位“图书管理员”可以留在公司内部，也可以来自外部服务。最后这个选择，决定了谁能看到文本。

Desktop 与 Docker 功能对比显示，用户管理和工作空间访问控制属于 Docker 版功能。在每位同事的笔记本上安装 Desktop，并不会自动形成集中管理的团队服务。

托管 Cloud 使用由 Mintplex 运维的独立 AWS 实例。与其他客户隔离有其价值，但无法满足文件必须留在自有场所的要求。其文档列出的限制还包括不支持内置 LLM、MCP 工具连接以及通过自定义代码编写的智能体。MCP 是让智能体连接外部工具的标准。Cloud 需要接入其支持的模型服务。内置智能体和执行自定义代码是两种不同的能力。

企业负责人需要决定谁来维护服务器，IT 负责人需要厘清哪些数据和凭据可以离开服务器。如果要求是“文档留在我们自己的设备上”，就从 Docker 和本地处理开始。

模型怎么选？应用和推理引擎要分开考虑

AnythingLLM 可以连接本地或云端模型服务，安装应用并不意味着绑定某个模型系列。其模型服务配置区分了系统默认模型、工作空间覆盖设置和智能体使用的模型。

内置引擎采用模型服务层 Lemonade，并使用可运行兼容本地模型的 llama.cpp。它支持 GGUF 模型文件，这是可下载模型常用的一种封装格式。文档提供了 Llama 和 Phi 示例，Docker 指南还展示了 Qwen。应根据机器配置选择模型，不能认为同一系列的所有模型对硬件要求都一样。

外接本地服务的选项包括兼具桌面应用和服务器功能的 LM Studio，以及 LocalAI。云端连接包括 OpenAI 聊天模型、Anthropic Claude 模型、Google Gemini，以及通用的 OpenAI 兼容端点。仓库中的集成列表还列出了更多服务商。

这些只是连接选项，并不保证每个模型处理文档、图片和工具调用的能力相同。一个能写出通顺答案的模型，仍可能选错工具，或者无法遵循较长的指令。

AnythingLLM 和 Ollama 可以一起用吗？

Ollama 是独立的模型引擎，可以为 AnythingLLM 提供本地推理。AnythingLLM 则在引擎之上增加文档工作空间和访问控制。如果你已经运行着可用的本地模型服务，继续沿用是合理的起点。

全新安装也可以使用 Docker 版可选的内置模型引擎，下文会介绍。选择团队版，并不意味着必须额外搭建模型服务器。

对于存放机密资料的运营工作空间，应选择本地聊天模型，并检查它的智能体模型。另一个工作空间可以在数据政策允许时使用云端服务。嵌入模型则是独立的全局设置，这是理解上述灵活性时必须注意的前提。

AnythingLLM RAG：工作空间如何使用文档？

AnythingLLM 的文档搜索会向模型提供相关段落，并不会让模型永久学会每个文件。检索增强生成（RAG）指的是先搜索原始资料，再把选出的文本放进发送给模型的问题中。

嵌入向量是用来匹配相关文本的数值表示。应用会把文档切分成片段，生成嵌入向量，并保存为可搜索的索引。用户提问时，检索过程选出有用片段供模型作答。模型的上下文窗口，就是它一次能处理的文本量，包括指令、历史对话和这些段落。

提供文档主要有两种方式：

• 在聊天中附加文档：适合只需处理某个具体文件的情况。AnythingLLM 默认插入全文，但受上下文窗口限制。附件的作用范围限于当前工作空间和对话线程。
• 在工作空间中为文档建立嵌入索引：适合需要反复使用的知识。文档可供该工作空间内的不同对话线程，以及有权访问该工作空间的用户使用。

文档处理指南明确说明了这种范围变化。把负责人的草稿移入共享工作空间，本身就是一次共享决策，即使最初那段对话让人感觉是私密的。

例如，把已批准的退货政策放入客服工作空间。“客服在批准退货前需要检查什么？”适合用检索来回答。“列出我们所有文件中的每一条例外”则需要更全面的覆盖，几段相关摘录不足以证明答案完整。把答案视为穷尽性结论之前，应核对原始政策。

首次试点文档问答时，使用 Query 模式。它旨在根据上传资料作答，并在缺少相关信息时明确提示。Chat 模式还会使用模型的通用知识；Agent 模式可以调用工具。这些模式见聊天模式文档。新工作空间可能默认采用 Agent 模式，因此要主动确认。

企业机密文档放进 AnythingLLM 安全吗？

AnythingLLM 让你掌控各个组件，但隐私取决于所有处理文本的组件如何配置。真正需要追问的是处理发生在哪里，而不只是应用有没有“本地”标签。

文件与已存储文本。 Desktop 将应用数据保存在本地存储目录中，其存储说明列出了已解析文档、嵌入缓存、数据库和直接上传的文件。Docker 部署需要把应用存储目录持久化到服务器上。托管 Cloud 的相应应用数据则保存在托管实例中。

嵌入向量与索引。 默认的 LanceDB 配置会将向量索引保存在 AnythingLLM 实例中。保留内置嵌入组件，才能在本地处理这部分文本。如果选择云端嵌入服务，即使生成的向量存储在本地，待嵌入的文本仍须发送给服务商。选择远程向量数据库，又会增加一个保存索引数据的位置。嵌入向量和索引文本应按业务数据管理，不能视为匿名化处理。

生成答案的请求。 云端聊天模型会收到作答所用的提示内容，包括你的问题、传入的对话上下文，以及检索到的文档文本。附加或固定文档时，可能会提供全文。原始 PDF 可以留在服务器上，里面的机密句子却已传出。服务商的条款和数据保留设置决定了收到的这份文本如何处理；AnythingLLM 无法让远程推理请求留在企业内部。

智能体与外部服务。 网页搜索、外部 API 和 MCP 工具都可能把信息发送到别处。本地模型不会把这些服务也变成本地服务。对于严格限于内部使用的文档助手，应禁用外部技能，并在添加敏感文件前确认有哪些工具可用。

嵌入配置文档中最关键的一点是：嵌入组件在整个系统范围内统一配置，而聊天模型可以按工作空间分别设置。因此，使用本地聊天模型的工作空间，仍可能把文档发送给云端嵌入服务。如果机密业务和允许外部处理的业务需要不同的嵌入政策，就应使用独立实例，不能以为覆盖工作空间的模型设置就能建立这道边界。

还要区分删除文件与撤销访问。从工作空间移除文档后，解析文件和缓存仍留在文档库。隐私与删除指南说明，需要在 My Documents 中删除文档，才能移除跨工作空间使用的已解析源文件和嵌入缓存。备份或外部服务中的副本，需要分别执行保留与删除策略。

遥测是另一项独立设置，与模型请求流量不同。可以在 Privacy 中关闭使用情况遥测，也可以设置 DISABLE_TELEMETRY=true。这不会禁用已配置的云端服务、工具连接或模型下载。

AnythingLLM 本地部署：五人团队如何共用一台服务器？

从一台 Linux 服务器、持久化应用存储、本地模型和独立账号开始。下例假设是全新安装，已装好 Docker，并且 IT 负责人能通过现有私有网络及服务器上运行的 HTTPS 反向代理，提供需要身份验证的访问入口。

Docker 系统要求列出的基线是：应用本身需要 2GB RAM、2 核 CPU 和 5GB 存储空间。这不是本地推理或五人同时使用的配置保证。模型、文档和并发请求都需要额外内存与磁盘空间。Intel 或 AMD 机器使用默认 LanceDB 时，应确认服务器或虚拟机内支持 AVX2；ARM64 使用单独的构建版本。

1. 1

   创建持久化存储并启动应用

   以运维人员身份在服务器上执行以下命令。它以官方安装命令为基础，将网页端口绑定到回环地址以供 HTTPS 代理使用，并添加自动重启、关闭遥测和启用本地推理的设置。

   export ANYTHINGLLM_STORAGE="$HOME/anythingllm"
   mkdir -p "$ANYTHINGLLM_STORAGE"
   touch "$ANYTHINGLLM_STORAGE/.env"
   sudo chown -R 1000:1000 "$ANYTHINGLLM_STORAGE"
   
   docker pull mintplexlabs/anythingllm:latest
   docker run -d \
     --name anythingllm \
     --restart unless-stopped \
     -p 127.0.0.1:3001:3001 \
     --cap-add SYS_ADMIN \
     -v "$ANYTHINGLLM_STORAGE:/app/server/storage" \
     -v "$ANYTHINGLLM_STORAGE/.env:/app/server/.env" \
     -e STORAGE_DIR=/app/server/storage \
     -e DISABLE_TELEMETRY=true \
     -e ENABLE_BUILT_IN_LLM=true \
     mintplexlabs/anythingllm:latest

   挂载目录能在替换容器时保留数据。所有权设置遵循镜像文档中的用户 1000:1000，不要通过让所有人都能写入目录来解决存储报错。SYS_ADMIN 沿用官方命令，会授予容器较广泛的能力，因此应将该服务部署在受控基础设施上。详见官方 Docker 安装说明。

2. 2

   选择本地模型，让文档处理留在本地

   在首次配置中选择 Built-in，下载适合服务器的模型，并保留内置嵌入组件和本地向量数据库。上传业务文件前，在 Settings > AI Providers > LLM 中确认所选模型。

   Docker 内置模型指南要求在容器启动时设置 ENABLE_BUILT_IN_LLM=true。仅将其写入挂载的 .env 文件，不会启用引擎。上述命令使用 CPU 推理。如需 NVIDIA 加速，应遵循指南中的 Container Toolkit 前置要求，并添加 --gpus all；AMD 和 Intel GPU 则有各自的设备与用户组设置。

   趁能联网时下载引擎、模型和所需运行时。在邀请所有人之前，用试点工作负载评估 CPU 性能。内置引擎一次只加载一个模型，因此共享试点先用一个模型即可。

3. 3

   先启用独立登录，再开放团队访问

   在服务器上打开 http://127.0.0.1:3001，或通过管理隧道访问该回环服务。在 Security & Access 中启用多用户模式，并创建首个管理员账号。系统会退出登录，之后使用新凭据登录。

   本例共五人：通过用户管理创建或邀请四位同事，均赋予 Default 角色，加上你的 Admin 账号合计五位用户。角色文档说明，Default 用户只能在明确加入的工作空间中聊天。Manager 可以查看全部工作空间，对于只应看到某个部门文档的同事，权限过大。Admin 拥有完整系统访问权限。文档说明，切换到多用户模式后无法切回。

4. 4

   创建工作空间，让团队通过浏览器连接

   创建用于已批准流程的 共享运营 工作空间，并加入全部五个账号。另建 负责人 工作空间存放受限资料，只分配给有权使用的人。每份文档都应放入合适的工作空间，不要把敏感资料嵌入共享运营空间，再试图用提示词隐藏它。

   让现有 HTTPS 反向代理把团队选定的主机名转发到这台服务器的 http://127.0.0.1:3001，并将网络访问限制为员工。本例有意不直接开放公网网页端口。同事分别打开该 HTTPS 地址，用自己的账号登录。

5. 5

   扩大使用前，先完成验收

   先用一小批已批准的文档和十个有代表性的问题试用，其中两个问题应是文档无法回答的。检查来源段落、普通用户获准进入的工作空间，以及本应被拒绝访问的用户。随后让五人同时发送有代表性的请求，观察延迟和内存占用。

   将持久化存储与挂载配置一起备份，备份时停止容器，或采用能保证一致性的备份方法。备份含有文档和配置机密，必须妥善保护。常规升级前记录已部署镜像的版本或摘要，并确认能够恢复试点环境。

如果改用已有的外部本地模型服务器，应检查容器到该服务的网络路径。容器中的 localhost 指向容器自身，而非宿主机上的模型服务。宿主机连接指南解释了这一区别。应使用容器可达的地址，并将模型服务限制为可信调用方访问。

智能体与 MCP：哪些信息会离开工作空间？

智能体为文档聊天增加了执行操作的能力。它可以借助工具检索信息或完成任务，因此工具权限与它读取的文档一样，都需要认真审视。

在 Settings > Agent Skills 中，只选择工作流程必需的技能，其中有些默认已启用。智能体配置指南还允许按工作空间选择智能体模型。首次试点适合从查找已批准的政策开始，不宜直接授予所有业务系统的访问权限。

Model Context Protocol（MCP）是应用将模型连接到工具的一种通用方式。AnythingLLM 的 MCP 配置支持以本地命令启动的服务器，也支持远程连接。工具可能读取目录、查询数据库或调用其他服务；你授予的凭据，决定了操作能触及多大范围。

根据 Docker MCP 指南，自托管 Docker 支持 MCP Tools，但不支持 Resources、Prompts 或 Sampling。配置文件位于持久化存储目录下的 plugins/anythingllm_mcp_servers.json。修改后打开 Agent Skills，点击 Refresh。

本地启动的 MCP 服务器运行在容器内部。它能看到容器路径和明确挂载的文件，无法任意访问宿主机上的文件夹。手动安装的工具依赖可能在替换容器后消失，因此在依赖它之前，应让安装过程可以复现。

不要以为工作空间限制也会自动约束工具使用的数据库凭据。给工具配置权限范围较窄的账号，并单独验证访问权限。在允许修改记录或发送消息之前，先做只读试点，更便于检查可能产生的影响。

AnythingLLM 替代方案：什么情况下该选其他工具？

如果工作的核心是共享文档工作空间，AnythingLLM 很合适。它的优势在于这些功能如何协同，而不是只有它才支持文档问答或 MCP。

Open WebUI：需要更通用的共享聊天界面时

如果主要需求是通过一个通用的自托管界面连接多种模型服务，并配置所需扩展，Open WebUI 更值得优先考察。其文档涵盖模型服务连接与扩展能力，当前基础指南则介绍了文档附件和可复用知识库。

如果现有 Open WebUI 部署已经满足文档和权限需求，就继续使用。仅仅更换界面，解决不了源文档质量差或模型不合适的问题。希望围绕少量、权限分配清晰的文档工作空间推进落地时，可以优先考虑 AnythingLLM。

LibreChat：每位用户需要独立连接工具时

如果每个人都必须用自己的凭据连接工具，LibreChat 值得进一步研究。其 MCP 文档介绍了按用户设置的连接、凭据和 OAuth 登录，以及附加到聊天或智能体上的工具。

对于各业务系统按个人分别授权的企业，这是评估它的具体理由。相应的代价是需要管理这些连接，并选择能可靠调用工具的模型。如果只是共享一个小型政策文档库，工具范围也很有限，AnythingLLM 以工作空间为中心的配置仍是更直接的起点。

AnythingLLM 和 LM Studio 怎么选？

LM Studio 适合主要想下载、运行和比较本地模型的个人用户。其当前应用文档也涵盖 MCP、API 服务和无界面运行，离线指南还介绍了本地文档问答。因此，它既能独立使用，也能作为其他应用背后的模型服务。

如果决定性需求是共享文档应用，并按工作空间分配访问权限，选 AnythingLLM Docker。如果决定性需求是运行和管理模型，选 LM Studio。区别在于你需要哪一层能力，而不是“一个能读文档，另一个不能”。

有关模型服务的选择，可参阅 Ollama 与 LM Studio 对比。如果两者都不符合硬件或服务需求，Ollama 替代方案指南介绍了其他运行时。

“私有 AI”有哪些被夸大的说法？

“本地运行”只描述某项配置，不能完整说明数据流向。本地界面可以调用云端模型，本地模型可以调用外部工具，本地索引也可能由云端嵌入服务生成。

“与所有文档对话”同样夸大了普通检索能覆盖的范围。检索只选取部分段落，可能遗漏足以改变答案的例外条款。添加文档不会永久训练模型，而被引用的段落也必须确实支持结论。

安装最低要求也不能保证团队使用时的性能。模型、上下文长度、嵌入工作负载和同时到来的请求共同决定体验。如果有明确的服务器负责人和具体的文档任务，可以开始采用。如果尚未明确谁能访问文件，或者怎样的答案才算合格，就先缓一缓。现有系统已经满足要求的话，继续使用即可。

常见问题

AnythingLLM 靠谱吗？

它是 Mintplex Labs 推出的开源项目，有公开代码和安装文档。这说明了项目来源，但并不等于你的模型、插件或服务器配置已获得安全认证。

大语言模型能用来做什么？

LLM 可以生成和总结文本、回答问题、辅助起草内容。在本文场景中，有价值的业务任务是根据已批准文档集中的相关段落回答问题。智能体则进一步增加了借助工具执行操作的能力。

有免费的开源 AI 模型吗？

有，可以下载模型并在本地运行。但应逐一检查模型的许可证和商用条件，不能认为 AnythingLLM 的 MIT 许可证也适用于模型权重。硬件和运维仍有成本。

能用 Ollama 在本地运行 LLM 吗？

可以。在 Ollama 中运行适合的模型，再把 AnythingLLM 连接到可达的服务。Docker 部署需要考虑容器网络，不能认为宿主机的 localhost 地址在容器里也能直接使用。

Ollama 和 AnythingLLM 的主要区别是什么？

Ollama 提供模型运行层。AnythingLLM 提供文档、工作空间和智能体应用，可以使用这一模型层。两者能够配合使用，当前 AnythingLLM Docker 也提供可选的内置引擎。

怎样在本地运行 LLM 最省钱？

先用已有硬件和能在其上运行的模型，再判断处理任务的速度是否够用。找出瓶颈后再添置硬件。脱离工作负载和可接受等待时间，并不存在通用的最便宜方案。

哪个 LLM 最笨？

这种标签没有实用的统一排名。模型可能写作流畅，却在文档检索或工具调用上失误。应使用自己的问题评估，也要包含那些模型应当承认源文档没有答案的情况。

哪个本地 LLM 最聪明？

合适的选择取决于任务、可用内存和可接受延迟。选择适合硬件的模型，并评估来源准确性与工具行为。本文依据文档进行说明，不宣称任何模型赢得了基准测试。

本地运行 LLM 需要多少内存？

AnythingLLM 的 Desktop 配置要求对基础本地使用给出的建议是 16GB RAM 和 8 核 CPU。服务器还需要为所选模型与并发请求预留容量。应用本身较低的配置基线，不是本地推理的总内存预算。

接下来可以怎么做？

指定一位 IT 负责人，交给他服务器、一组已批准文档和明确的验收标准。从本地推理、内置嵌入组件、本地存储和 Query 模式开始，禁用不必要的工具。核查工作空间权限后，再邀请另外四人。如果后来确实需要云端模型，应先明确哪些文本可以传出，再更改设置。

想了解小企业如何实际用好 AI，可以订阅通讯。