AnythingLLM: локальный чат с документами для команды

Для команды из пяти человек AnythingLLM разумнее всего развернуть в одном Docker-контейнере на собственном сервере: с отдельными учётными записями и локальной моделью. Так чат по документам может оставаться на вашем сервере. Но если выбрать облачную модель, текст, на основе которого строится ответ, отправится её провайдеру. Одного локального хранения файлов недостаточно, чтобы переписка оставалась внутри компании.

AnythingLLM подойдёт, если сначала вам нужны ответы по документам компании, а затем — несколько полезных инструментов для помощника. Для самостоятельной работы выбирайте Desktop, для общего сервера — Docker, а если хотите передать обслуживание инфраструктуры Mintplex Labs — управляемую версию Cloud.

Сведения сверены с действующим сайтом проекта, документацией и репозиторием GitHub 5 ноября 2026 года. Ниже описан документированный способ развёртывания с рекомендуемыми ограничениями доступа. Это не отчёт о проведённых тестах производительности или безопасности.

Что такое AnythingLLM и какую версию выбрать?

AnythingLLM объединяет чат, поиск по документам, рабочие пространства и агентов вокруг выбранной вами модели. Серверная версия для совместной работы поставляется через Docker — ПО для запуска приложений в контейнерах. Большая языковая модель, или LLM, формирует ответ, а AnythingLLM предоставляет ей документы, историю разговора и доступные инструменты, помогающие решить рабочий вопрос.

Представьте библиотеку компании. Рабочие пространства — читальные залы, документы — книги на полках, поисковый индекс находит нужные отрывки, а модель пишет ответ по предложенным ей материалам. Библиотекарь может находиться в вашем здании или работать во внешней службе. Именно этот выбор определяет, кто увидит текст.

В сравнении возможностей Desktop и Docker управление пользователями и доступом к рабочим пространствам отнесено к Docker. Установка Desktop на ноутбук каждого сотрудника не создаёт централизованный сервис для команды.

Управляемая версия Cloud работает на изолированном экземпляре AWS, который обслуживает Mintplex. Изоляция от других клиентов полезна, но не выполняет требование хранить файлы на собственной инфраструктуре. В числе документированных ограничений — отсутствие встроенной LLM, подключения инструментов по MCP и агентов с собственным программным кодом. MCP — стандарт подключения агента к внешним инструментам. Вместо встроенной модели здесь подключается поддерживаемый сервис моделей. Готовые агенты и возможность выполнять собственный код — разные функции.

Для владельца бизнеса главный вопрос — кто будет обслуживать сервер. Для руководителя ИТ — какие данные и учётные данные могут его покидать. Если документы должны оставаться на вашем оборудовании, начните с Docker и локальной обработки.

Модель выбирается отдельно от приложения

AnythingLLM подключается к локальным и облачным провайдерам моделей, поэтому установка приложения не привязывает вас к одному семейству нейросетей. В настройках провайдеров различаются общая модель по умолчанию, переопределения для рабочих пространств и модель для агентов.

Встроенный движок использует Lemonade — слой обслуживания моделей — и llama.cpp, ПО для запуска совместимых локальных моделей. Он принимает файлы GGUF — формат упаковки загружаемых моделей. В документации приведены примеры Llama и Phi, а в руководстве для Docker — также Qwen. Выбирайте модель под свою машину: требования к оборудованию не одинаковы у всех моделей одного семейства.

Среди внешних локальных подключений — LM Studio, настольное приложение и сервер моделей, а также LocalAI. Среди облачных — чат-модели OpenAI, модели Claude от Anthropic и Google Gemini, а также произвольные API с совместимостью с OpenAI. Другие провайдеры перечислены в списке интеграций репозитория.

Это варианты подключения, а не гарантия, что любая модель одинаково хорошо работает с документами, изображениями и вызовами инструментов. Модель может писать связно, но при этом выбирать неподходящий инструмент или не справляться с длинной инструкцией.

AnythingLLM и Ollama: можно использовать вместе

Ollama — отдельный движок моделей, который может локально формировать ответы для AnythingLLM. Приложение добавляет к нему рабочие пространства с документами и управление доступом. Если у вас уже работает локальный сервис моделей, разумно начать с него.

При новой установке можно воспользоваться и необязательным встроенным движком Docker-версии — он рассмотрен ниже. Выбор командной версии сам по себе не обязывает добавлять отдельный сервер моделей.

Для рабочего пространства Operations с конфиденциальными данными выберите локальную чат-модель и проверьте также модель агента. Другое рабочее пространство может использовать облачного провайдера, если это разрешает политика обработки его данных. Модель эмбеддингов выбирается отдельно и действует для всего экземпляра — это существенное ограничение такой гибкости.

AnythingLLM RAG: как устроена работа с документами

Поиск по документам в AnythingLLM передаёт модели подходящие отрывки, а не навсегда обучает её содержимому каждого файла. Генерация с дополнением из найденных источников, или RAG, означает поиск по вашим материалам и включение выбранного текста в запрос к модели.

Эмбеддинг — числовое представление, позволяющее сопоставлять близкие по смыслу тексты. Приложение разбивает документ на фрагменты, создаёт эмбеддинги и сохраняет поисковый индекс. Когда пользователь задаёт вопрос, поиск отбирает полезные фрагменты для ответа. Контекстное окно модели — объём текста, который она может учитывать одновременно, включая инструкции, историю и найденные отрывки.

На практике документы можно передавать двумя способами:

• Прикрепить документ к чату, если нужна помощь именно с этим файлом. По умолчанию AnythingLLM вставляет полный текст в пределах контекстного окна. Вложения доступны в рамках соответствующего рабочего пространства и ветки разговора.
• Индексировать документ в рабочем пространстве, если он должен стать многократно используемым источником знаний. Тогда он доступен во всех ветках этого пространства и всем пользователям, имеющим к нему доступ.

В руководстве по работе с документами это изменение области доступа оговорено прямо. Перенос черновика владельца в общее рабочее пространство — решение открыть к нему доступ, даже если исходный разговор воспринимался как личный.

Например, добавьте утверждённые правила возврата в рабочее пространство Support. Вопрос «Что должен проверить сотрудник перед одобрением возврата?» хорошо подходит для поиска по источникам. А запрос «Перечисли все исключения во всех наших файлах» требует более полного охвата, чем могут обеспечить несколько подходящих отрывков. Прежде чем считать ответ исчерпывающим, проверьте сам регламент.

Для первого пилота по документам используйте режим Query. Он предназначен для ответов по загруженным материалам и сообщений о том, что нужных сведений нет. Режим Chat использует также общие знания модели, а Agent может вызывать инструменты. Так описаны режимы чата в документации. Новые рабочие пространства могут запускаться в режиме Agent, поэтому выбирайте режим осознанно.

Безопасно ли хранить в AnythingLLM внутренние документы компании?

AnythingLLM позволяет управлять компонентами системы, но конфиденциальность зависит от настройки каждого компонента, обрабатывающего текст. Важнее выяснить, где происходит обработка, чем искать у приложения пометку «локальное».

Файлы и сохранённый текст. Desktop хранит данные приложения в локальном каталоге. В справке по хранилищу перечислены разобранные документы, кеш эмбеддингов, база данных и прямые загрузки. В Docker каталог данных приложения нужно сохранять на сервере вне контейнера. В управляемой версии Cloud соответствующие данные находятся на размещённом у провайдера экземпляре.

Эмбеддинги и индекс. Стандартная конфигурация LanceDB хранит векторный индекс на экземпляре AnythingLLM. Для локальной обработки текста оставьте встроенную модель эмбеддингов. При выборе облачного провайдера текст для векторизации придётся передать ему, даже если полученные векторы хранятся локально. Удалённая векторная база добавляет ещё одно место хранения индекса. Считайте эмбеддинги и проиндексированный текст данными компании: это не способ обезличивания.

Запрос для получения ответа. Облачная чат-модель получает содержимое запроса: ваш вопрос, переданный контекст беседы и найденный текст документов. Прикрепление или закрепление документа может передать его полный текст. Исходный PDF при этом остаётся на сервере, а конфиденциальные предложения уходят наружу. На эту копию распространяются условия и настройки хранения принимающего провайдера; AnythingLLM не может заставить удалённый запрос к модели обрабатываться внутри вашей инфраструктуры.

Агенты и внешние сервисы. Веб-поиск, внешние API и инструменты MCP могут отправлять информацию за пределы системы. Локальная модель не делает эти сервисы локальными. Для строго внутреннего помощника по документам отключите внешние навыки и проверьте доступные инструменты до загрузки конфиденциальных файлов.

Ключевая особенность описана в документации по настройке эмбеддингов: модель эмбеддингов общая для всего экземпляра, а чат-модели могут различаться по рабочим пространствам. Поэтому пространство с локальной чат-моделью всё равно может отправлять документы облачному сервису эмбеддингов. Если для конфиденциальной работы и работы с внешней обработкой нужны разные правила векторизации, используйте отдельные экземпляры. Переопределение чат-модели в пространстве само по себе такой границы не создаёт.

Также различайте удаление данных и закрытие доступа. Удаление документа из рабочего пространства оставляет разобранный файл и кеш в библиотеке документов. Согласно руководству по конфиденциальности и удалению, для удаления разобранного источника и кеша эмбеддингов во всех пространствах нужно удалить его из My Documents. Копии в резервных архивах и внешних сервисах требуют отдельного управления сроками хранения.

Телеметрия настраивается отдельно от передачи данных моделям. Сбор статистики использования можно отключить в Privacy или через DISABLE_TELEMETRY=true. Это не отключает настроенных облачных провайдеров, подключения инструментов или загрузку моделей.

Как развернуть сервер для команды из пяти человек

Начните с одного Linux-сервера, постоянного хранилища приложения, локальной модели и отдельных учётных записей. Пример ниже рассчитан на новую установку с уже установленным Docker. Предполагается, что ответственный за ИТ обеспечит аутентифицированный доступ через существующую частную сеть и обратный HTTPS-прокси на сервере.

В системных требованиях Docker-версии указан базовый минимум 2GB оперативной памяти, процессор с 2 ядрами и 5GB диска для приложения. Это не расчёт ресурсов для локального запуска модели или пяти одновременных пользователей. Предусмотрите дополнительную память и диск под модель, документы и параллельные запросы. На машине Intel или AMD со стандартной LanceDB проверьте поддержку AVX2 внутри сервера или виртуальной машины; для ARM64 используется отдельная сборка.

1. 1

   Создайте постоянное хранилище и запустите приложение

   Выполните команды на сервере от имени обслуживающего его специалиста. За основу взята официальная команда установки: веб-порт привязан к loopback для работы через HTTPS-прокси, добавлен автоматический перезапуск, отключена телеметрия и включен локальный запуск модели.

   export ANYTHINGLLM_STORAGE="$HOME/anythingllm"
   mkdir -p "$ANYTHINGLLM_STORAGE"
   touch "$ANYTHINGLLM_STORAGE/.env"
   sudo chown -R 1000:1000 "$ANYTHINGLLM_STORAGE"
   
   docker pull mintplexlabs/anythingllm:latest
   docker run -d \
     --name anythingllm \
     --restart unless-stopped \
     -p 127.0.0.1:3001:3001 \
     --cap-add SYS_ADMIN \
     -v "$ANYTHINGLLM_STORAGE:/app/server/storage" \
     -v "$ANYTHINGLLM_STORAGE/.env:/app/server/.env" \
     -e STORAGE_DIR=/app/server/storage \
     -e DISABLE_TELEMETRY=true \
     -e ENABLE_BUILT_IN_LLM=true \
     mintplexlabs/anythingllm:latest

   Монтирование сохраняет данные при замене контейнера. Владелец каталога задан в соответствии с документированным пользователем образа — 1000:1000; не устраняйте ошибку хранилища, открывая запись в каталог всем. SYS_ADMIN взят из опубликованной команды и даёт контейнеру широкие полномочия, поэтому размещайте сервис на контролируемой инфраструктуре. См. официальную инструкцию установки через Docker.

2. 2

   Выберите локальную модель и локальную обработку документов

   При первоначальной настройке выберите Built-in, загрузите модель под ресурсы сервера и оставьте встроенную модель эмбеддингов и локальную векторную базу. Перед загрузкой рабочих файлов проверьте выбранную модель в Settings > AI Providers > LLM.

   Согласно руководству по встроенной модели в Docker, ENABLE_BUILT_IN_LLM=true необходимо передать при запуске контейнера. Одной записи в подключённом .env недостаточно для включения движка. Команда выше запускает вычисления на CPU. Для ускорения на NVIDIA выполните требования руководства к Container Toolkit и добавьте --gpus all; для GPU от AMD и Intel предусмотрены собственные настройки устройств и групп.

   Загрузите движок, модель и необходимые компоненты среды выполнения, пока есть доступ к интернету. Прежде чем приглашать всех сотрудников, оцените скорость CPU на задачах пилота. Встроенный движок держит загруженной одну модель за раз, поэтому начните общий пилот с одной модели.

3. 3

   Включите отдельные учётные записи до открытия доступа команде

   На сервере откройте http://127.0.0.1:3001 либо подключитесь к этому loopback-сервису через административный туннель. В Security & Access включите многопользовательский режим и создайте первую учётную запись администратора. Текущий сеанс завершится; войдите с новыми учётными данными.

   Для примера с пятью сотрудниками создайте или пригласите через управление пользователями четырёх коллег и назначьте каждому роль Default. Вместе с вашей записью Admin получится пять пользователей. В документации по ролям сказано, что пользователи Default могут общаться только в пространствах, куда их явно добавили. Manager видит все рабочие пространства, поэтому такая роль избыточна для сотрудника, которому положены документы лишь одного отдела. Admin имеет полный доступ к системе. Согласно документации, переключение в многопользовательский режим необратимо.

4. 4

   Создайте рабочие пространства и подключите браузеры сотрудников

   Создайте Shared Operations для утверждённых процедур и добавьте все пять учётных записей. Для материалов с ограниченным доступом создайте Owners и назначьте только тех, кому они нужны. Размещайте каждый документ в подходящем пространстве; не индексируйте конфиденциальные материалы в Shared Operations в расчёте скрыть их с помощью промпта.

   Настройте существующий обратный HTTPS-прокси так, чтобы он перенаправлял обращения к выбранному для команды имени хоста на http://127.0.0.1:3001 этого сервера. Ограничьте сетевой доступ сотрудниками. В примере веб-порт намеренно не открывается напрямую в публичную сеть. Каждый коллега заходит по HTTPS-адресу и входит в свою учётную запись.

5. 5

   Проверьте результат перед расширением использования

   Начните с небольшого набора утверждённых документов и десяти характерных вопросов, включая два, на которые документы не дают ответа. Проверьте исходные отрывки, доступные обычному пользователю пространства и пользователя, которому доступ должен быть запрещён. Затем попросите всех пятерых одновременно отправить типичные запросы и понаблюдайте за задержками и расходом памяти.

   Делайте резервную копию постоянного хранилища вместе с подключённой конфигурацией, остановив контейнер или применяя метод согласованного резервного копирования. Защитите архив: в нём есть документы и секреты конфигурации. Перед плановым обновлением фиксируйте версию или дайджест развёрнутого образа и проверяйте возможность восстановления пилота.

Если вместо встроенного движка используется уже работающий внешний локальный сервер моделей, проверьте маршрут к нему из контейнера. localhost внутри контейнера указывает на сам контейнер, а не на сервис моделей хоста. Это различие разобрано в руководстве по подключению к хосту. Используйте достижимый адрес и разрешайте подключение к сервису моделей только доверенным клиентам.

Агенты и MCP: что может выйти за пределы рабочего пространства

Агент добавляет к чату по документам действия. Он может получать сведения и выполнять задачи с помощью инструментов, поэтому его полномочия требуют такого же внимания, как документы, которые он читает.

В Settings > Agent Skills выберите только навыки, необходимые для вашей задачи. Некоторые включены по умолчанию. Руководство по настройке агента также позволяет выбрать модель агента для каждого рабочего пространства. Для первого пилота лучше поручить ему найти утверждённый регламент, чем открывать доступ ко всем системам компании.

Model Context Protocol, или MCP, — распространённый способ подключения моделей к инструментам в приложениях. Конфигурация MCP в AnythingLLM поддерживает локальные серверы, запускаемые командой, и удалённые подключения. Инструмент может читать каталог, запрашивать базу данных или обращаться к другому сервису; границы его действий определяются выданными учётными данными.

Согласно руководству по MCP в Docker, версия Docker на собственном сервере поддерживает MCP Tools, но не Resources, Prompts или Sampling. Конфигурация находится в plugins/anythingllm_mcp_servers.json внутри каталога постоянного хранилища. После изменений откройте Agent Skills и нажмите Refresh.

Локально запускаемый MCP-сервер работает внутри контейнера. Ему доступны пути контейнера и явно подключённые файлы, а не произвольная папка на хосте. Установленные вручную зависимости инструментов могут исчезнуть после замены контейнера, поэтому сделайте их установку воспроизводимой, прежде чем на неё полагаться.

Не рассчитывайте, что ограничения рабочего пространства автоматически ограничат права инструмента в базе данных. Выдайте ему отдельную учётную запись с узкими полномочиями и проверьте доступ независимо. На пилоте с доступом только для чтения проще оценить последствия, прежде чем разрешать изменение записей или отправку сообщений.

Альтернативы AnythingLLM: когда выбрать другое решение

Выбирайте AnythingLLM, если основная задача связана с общими рабочими пространствами документов. Его преимущество — в сочетании этих компонентов, а не в исключительной способности работать с документами или MCP.

Open WebUI: универсальный общий интерфейс чата

Open WebUI стоит рассмотреть первым, если вам прежде всего нужен универсальный интерфейс на собственном сервере для разных сервисов моделей с настраиваемыми расширениями. В документации описаны подключения провайдеров и расширяемость, а в актуальном руководстве по основам — вложения документов и многократно используемые базы знаний.

Если уже развёрнутый Open WebUI закрывает ваши требования к документам и доступу, продолжайте им пользоваться. Одна смена интерфейса не исправит некачественные исходные документы или неподходящую модель. AnythingLLM предпочтительнее, когда внедрение удобно строить вокруг нескольких рабочих пространств с чётко назначенным доступом.

LibreChat: персональные подключения инструментов

К LibreChat стоит присмотреться, если каждый сотрудник должен подключать инструменты со своими учётными данными. В документации по MCP описаны персональные подключения, учётные данные и вход через OAuth, а также инструменты, подключаемые к чатам или агентам.

Это конкретный повод оценить LibreChat в компании, где доступ к системам предоставляется индивидуально. Обратная сторона — администрирование этих подключений и подбор моделей, которые надёжно вызывают инструменты. Для небольшой общей библиотеки регламентов с узким набором инструментов настройка через рабочие пространства AnythingLLM остаётся более прямым путём.

AnythingLLM или LM Studio?

LM Studio подходит человеку, которому прежде всего нужно загружать, запускать и сравнивать локальные модели. В актуальной документации приложения также описаны MCP, предоставление API и работа без графического интерфейса, а в руководстве по автономной работе — локальный чат по документам. Поэтому LM Studio полезен и сам по себе, и как сервис моделей для другого приложения.

Выбирайте AnythingLLM Docker, если решающее требование — общее приложение для документов с назначаемым доступом к рабочим пространствам. Выбирайте LM Studio, если главное — запуск и обслуживание моделей. Разница в том, какой слой системы вам нужен, а не в том, что одно приложение якобы умеет читать документы, а другое нет.

Выбор сервиса моделей разобран в сравнении Ollama и LM Studio. Если ни один не подходит под ваше оборудование или требования к обслуживанию моделей, в обзоре альтернатив Ollama рассмотрены другие среды запуска.

Что преувеличивают в обещаниях «приватного ИИ»

«Работает локально» — характеристика конфигурации, а не полное описание движения данных. Локальный интерфейс может обращаться к облачной модели, локальная модель — к внешнему инструменту, а локальный индекс может строиться с помощью облачной модели эмбеддингов.

Обещание «общаться со всеми вашими документами» тоже преувеличивает возможности обычного поиска. Он отбирает отрывки и может пропустить исключение, меняющее ответ. Добавление документов не обучает модель навсегда, а процитированный фрагмент всё равно должен подтверждать вывод.

Наконец, минимальные требования для установки не гарантируют приемлемую скорость работы команды. На результат влияют модель, длина контекста, нагрузка от векторизации и пересекающиеся запросы. Внедряйте сейчас, если есть ответственный за сервер и конкретная задача по документам. Подождите, если ещё не определены права доступа к файлам и критерии приемлемого ответа. Сохраните существующую систему, если она уже выполняет эти требования.

Частые вопросы

Можно ли доверять AnythingLLM?

Да. Это проект Mintplex Labs с открытым исходным кодом и публичной документацией по установке. Так можно проверить его происхождение, но это не подтверждение безопасности именно вашей модели, плагинов или конфигурации сервера.

Для чего используют большие языковые модели?

LLM создают и сокращают тексты, отвечают на вопросы и помогают готовить материалы. Здесь полезная для бизнеса задача — ответить на вопрос по подходящим отрывкам из утверждённого набора документов. Агент добавляет инструменты для выполнения действий.

Есть ли бесплатные модели ИИ с открытым исходным кодом?

Да, существуют загружаемые модели, которые можно запускать локально. Проверяйте лицензию каждой модели и условия коммерческого использования: лицензия MIT у AnythingLLM не означает, что она распространяется и на веса модели. Оборудование и администрирование всё равно требуют затрат.

Можно ли запустить LLM локально через Ollama?

Да. Запустите подходящую модель в Ollama и подключите AnythingLLM к доступному сервису. При работе с Docker учитывайте сеть контейнера: адрес localhost хоста нельзя просто считать рабочим внутри контейнера.

Чем принципиально отличаются Ollama и AnythingLLM?

Ollama обеспечивает запуск моделей. AnythingLLM — приложение для документов, рабочих пространств и агентов, которое может использовать этот слой. Они работают вместе; кроме того, в текущей Docker-версии AnythingLLM есть необязательный встроенный движок.

Как дешевле всего запускать LLM локально?

Начните с имеющегося оборудования и модели, которая на нём помещается, а затем проверьте, достаточно ли быстро она решает вашу задачу. Покупайте дополнительное оборудование только после выявления узкого места. Универсальной самой дешёвой конфигурации без учёта нагрузки и допустимого ожидания нет.

Какая LLM самая глупая?

Полезного универсального рейтинга с таким названием нет. Модель может писать гладко и при этом не справляться с поиском по документам или инструментами. Оценивайте её на собственных вопросах, включая случаи, когда она должна признать, что в источнике нет ответа.

Какая локальная LLM самая умная?

Выбор зависит от задачи, доступной памяти и приемлемой задержки. Возьмите модель под своё оборудование и оцените точность работы с источниками и поведение инструментов. Этот разбор основан на документации и не объявляет победителя бенчмарков.

Сколько оперативной памяти нужно для локального запуска LLM?

В требованиях AnythingLLM Desktop для базового локального использования рекомендуются 16GB оперативной памяти и процессор с 8 ядрами. Серверу также нужны ресурсы под выбранную модель и параллельные запросы. Значительно меньший минимум для самого приложения не отражает весь объём памяти для локальных вычислений модели.

С чего начать в понедельник

Выделите одному ответственному за ИТ сервер, утверждённый набор документов и понятный приёмочный тест. Начните с локального запуска модели, встроенной модели эмбеддингов, локального хранилища и режима Query; ненужные инструменты оставьте отключёнными. Приглашайте остальных четырёх сотрудников только после проверки их прав в рабочих пространствах. Если понадобится облачная модель, сначала явно определите, какой текст разрешено передавать наружу, и лишь затем меняйте настройку.

Чтобы получать практические советы по применению ИИ в малом бизнесе, подпишитесь на рассылку.