AnythingLLM: cómo crear un chat privado con documentos para tu equipo

Para un equipo de cinco personas, lo más práctico es usar AnythingLLM en una única instancia Docker alojada en un servidor propio, con cuentas individuales y un modelo local. Así, el chat con documentos puede quedarse en tu servidor. Pero si eliges un modelo en la nube, el texto que se utiliza para responder se envía a ese proveedor. Guardar los archivos localmente no basta para que la conversación sea privada dentro de tu empresa.

AnythingLLM encaja cuando primero necesitas resolver consultas sobre documentos de la empresa y después quieres dar al asistente algunas herramientas útiles. Elige Desktop para uso individual, Docker para un servidor compartido y Cloud administrado si prefieres que Mintplex Labs se encargue de la infraestructura.

Información contrastada con el sitio web, la documentación y el repositorio de GitHub del proyecto el 5 de noviembre de 2026. La configuración que sigue describe una vía de despliegue documentada, con restricciones de acceso recomendadas; no presenta resultados de una prueba de rendimiento o seguridad realizada.

¿Qué es AnythingLLM y qué edición conviene elegir?

AnythingLLM reúne una interfaz de chat, búsqueda en documentos, espacios de trabajo y agentes en torno al modelo que elijas. Docker, un software para ejecutar aplicaciones en contenedores, permite desplegar la edición de servidor compartido. El modelo de lenguaje de gran tamaño, o LLM, genera la respuesta; AnythingLLM aporta los documentos, la conversación y las herramientas disponibles para ayudarlo a resolver la consulta de tu empresa.

Piensa en una biblioteca de empresa. Los espacios de trabajo son las salas de lectura; los documentos, las estanterías; el índice de búsqueda localiza los pasajes útiles y el modelo redacta una respuesta con los fragmentos que recibe. Quien hace de bibliotecario puede trabajar dentro de tu edificio o prestar el servicio desde fuera. Esa última elección determina quién ve el texto.

La comparación de funciones de Desktop y Docker sitúa la gestión de usuarios y los controles de acceso a espacios de trabajo en Docker. Instalar Desktop en la computadora portátil de cada persona no crea un servicio de equipo con administración centralizada.

Cloud utiliza una instancia AWS aislada y operada por Mintplex. El aislamiento respecto de otros clientes es útil, pero no cumple el requisito de conservar los archivos en tus propias instalaciones. Sus limitaciones documentadas también excluyen un LLM integrado, las conexiones a herramientas MCP y los agentes con código personalizado. MCP es un estándar que conecta un agente con herramientas externas. En Cloud debes conectar un servicio de modelos compatible. Los agentes integrados y la ejecución de código personalizado son capacidades distintas.

Para quien dirige la empresa, la decisión es quién mantendrá el servidor. Para el responsable de TI, qué datos y credenciales pueden salir de él. Si el requisito es «nuestros documentos se quedan en nuestros equipos», empieza con Docker y procesamiento local.

Modelos: el motor se elige aparte de la aplicación

AnythingLLM puede conectarse a proveedores de modelos locales o en la nube, de modo que instalar la aplicación no te ata a una familia de modelos. La configuración de proveedores distingue entre el modelo predeterminado del sistema, los ajustes específicos de cada espacio de trabajo y el modelo de los agentes.

El motor integrado utiliza Lemonade, una capa para servir modelos, junto con llama.cpp, software que ejecuta modelos locales compatibles. Acepta archivos de modelos GGUF, un formato de empaquetado para modelos descargables. La documentación incluye ejemplos de Llama y Phi, y la guía de Docker también muestra Qwen. Elige un modelo que quepa en tu equipo; los requisitos de hardware no son idénticos para toda una familia.

Entre las conexiones locales externas están LM Studio, una aplicación de escritorio y servidor de modelos, y LocalAI. Las conexiones en la nube incluyen modelos de chat de OpenAI, modelos Claude de Anthropic y Google Gemini, además de endpoints genéricos compatibles con OpenAI. La lista de integraciones del repositorio recoge otros proveedores.

Son opciones de conexión, no una garantía de que todos los modelos manejen igual de bien documentos, imágenes y llamadas a herramientas. Un modelo puede redactar una respuesta clara y aun así elegir la herramienta equivocada o incumplir una instrucción larga.

AnythingLLM y Ollama pueden trabajar juntos

Ollama es un motor de modelos independiente que puede generar respuestas locales para AnythingLLM. La aplicación añade espacios de trabajo con documentos y controles de acceso alrededor de ese motor. Si ya administras un servicio de modelos locales que funciona, conservarlo es un punto de partida razonable.

Una instalación nueva también puede utilizar el motor opcional integrado en Docker, que explicamos más adelante. Elegir la edición para equipos no te obliga a añadir un servidor de modelos independiente.

Para un espacio de trabajo de Operaciones con información confidencial, selecciona un modelo de chat local y revisa también el modelo de su agente. Otro espacio puede usar un proveedor en la nube si su política de datos lo permite. El modelo de embeddings se elige por separado y se aplica a todo el sistema: ese es el límite importante de esta flexibilidad.

RAG en AnythingLLM: cómo se consultan tus documentos

La búsqueda documental de AnythingLLM entrega al modelo pasajes relevantes; no le enseña permanentemente el contenido de cada archivo. La generación aumentada por recuperación, o RAG, consiste en buscar en las fuentes e insertar el texto seleccionado en la consulta enviada al modelo.

Un embedding es una representación numérica que sirve para relacionar textos afines. La aplicación divide un documento en fragmentos, genera sus embeddings y guarda un índice que permite hacer búsquedas. Cuando alguien pregunta, el sistema recupera los fragmentos útiles para la respuesta. La ventana de contexto del modelo es la cantidad de texto que puede considerar a la vez, incluidas las instrucciones, el historial y esos pasajes.

Hay dos formas prácticas de aportar documentos:

• Adjunta un documento a un chat cuando necesites ayuda con ese archivo concreto. AnythingLLM inserta todo su texto de forma predeterminada, dentro del límite de la ventana de contexto. Los adjuntos quedan circunscritos a ese espacio de trabajo y a ese hilo.
• Indexa un documento mediante embeddings en un espacio de trabajo cuando deba servir como conocimiento reutilizable. Quedará disponible en los distintos hilos de ese espacio y para los usuarios que tengan acceso a él.

La guía de gestión de documentos explica expresamente este cambio de alcance. Pasar el borrador de un propietario a un espacio compartido es una decisión de compartir información, aunque la conversación original pareciera privada.

Por ejemplo, incorpora una política de devoluciones aprobada a un espacio de Soporte. «¿Qué debe comprobar un agente antes de autorizar una devolución?» es una consulta adecuada para recuperar información. «Enumera todas las excepciones de todos nuestros archivos» exige una cobertura que unos pocos extractos relevantes no permiten garantizar. Revisa la política original antes de dar por exhaustiva una respuesta.

Usa el modo Query en la primera prueba con documentos. Está diseñado para responder a partir del material cargado e indicar cuándo falta información relevante. El modo Chat también utiliza el conocimiento general del modelo; el modo Agent puede invocar herramientas. Estos son los modos de chat documentados. Los espacios nuevos pueden empezar en modo Agent, así que elígelo de forma deliberada.

¿Es seguro AnythingLLM para documentos empresariales privados?

AnythingLLM permite controlar los componentes, pero la privacidad depende de cómo configures cada componente que procesa texto. La pregunta útil es dónde se procesa la información, más allá de que la aplicación se presente como «local».

Archivos y texto almacenado. Desktop guarda los datos de la aplicación en un directorio local; su referencia de almacenamiento identifica los documentos procesados, los embeddings en caché, la base de datos y las cargas directas. En Docker, conserva el directorio de almacenamiento de la aplicación de forma persistente en tu servidor. En Cloud administrado, esos datos residen en la instancia alojada.

Embeddings e índice. La configuración predeterminada de LanceDB guarda el índice vectorial en la instancia de AnythingLLM. Mantén el generador de embeddings integrado para procesar el texto localmente. Si eliges un proveedor de embeddings en la nube, el texto que se va a convertir debe enviarse a ese proveedor, aunque los vectores resultantes se guarden localmente. Una base de datos vectorial remota añade otra ubicación con datos del índice. Trata los embeddings y el texto indexado como datos de la empresa, no como una forma de anonimización.

La solicitud de respuesta. Un modelo de chat en la nube recibe el contenido del prompt necesario para responder: tu pregunta, el contexto de conversación aportado y el texto recuperado de los documentos. Adjuntar o fijar un documento puede aportar todo su texto. El PDF original puede quedarse en tu servidor mientras salen de él frases confidenciales. Las condiciones y los ajustes de retención del proveedor receptor rigen esa copia; AnythingLLM no puede hacer que una solicitud de inferencia remota permanezca en tus instalaciones.

Agentes y servicios externos. Las búsquedas web, las API externas y las herramientas MCP pueden enviar información a otros lugares. Un modelo local no convierte esos servicios en locales. Para un asistente documental estrictamente interno, desactiva las habilidades externas y comprueba qué herramientas están disponibles antes de añadir archivos sensibles.

El detalle de configuración más decisivo está en la documentación de embeddings: el generador de embeddings se aplica a todo el sistema, mientras que el modelo de chat puede variar por espacio de trabajo. Por tanto, un espacio con un modelo de chat local puede seguir enviando sus documentos a un generador de embeddings en la nube. Si el trabajo confidencial y el procesado externamente requieren políticas de embeddings distintas, utiliza instancias separadas; cambiar el modelo de un espacio no establece esa separación.

También conviene distinguir entre borrar un documento y retirar el acceso. Quitar un documento de un espacio deja el archivo procesado y su caché en la biblioteca documental. La guía de privacidad y eliminación indica que debes borrarlo desde My Documents para eliminar la fuente procesada y los embeddings en caché de todos los espacios de trabajo. Las copias de seguridad y los servicios externos necesitan su propia gestión de retención.

La telemetría es otro ajuste, independiente del tráfico de los modelos. Puedes desactivar la telemetría de uso en Privacy o con DISABLE_TELEMETRY=true. Eso no desactiva los proveedores en la nube configurados, las conexiones a herramientas ni las descargas de modelos.

Cómo configurar un servidor para cinco personas

Empieza con un servidor Linux, almacenamiento persistente para la aplicación, un modelo local y cuentas individuales. El ejemplo supone una instalación nueva, Docker ya instalado y un responsable de TI capaz de proporcionar acceso autenticado mediante una red privada existente y un proxy inverso HTTPS que se ejecute en el servidor.

Los requisitos de Docker establecen una base de 2GB de RAM, una CPU de 2 núcleos y 5GB de almacenamiento para la aplicación. Eso no garantiza capacidad para inferencia local ni para cinco usuarios simultáneos. Añade memoria y disco para el modelo, los documentos y las solicitudes concurrentes. En equipos Intel o AMD con LanceDB predeterminado, verifica la compatibilidad con AVX2 dentro del servidor o de la máquina virtual; ARM64 utiliza una compilación independiente.

1. 1

   Crea almacenamiento persistente e inicia la aplicación

   Ejecuta esto en el servidor con la cuenta de su operador. Es una adaptación del comando oficial: vincula el puerto web a loopback para usar un proxy HTTPS, añade reinicio automático, desactiva la telemetría y habilita la inferencia local.

   export ANYTHINGLLM_STORAGE="$HOME/anythingllm"
   mkdir -p "$ANYTHINGLLM_STORAGE"
   touch "$ANYTHINGLLM_STORAGE/.env"
   sudo chown -R 1000:1000 "$ANYTHINGLLM_STORAGE"
   
   docker pull mintplexlabs/anythingllm:latest
   docker run -d \
     --name anythingllm \
     --restart unless-stopped \
     -p 127.0.0.1:3001:3001 \
     --cap-add SYS_ADMIN \
     -v "$ANYTHINGLLM_STORAGE:/app/server/storage" \
     -v "$ANYTHINGLLM_STORAGE/.env:/app/server/.env" \
     -e STORAGE_DIR=/app/server/storage \
     -e DISABLE_TELEMETRY=true \
     -e ENABLE_BUILT_IN_LLM=true \
     mintplexlabs/anythingllm:latest

   El montaje conserva los datos al sustituir el contenedor. La propiedad del directorio sigue el usuario documentado de la imagen, 1000:1000; no resuelvas un error de almacenamiento dando permiso de escritura a todo el mundo. SYS_ADMIN procede del comando publicado y concede una capacidad amplia al contenedor, por lo que debes mantener este servicio en infraestructura controlada. Consulta las instrucciones oficiales de instalación con Docker.

2. 2

   Elige un modelo local y procesa los documentos localmente

   Durante la configuración inicial, elige Built-in, descarga un modelo adecuado para el servidor y conserva el generador de embeddings integrado y la base de datos vectorial local. En Settings > AI Providers > LLM, confirma el modelo seleccionado antes de cargar archivos de la empresa.

   La guía del modelo integrado en Docker exige ENABLE_BUILT_IN_LLM=true al arrancar el contenedor. Añadirlo únicamente al archivo .env montado no habilita el motor. El comando anterior utiliza inferencia por CPU. Para aceleración con NVIDIA, sigue los requisitos de Container Toolkit de la guía y añade --gpus all; las GPU de AMD e Intel tienen sus propios ajustes de dispositivos y grupos.

   Descarga el motor, el modelo y el entorno de ejecución necesario mientras tengas acceso a internet. Evalúa el rendimiento de la CPU con la carga de tu prueba piloto antes de invitar a todo el equipo. El motor integrado mantiene un solo modelo cargado a la vez, así que empieza la prueba compartida con un modelo.

3. 3

   Habilita cuentas individuales antes de dar acceso al equipo

   En el servidor, abre http://127.0.0.1:3001 o accede a ese servicio de loopback mediante tu túnel de administración. En Security & Access, activa el modo multiusuario y crea la primera cuenta de administrador. Se cerrará tu sesión; vuelve a entrar con las nuevas credenciales.

   Para este ejemplo de cinco personas, crea o invita a cuatro colegas desde la gestión de usuarios y asigna a cada uno el rol Default. Con tu cuenta Admin, serán cinco usuarios. La documentación de roles indica que los usuarios Default solo pueden conversar en los espacios a los que se les haya añadido expresamente. Un Manager puede ver todos los espacios, por lo que sus permisos son demasiado amplios para alguien que solo debe consultar los documentos de un departamento. Admin tiene acceso completo al sistema. El cambio documentado al modo multiusuario es irreversible.

4. 4

   Crea los espacios de trabajo y conecta los navegadores del equipo

   Crea Operaciones compartidas para los procedimientos aprobados y añade las cinco cuentas. Crea Propietarios para el material restringido y asigna únicamente a quienes deban utilizarlo. Coloca cada documento en su espacio correspondiente; no indexes material sensible en Operaciones compartidas para después intentar ocultarlo con un prompt.

   Configura el proxy inverso HTTPS existente para que redirija el nombre de host elegido por el equipo a http://127.0.0.1:3001 en este servidor, y limita el acceso de red al personal. El ejemplo no expone directamente ningún puerto web público. Cada colega abre esa dirección HTTPS e inicia sesión con su propia cuenta.

5. 5

   Comprueba que todo funciona antes de ampliar el uso

   Empieza con un conjunto pequeño de documentos aprobados y diez preguntas representativas, incluidas dos que los documentos no puedan responder. Comprueba los pasajes de origen, los espacios permitidos a un usuario común y el caso de un usuario al que se deba denegar el acceso. Después pide a las cinco personas que envíen solicitudes representativas a la vez y observa los tiempos de espera y el uso de memoria.

   Haz una copia conjunta del almacenamiento persistente y la configuración montada, con el contenedor detenido o mediante un método de copia coherente. Protege esa copia porque incluye documentos y secretos de configuración. Registra la versión o el digest de la imagen desplegada antes de las actualizaciones habituales y comprueba que puedas restaurar la instalación piloto.

Si utilizas en cambio un servidor local de modelos externo que ya existe, comprueba la ruta de red desde el contenedor. Dentro del contenedor, localhost apunta al propio contenedor, no al servicio de modelos del host. La guía de conexión al host explica la diferencia; usa una dirección accesible y limita el servicio de modelos a clientes de confianza.

Agentes y MCP: qué puede salir del espacio de trabajo

Un agente añade acciones al chat con documentos. Puede utilizar herramientas para recuperar información o ejecutar tareas, así que sus permisos merecen tanta atención como los documentos que lee.

En Settings > Agent Skills, selecciona solo las habilidades necesarias para el flujo de trabajo. Algunas están activadas de forma predeterminada. La guía de configuración de agentes también permite elegir un modelo de agente por espacio de trabajo. En una primera prueba, recuperar una política aprobada es un punto de partida más adecuado que conceder acceso a todos los sistemas de la empresa.

Model Context Protocol, o MCP, es una forma común de conectar modelos con herramientas desde las aplicaciones. La configuración MCP de AnythingLLM admite servidores locales basados en comandos y conexiones remotas. Una herramienta puede leer un directorio, consultar una base de datos o llamar a otro servicio; las credenciales que le proporciones determinan el alcance de esa acción.

Docker alojado en infraestructura propia admite MCP Tools, pero no Resources, Prompts ni Sampling, según la guía de MCP para Docker. La configuración está en plugins/anythingllm_mcp_servers.json, dentro del directorio de almacenamiento persistente. Tras modificarla, abre Agent Skills y pulsa Refresh.

Un servidor MCP iniciado localmente se ejecuta dentro del contenedor. Ve las rutas del contenedor y los archivos montados expresamente, no cualquier carpeta del host. Las dependencias de herramientas instaladas a mano pueden desaparecer al sustituir el contenedor; haz que su instalación sea reproducible antes de depender de ellas.

No des por hecho que restringir un espacio de trabajo también restringe las credenciales de base de datos de una herramienta. Dale una cuenta con permisos limitados y comprueba su acceso por separado. Una prueba de solo lectura permite revisar mejor las consecuencias antes de autorizar acciones que modifiquen registros o envíen mensajes.

Alternativas a AnythingLLM: cuándo elegir otra herramienta

Elige AnythingLLM cuando el trabajo gire en torno a espacios documentales compartidos. Su ventaja está en cómo integra esas piezas, no en ser la única aplicación con chat documental o MCP.

Open WebUI para una interfaz de chat compartida más general

Open WebUI es un mejor candidato inicial si buscas ante todo una interfaz general alojada en infraestructura propia para distintos servicios de modelos, con extensiones que quieras configurar. Su documentación cubre las conexiones con proveedores y las posibilidades de ampliación, y su guía actual de funciones esenciales explica los documentos adjuntos y las bases de conocimiento reutilizables.

Conserva una instalación de Open WebUI que funcione si ya cubre tus necesidades documentales y de acceso. Cambiar de interfaz no arreglará por sí solo unas fuentes deficientes o un modelo inadecuado. Da preferencia a AnythingLLM cuando quieras organizar el despliegue alrededor de unos pocos espacios documentales con usuarios claramente asignados.

LibreChat para conectar herramientas con credenciales individuales

LibreChat merece una evaluación más detallada si cada persona debe conectar herramientas con sus propias credenciales. Su documentación de MCP describe conexiones y credenciales por usuario, inicio de sesión con OAuth y herramientas vinculadas a chats o agentes.

Es un motivo concreto para evaluarlo en una empresa cuyos sistemas requieren autorización individual. A cambio, tendrás que administrar esas conexiones y elegir modelos que llamen a sus herramientas de forma fiable. Para una pequeña biblioteca compartida de políticas con pocas herramientas, la organización por espacios de AnythingLLM sigue siendo el punto de partida más directo.

AnythingLLM frente a LM Studio

LM Studio encaja con quien busca principalmente descargar, ejecutar y comparar modelos locales de forma individual. Su documentación actual de la aplicación también cubre MCP, el servicio mediante API y la ejecución sin interfaz gráfica; su guía de uso sin conexión incluye el chat local con documentos. Por tanto, puede ser útil por sí solo o como servicio de modelos para otra aplicación.

Elige AnythingLLM Docker si el requisito decisivo es una aplicación documental compartida con acceso asignado por espacio de trabajo. Elige LM Studio si lo que necesitas ante todo es operar modelos. La diferencia está en la capa que necesitas, no en que uno pueda leer documentos y el otro no.

Para decidir cómo servir los modelos, consulta Ollama frente a LM Studio. Si ninguno encaja con tu hardware o tus necesidades de servicio, la guía de alternativas a Ollama cubre otros entornos de ejecución.

Qué se exagera al hablar de «IA privada»

«Se ejecuta localmente» describe una configuración, pero no explica por completo adónde van tus datos. Una interfaz local puede llamar a un modelo en la nube; un modelo local puede usar una herramienta externa; un índice local puede generarse mediante embeddings en la nube.

«Conversa con todos tus documentos» también exagera lo que abarca una recuperación convencional. El sistema selecciona pasajes y puede omitir la excepción que cambia una respuesta. Añadir documentos no entrena permanentemente al modelo, y un pasaje citado debe respaldar la conclusión.

Por último, los requisitos mínimos de instalación no garantizan el rendimiento para un equipo. La experiencia depende del modelo, la longitud del contexto, la carga de embeddings y las solicitudes simultáneas. Adóptalo si ya tienes un responsable del servidor y una tarea documental concreta. Espera si aún no puedes definir quién debe acceder a los archivos o cómo sería una respuesta aceptable. Conserva el sistema existente si ya cumple esos requisitos.

Preguntas frecuentes

¿AnythingLLM es un proyecto legítimo?

Sí. Es un proyecto de código abierto de Mintplex Labs, con código público y documentación de instalación. Eso permite conocer su procedencia; no certifica la seguridad de tu modelo, tus complementos o la configuración de tu servidor.

¿Para qué sirven los LLM?

Los LLM generan y resumen texto, responden preguntas y ayudan a redactar. Aquí, la tarea útil para la empresa es responder una consulta con pasajes relevantes de un conjunto de documentos aprobados. Un agente añade herramientas para ejecutar acciones.

¿Hay modelos de IA gratuitos y de código abierto?

Sí, hay modelos descargables que puedes ejecutar localmente. Revisa la licencia y las condiciones de uso comercial de cada modelo; no supongas que la licencia MIT de AnythingLLM también cubre los pesos del modelo. El hardware y la administración siguen teniendo costos.

¿Puedo ejecutar un LLM localmente con Ollama?

Sí. Ejecuta un modelo adecuado en Ollama y conecta AnythingLLM al servicio mediante una dirección accesible. En Docker, ten en cuenta la red del contenedor; no des por hecho que la dirección localhost del host funcionará dentro de él.

¿Cuáles son las principales diferencias entre Ollama y AnythingLLM?

Ollama aporta la capa que ejecuta los modelos. AnythingLLM aporta una aplicación de documentos, espacios de trabajo y agentes que puede usar esa capa. Pueden trabajar juntos, y la edición actual de AnythingLLM para Docker también tiene un motor integrado opcional.

¿Cuál es la forma más económica de ejecutar LLM localmente?

Empieza con el hardware que ya tienes y un modelo que quepa en él; después comprueba si resuelve tu tarea con suficiente rapidez. Compra más hardware solo cuando hayas identificado el cuello de botella. No existe una configuración universalmente más barata al margen de la carga de trabajo y del tiempo de espera aceptable.

¿Cuál es el LLM menos inteligente?

Esa etiqueta no permite establecer una clasificación universal útil. Un modelo puede escribir con fluidez y fallar al recuperar documentos o usar herramientas. Evalúalo con tus propias preguntas, incluidos los casos en los que debería admitir que la fuente no contiene la respuesta.

¿Cuál es el LLM local más inteligente?

La elección adecuada depende de la tarea, la memoria disponible y la espera aceptable. Utiliza un modelo que quepa en tu hardware y evalúa la fidelidad a las fuentes y el comportamiento de las herramientas. Este artículo basado en documentación no proclama un ganador de pruebas de rendimiento.

¿Cuánta RAM hace falta para ejecutar LLM localmente?

Los requisitos de Desktop de AnythingLLM recomiendan, para un uso local básico, 16GB de RAM y una CPU de 8 núcleos. Un servidor también necesita capacidad para el modelo elegido y las solicitudes simultáneas. La base mucho menor que requiere solo la aplicación no representa la memoria total necesaria para la inferencia local.

El primer paso para ponerlo en marcha

Asigna a un responsable de TI el servidor, un conjunto de documentos aprobados y una prueba de aceptación clara. Empieza con inferencia local, el generador de embeddings integrado, almacenamiento local y modo Query; deja desactivadas las herramientas innecesarias. Invita a las otras cuatro personas después de comprobar sus permisos en los espacios de trabajo. Si necesitas un modelo en la nube, decide expresamente qué texto puede salir antes de cambiar ese ajuste.

Para recibir orientación práctica sobre cómo aplicar la IA en una pequeña empresa, suscríbete al boletín.