AnythingLLM : une IA locale pour les documents de votre équipe

Pour une équipe de cinq personnes, AnythingLLM prend tout son sens avec une instance Docker auto-hébergée, des comptes individuels et un modèle local. Les échanges autour des documents peuvent ainsi rester sur votre serveur. Mais si vous choisissez un modèle cloud, le texte nécessaire à la réponse est transmis à son fournisseur. Stocker les fichiers en local ne suffit donc pas à garder les conversations dans l’entreprise.

AnythingLLM convient lorsque votre priorité est d’interroger les documents de l’entreprise, puis de doter cet assistant de quelques outils utiles. Choisissez Desktop pour un usage individuel, Docker pour un serveur partagé et Cloud, l’offre hébergée, si vous souhaitez confier l’infrastructure à Mintplex Labs.

Vérifié à partir du site officiel, de la documentation et du dépôt GitHub du projet le 5 novembre 2026. La configuration ci-dessous suit une méthode de déploiement documentée et recommande des restrictions d’accès. Elle ne constitue pas le compte rendu d’un test de performances ou de sécurité.

AnythingLLM : à quoi sert-il et quelle édition choisir ?

AnythingLLM réunit une interface de chat, la recherche documentaire, des espaces de travail et des agents autour du modèle de votre choix. Docker, un logiciel qui exécute des applications dans des conteneurs, permet de déployer l’édition serveur partagée. Le grand modèle de langage, ou LLM, produit la réponse ; AnythingLLM lui fournit les documents, la conversation et les outils disponibles pour répondre à votre question métier.

Imaginez une bibliothèque d’entreprise. Les espaces de travail sont les salles de lecture, les documents remplissent les rayonnages, l’index de recherche retrouve les passages utiles et le modèle rédige une réponse à partir des extraits qu’on lui présente. Le bibliothécaire peut rester dans vos locaux ou travailler pour un prestataire extérieur. Ce dernier choix détermine qui voit le texte.

Le comparatif des fonctionnalités Desktop et Docker réserve à Docker la gestion des utilisateurs et des droits d’accès aux espaces de travail. Installer Desktop sur chaque ordinateur portable ne crée pas un service d’équipe administré de manière centralisée.

L’offre Cloud repose sur une instance AWS isolée, exploitée par Mintplex. Cette séparation entre clients est utile, mais ne répond pas à une exigence de conservation des fichiers dans vos propres locaux. Les limitations documentées excluent aussi le LLM intégré, les connexions aux outils MCP et les agents développés sur mesure. MCP est un standard permettant de relier un agent à des outils externes. Vous connectez donc un service de modèles compatible. Les agents intégrés et l’exécution de code personnalisé sont des capacités distinctes.

Pour un dirigeant, la question est de savoir qui entretiendra le serveur. Pour le responsable informatique, il s’agit de déterminer quelles données et quels identifiants peuvent en sortir. Si votre règle est « nos documents restent sur notre matériel », commencez avec Docker et un traitement local.

LLM local ou cloud : choisissez le moteur indépendamment de l’application

AnythingLLM peut se connecter à des fournisseurs de modèles locaux ou cloud. Installer l’application ne vous enferme donc pas dans une famille de modèles. La configuration des fournisseurs distingue le choix par défaut du système, les réglages propres aux espaces de travail et le modèle des agents.

Le moteur intégré s’appuie sur Lemonade, une couche de service de modèles, et sur llama.cpp, qui exécute des modèles locaux compatibles. Il accepte les fichiers GGUF, un format de distribution de modèles téléchargeables. La documentation donne des exemples avec Llama et Phi ; le guide Docker présente aussi Qwen. Choisissez un modèle adapté à votre machine : les besoins matériels ne sont pas identiques pour tous les modèles d’une même famille.

Les connexions locales externes comprennent LM Studio, une application de bureau et un serveur de modèles, ainsi que LocalAI. Côté cloud, vous pouvez connecter les modèles de chat OpenAI, les modèles Claude d’Anthropic et Google Gemini, ainsi que des points de terminaison génériques compatibles OpenAI. La liste des intégrations du dépôt recense d’autres fournisseurs.

Ces possibilités de connexion ne garantissent pas que tous les modèles traitent aussi bien les documents, les images et les appels d’outils. Un modèle peut rédiger une réponse lisible tout en choisissant le mauvais outil ou en suivant mal une longue consigne.

AnythingLLM et Ollama peuvent fonctionner ensemble

Ollama est un moteur de modèles distinct, capable de fournir des réponses locales à AnythingLLM. L’application ajoute autour de ce moteur des espaces documentaires et des contrôles d’accès. Si vous exploitez déjà un service de modèles local qui fonctionne, le conserver constitue un point de départ raisonnable.

Une nouvelle installation peut aussi utiliser le moteur de modèles intégré en option dans Docker, présenté plus bas. Choisir l’édition d’équipe ne vous oblige pas à ajouter un serveur de modèles distinct.

Pour un espace Opérations confidentiel, sélectionnez un modèle de chat local et vérifiez également le modèle de son agent. Un autre espace peut utiliser un fournisseur cloud si sa politique de données l’autorise. Le modèle d’embeddings fait l’objet d’un choix distinct, commun à toute l’instance : c’est la réserve essentielle à cette souplesse.

RAG dans AnythingLLM : comment les espaces exploitent-ils vos documents ?

La recherche documentaire d’AnythingLLM fournit au modèle des passages pertinents ; elle ne lui apprend pas définitivement le contenu de chaque fichier. La génération augmentée par la recherche, ou RAG, consiste à chercher dans vos sources, puis à insérer des extraits sélectionnés dans la question envoyée au modèle.

Un embedding est une représentation numérique qui permet de rapprocher des textes apparentés. L’application découpe un document en segments, crée leurs embeddings et stocke un index interrogeable. À chaque question, la recherche sélectionne les segments utiles à la réponse. La fenêtre de contexte du modèle correspond à la quantité de texte qu’il peut prendre en compte en une fois : consignes, historique et extraits compris.

Vous pouvez fournir les documents de deux façons :

• Joignez un document à un chat pour travailler sur ce fichier précis. AnythingLLM insère par défaut son texte intégral, dans la limite de la fenêtre de contexte. La pièce jointe reste limitée à cet espace de travail et à ce fil de discussion.
• Indexez un document dans un espace de travail pour en faire une connaissance réutilisable. Il devient accessible dans les différents fils de cet espace et aux utilisateurs autorisés à y accéder.

Le guide de gestion des documents explicite ce changement de périmètre. Déplacer le brouillon d’un dirigeant vers un espace partagé est une décision de partage, même si la conversation initiale semblait privée.

Par exemple, placez une procédure de retour approuvée dans un espace Support. « Que doit vérifier un conseiller avant d’autoriser un retour ? » est une question adaptée à la recherche documentaire. « Liste toutes les exceptions dans l’ensemble de nos fichiers » exige une couverture plus large que quelques extraits pertinents. Vérifiez la procédure source avant de considérer la réponse comme exhaustive.

Pour le premier pilote documentaire, utilisez le mode Query. Il est conçu pour répondre à partir des contenus importés et signaler l’absence d’informations pertinentes. Le mode Chat utilise aussi les connaissances générales du modèle ; le mode Agent peut appeler des outils. Ce sont les modes de conversation documentés. Les nouveaux espaces peuvent démarrer en mode Agent : choisissez donc ce réglage explicitement.

AnythingLLM protège-t-il les documents confidentiels de l’entreprise ?

AnythingLLM vous laisse choisir les composants, mais la confidentialité dépend de la configuration de chacun de ceux qui traitent le texte. Il faut examiner où s’effectue le traitement, au-delà de l’étiquette « local » de l’application.

Fichiers et texte stocké. Desktop conserve ses données dans un répertoire local. La documentation du stockage y recense les documents analysés, les embeddings en cache, la base de données et les fichiers importés directement. Avec Docker, rendez le répertoire de stockage de l’application persistant sur votre serveur. Avec Cloud, les données correspondantes résident sur l’instance hébergée.

Embeddings et index. La configuration LanceDB par défaut conserve l’index vectoriel sur l’instance AnythingLLM. Gardez le moteur d’embeddings intégré pour traiter le texte localement. Si vous sélectionnez un fournisseur d’embeddings cloud, le texte à vectoriser doit lui être envoyé, même si les vecteurs obtenus restent stockés en local. Une base vectorielle distante ajoute un autre lieu de stockage des données d’index. Les embeddings et le texte indexé restent des données de l’entreprise ; ce n’est pas une anonymisation.

Requête de réponse. Un modèle de chat cloud reçoit le contenu du prompt nécessaire à la réponse : votre question, le contexte de conversation fourni et les extraits documentaires retrouvés. Joindre ou épingler un document peut transmettre son texte intégral. Le PDF d’origine peut rester sur votre serveur alors que des phrases confidentielles en sortent. Cette copie relève des conditions et des paramètres de conservation du fournisseur destinataire. AnythingLLM ne peut pas maintenir sur site une requête d’inférence distante.

Agents et services externes. Les recherches web, les API externes et les outils MCP peuvent envoyer des informations ailleurs. Un modèle local ne rend pas ces services locaux. Pour un assistant documentaire strictement interne, désactivez les compétences externes et vérifiez les outils disponibles avant d’ajouter des fichiers sensibles.

Le point de configuration le plus déterminant figure dans la documentation des embeddings : le moteur d’embeddings est commun à toute l’instance, alors que les modèles de chat peuvent varier selon l’espace. Un espace utilisant un modèle de chat local peut donc quand même envoyer ses documents à un moteur d’embeddings cloud. Si les travaux confidentiels et ceux traités à l’extérieur exigent des politiques d’embeddings différentes, utilisez des instances distinctes. Un changement de modèle dans un espace ne crée pas cette séparation.

Distinguez aussi suppression et retrait d’accès. Retirer un document d’un espace laisse le fichier analysé et son cache dans la bibliothèque documentaire. Le guide de confidentialité et de suppression indique qu’il faut le supprimer depuis My Documents pour retirer la source analysée et les embeddings en cache dans l’ensemble des espaces. Les copies présentes dans les sauvegardes ou chez des services externes nécessitent leur propre gestion de la conservation.

La télémétrie constitue un réglage distinct du trafic des modèles. Vous pouvez désactiver la télémétrie d’usage dans Privacy ou avec DISABLE_TELEMETRY=true. Cela ne désactive ni les fournisseurs cloud configurés, ni les connexions aux outils, ni les téléchargements de modèles.

AnythingLLM Docker : installer une équipe de cinq personnes sur un serveur

Partez d’un serveur Linux, d’un stockage applicatif persistant, d’un modèle local et de comptes individuels. L’exemple suppose une installation neuve, Docker déjà installé et un responsable informatique capable de fournir un accès authentifié via un réseau privé existant et un reverse proxy HTTPS exécuté sur le serveur.

Les prérequis Docker indiquent une base de 2GB de RAM, un processeur à 2 cœurs et 5GB de stockage pour l’application. Ce minimum ne garantit ni l’inférence locale ni l’usage simultané par cinq personnes. Prévoyez de la mémoire et du disque supplémentaires pour le modèle, les documents et les requêtes concurrentes. Sur une machine Intel ou AMD avec LanceDB par défaut, vérifiez la prise en charge d’AVX2 dans le serveur ou la machine virtuelle ; ARM64 utilise une compilation distincte.

1. 1

   Créer le stockage persistant et démarrer l’application

   Exécutez ces commandes sur le serveur en tant qu’exploitant. Elles adaptent la commande d’installation officielle : le port web est lié à l’interface de bouclage pour passer par un proxy HTTPS, le redémarrage automatique est ajouté, la télémétrie est désactivée et l’inférence locale est activée.

   export ANYTHINGLLM_STORAGE="$HOME/anythingllm"
   mkdir -p "$ANYTHINGLLM_STORAGE"
   touch "$ANYTHINGLLM_STORAGE/.env"
   sudo chown -R 1000:1000 "$ANYTHINGLLM_STORAGE"
   
   docker pull mintplexlabs/anythingllm:latest
   docker run -d \
     --name anythingllm \
     --restart unless-stopped \
     -p 127.0.0.1:3001:3001 \
     --cap-add SYS_ADMIN \
     -v "$ANYTHINGLLM_STORAGE:/app/server/storage" \
     -v "$ANYTHINGLLM_STORAGE/.env:/app/server/.env" \
     -e STORAGE_DIR=/app/server/storage \
     -e DISABLE_TELEMETRY=true \
     -e ENABLE_BUILT_IN_LLM=true \
     mintplexlabs/anythingllm:latest

   Le montage conserve vos données lors du remplacement du conteneur. Le réglage du propriétaire suit l’utilisateur documenté de l’image, 1000:1000 ; ne corrigez pas une erreur de stockage en donnant à tout le monde le droit d’écrire dans le répertoire. SYS_ADMIN reprend la commande publiée et accorde une capacité étendue au conteneur : gardez ce service sur une infrastructure maîtrisée. Consultez les instructions officielles d’installation Docker.

2. 2

   Choisir un modèle local et traiter les documents sur place

   Lors de la configuration initiale, choisissez Built-in, téléchargez un modèle adapté au serveur et conservez le moteur d’embeddings intégré ainsi que la base vectorielle locale. Dans Paramètres > Fournisseurs d’IA > LLM, confirmez le modèle sélectionné avant d’importer les fichiers de l’entreprise.

   Le guide du modèle intégré à Docker exige ENABLE_BUILT_IN_LLM=true au démarrage du conteneur. Le placer uniquement dans le fichier .env monté n’active pas le moteur. La commande ci-dessus utilise l’inférence sur CPU. Pour l’accélération NVIDIA, suivez les prérequis Container Toolkit du guide et ajoutez --gpus all ; les GPU AMD et Intel ont leurs propres réglages de périphériques et de groupes.

   Téléchargez le moteur, le modèle et l’environnement d’exécution requis tant que l’accès à Internet est disponible. Évaluez les performances du CPU avec la charge de votre pilote avant d’inviter toute l’équipe. Le moteur intégré ne garde qu’un modèle chargé à la fois : commencez donc le pilote partagé avec un seul modèle.

3. 3

   Activer les comptes individuels avant d’ouvrir l’accès à l’équipe

   Sur le serveur, ouvrez http://127.0.0.1:3001, ou accédez à ce service de bouclage par votre tunnel d’administration. Dans Sécurité et accès, activez le mode multi-utilisateur et créez le premier compte administrateur. Vous serez déconnecté ; reconnectez-vous avec les nouveaux identifiants.

   Pour cet exemple à cinq personnes, créez ou invitez quatre collègues depuis la gestion des utilisateurs, chacun avec le rôle Default. Avec votre compte Admin, vous obtenez cinq utilisateurs. La documentation des rôles précise que les utilisateurs Default ne peuvent dialoguer que dans les espaces auxquels ils ont été explicitement ajoutés. Un Manager peut voir tous les espaces : ce rôle est donc trop large pour un collègue qui ne doit consulter que les documents de son service. Admin dispose d’un accès complet au système. Le passage au mode multi-utilisateur est documenté comme irréversible.

4. 4

   Créer les espaces et connecter les navigateurs de l’équipe

   Créez Opérations partagées pour les procédures approuvées et ajoutez les cinq comptes. Créez Direction pour les contenus à accès restreint et n’y affectez que les personnes concernées. Placez chaque document dans l’espace adapté ; n’indexez pas de contenu sensible dans Opérations partagées en essayant ensuite de le masquer avec un prompt.

   Configurez votre reverse proxy HTTPS existant pour transmettre le nom d’hôte choisi par l’équipe vers http://127.0.0.1:3001 sur ce serveur, et réservez l’accès réseau au personnel. Cet exemple n’expose volontairement aucun port web public directement. Chaque collègue ouvre l’adresse HTTPS et se connecte avec son propre compte.

5. 5

   Valider le pilote avant de l’étendre

   Commencez avec un petit ensemble de documents approuvés et dix questions représentatives, dont deux auxquelles les documents ne permettent pas de répondre. Vérifiez les passages sources, les espaces autorisés à un utilisateur ordinaire et le cas d’un utilisateur dont l’accès doit être refusé. Faites ensuite envoyer des requêtes représentatives par les cinq personnes en même temps et observez les délais ainsi que l’usage mémoire.

   Sauvegardez ensemble le stockage persistant et la configuration montée, en arrêtant le conteneur ou en utilisant une méthode de sauvegarde cohérente. Protégez cette sauvegarde : elle contient des documents et des secrets de configuration. Relevez la version ou le digest de l’image déployée avant les mises à jour courantes et vérifiez que vous pouvez restaurer le pilote.

Si vous préférez un serveur de modèles local externe déjà en service, vérifiez comment le conteneur peut le joindre. Dans un conteneur, localhost désigne ce conteneur, pas le service de modèles de l’hôte. Le guide de connexion à l’hôte explique cette distinction ; utilisez une adresse joignable et réservez le service de modèles aux appelants de confiance.

Agents et MCP : quelles données peuvent sortir de l’espace de travail ?

Un agent ajoute des actions au chat documentaire. Il peut utiliser des outils pour rechercher des informations ou exécuter des tâches ; ses permissions méritent donc autant d’attention que les documents qu’il lit.

Dans Paramètres > Compétences de l’agent, ne sélectionnez que les compétences nécessaires au workflow. Certaines sont activées par défaut. Le guide de configuration des agents permet aussi de choisir un modèle d’agent par espace. Pour un premier pilote, retrouver une procédure approuvée constitue un meilleur point de départ que donner accès à tous les systèmes de l’entreprise.

Model Context Protocol, ou MCP, est un moyen courant de relier des modèles à des outils dans une application. La configuration MCP d’AnythingLLM prend en charge les serveurs locaux lancés par commande et les connexions distantes. Un outil peut lire un répertoire, interroger une base de données ou appeler un autre service ; les identifiants que vous lui confiez déterminent la portée de son action.

Selon le guide MCP pour Docker, Docker auto-hébergé prend en charge MCP Tools, mais pas Resources, Prompts ni Sampling. La configuration se trouve dans plugins/anythingllm_mcp_servers.json, à l’intérieur du répertoire de stockage persistant. Après modification, ouvrez les compétences de l’agent et utilisez la commande d’actualisation Refresh.

Un serveur MCP lancé localement s’exécute dans le conteneur. Il voit les chemins du conteneur et les fichiers explicitement montés, pas n’importe quel dossier de l’hôte. Les dépendances d’outils installées manuellement peuvent disparaître au remplacement du conteneur : rendez cette installation reproductible avant d’en dépendre.

Ne supposez pas qu’une restriction d’espace limite aussi les droits des identifiants de base de données d’un outil. Donnez à l’outil un compte aux permissions limitées et vérifiez ses accès séparément. Un pilote en lecture seule facilite l’examen des conséquences avant d’autoriser des actions qui modifient des enregistrements ou envoient des messages.

Alternatives à AnythingLLM : quand choisir un autre outil ?

Choisissez AnythingLLM lorsque les espaces documentaires partagés sont au cœur du besoin. Son avantage tient à l’assemblage de ces fonctions, pas à une exclusivité sur le chat documentaire ou MCP.

Open WebUI pour une interface de chat partagée plus généraliste

Open WebUI constitue un meilleur premier candidat si vous cherchez surtout une interface auto-hébergée généraliste reliant plusieurs services de modèles, avec des extensions à configurer. Sa documentation couvre les connexions aux fournisseurs et l’extensibilité ; son guide actuel des fonctions essentielles explique les pièces jointes documentaires et les bases de connaissances réutilisables.

Conservez un déploiement Open WebUI opérationnel s’il répond déjà à vos besoins documentaires et d’accès. Changer d’interface ne corrigera ni des sources médiocres ni un modèle inadapté. Privilégiez AnythingLLM si vous souhaitez organiser le déploiement autour de quelques espaces documentaires aux accès clairement attribués.

LibreChat pour des connexions aux outils propres à chaque utilisateur

LibreChat mérite votre attention si chaque personne doit connecter des outils avec ses propres identifiants. Sa documentation MCP décrit les connexions par utilisateur, les identifiants et l’authentification OAuth, ainsi que les outils associés aux chats ou aux agents.

C’est une raison concrète de l’évaluer dans une entreprise où les autorisations d’accès aux systèmes sont individuelles. En contrepartie, il faut administrer ces connexions et choisir des modèles capables d’appeler leurs outils de manière fiable. Pour une petite bibliothèque de procédures partagée avec peu d’outils, l’organisation par espaces d’AnythingLLM reste le point de départ le plus direct.

AnythingLLM ou LM Studio ?

LM Studio convient à une personne qui souhaite surtout télécharger, exécuter et comparer des modèles locaux. Sa documentation actuelle couvre aussi MCP, l’exposition d’une API et le fonctionnement sans interface graphique ; son guide hors ligne inclut le chat documentaire local. Il peut donc être utile seul ou comme service de modèles derrière une autre application.

Choisissez AnythingLLM Docker si le critère décisif est une application documentaire partagée avec des accès attribués par espace. Choisissez LM Studio si votre priorité est l’exploitation des modèles. La différence porte sur la couche dont vous avez besoin ; elle ne se résume pas à « l’un lit les documents et l’autre non ».

Pour choisir le service qui exécutera les modèles, consultez Ollama ou LM Studio. Si aucun des deux ne convient à votre matériel ou à vos besoins de service, le guide des alternatives à Ollama présente d’autres moteurs d’exécution.

IA privée : les promesses à relativiser

« Fonctionne en local » décrit une configuration, pas l’ensemble du parcours de vos données. Une interface locale peut appeler un modèle cloud ; un modèle local peut appeler un outil externe ; un index local peut être créé par un moteur d’embeddings cloud.

« Discutez avec tous vos documents » exagère aussi la couverture d’une recherche classique. Celle-ci sélectionne des passages et peut manquer l’exception qui change la réponse. Ajouter des documents n’entraîne pas définitivement le modèle, et un passage cité doit réellement étayer la conclusion.

Enfin, le minimum requis à l’installation ne garantit pas les performances pour une équipe. Le modèle, la longueur du contexte, la charge de calcul des embeddings et le chevauchement des requêtes déterminent l’expérience. Adoptez l’outil si vous avez un responsable du serveur et un usage documentaire précis. Attendez si vous ne savez pas encore qui doit accéder aux fichiers ou ce qui constitue une réponse acceptable. Conservez votre système actuel s’il remplit déjà ces conditions.

Questions fréquentes

AnythingLLM est-il un projet sérieux ?

Oui. C’est un projet open source de Mintplex Labs dont le code et la documentation d’installation sont publics. Cela établit son origine, sans certifier la sécurité de votre modèle, de vos plugins ou de la configuration de votre serveur.

À quoi servent les LLM ?

Les LLM génèrent et résument du texte, répondent aux questions et aident à rédiger. Ici, l’usage métier consiste à répondre à une question à partir de passages pertinents issus d’un ensemble documentaire approuvé. Un agent ajoute des outils pour effectuer des actions.

Existe-t-il des modèles d’IA open source gratuits ?

Oui, des modèles téléchargeables peuvent fonctionner localement. Vérifiez la licence et les conditions d’usage commercial de chacun : la licence MIT d’AnythingLLM ne s’applique pas nécessairement aux poids du modèle. Le matériel et l’administration ont toujours un coût.

Peut-on exécuter un LLM local avec Ollama ?

Oui. Lancez un modèle adapté dans Ollama et connectez AnythingLLM au service joignable. Avec Docker, tenez compte du réseau des conteneurs : l’adresse localhost de l’hôte ne fonctionnera pas forcément à l’intérieur du conteneur.

Quelles différences entre Ollama et AnythingLLM ?

Ollama fournit la couche d’exécution des modèles. AnythingLLM fournit l’application documentaire, les espaces de travail et les agents qui peuvent utiliser cette couche. Les deux peuvent fonctionner ensemble ; l’édition Docker actuelle d’AnythingLLM propose aussi un moteur intégré en option.

Quelle est la solution la moins chère pour exécuter des LLM en local ?

Commencez avec le matériel que vous possédez déjà et un modèle adapté, puis vérifiez s’il accomplit votre tâche assez vite. N’achetez du matériel supplémentaire qu’après avoir identifié le facteur limitant. Il n’existe pas de configuration universellement moins chère indépendamment de la charge de travail et du temps d’attente acceptable.

Quel est le LLM le moins intelligent ?

Cette étiquette ne permet aucun classement universel utile. Un modèle peut écrire avec aisance et échouer en recherche documentaire ou dans l’usage des outils. Évaluez-le sur vos propres questions, y compris celles où il doit reconnaître que la source ne contient pas la réponse.

Quel est le meilleur LLM local ?

Le bon choix dépend de la tâche, de la mémoire disponible et du délai acceptable. Utilisez un modèle adapté à votre matériel et évaluez la fidélité aux sources ainsi que le comportement des outils. Ce guide fondé sur la documentation ne désigne aucun vainqueur de benchmark.

Combien de RAM faut-il pour exécuter des LLM en local ?

Les prérequis Desktop d’AnythingLLM recommandent, pour un usage local de base, 16GB de RAM et un processeur à 8 cœurs. Un serveur doit aussi disposer de ressources pour le modèle choisi et les requêtes simultanées. Le minimum bien inférieur prévu pour l’application seule ne représente pas le budget mémoire total de l’inférence locale.

Par où commencer lundi ?

Confiez à un responsable informatique un serveur, un ensemble de documents approuvés et un test de validation clair. Commencez avec l’inférence locale, le moteur d’embeddings intégré, le stockage local et le mode Query ; laissez les outils superflus désactivés. N’invitez les quatre autres personnes qu’après avoir vérifié leurs droits sur les espaces. Si un modèle cloud devient nécessaire, décidez explicitement quels textes peuvent sortir avant de modifier ce réglage.

Pour des conseils pratiques sur l’usage de l’IA dans une petite entreprise, abonnez-vous à la newsletter.