LLM local : protéger les données de votre PME sans le cloud

En 2025, 26 % des TPE et PME françaises utilisent déjà une solution d'intelligence artificielle, contre 13 % un an plus tôt (France Num, baromètre 2025, septembre 2025). Beaucoup de dirigeants aimeraient aller plus loin : faire analyser leurs contrats, leurs devis ou leur documentation interne par une IA. Le frein, presque toujours, est le même : ces documents sont confidentiels, et personne ne sait vraiment ce qu'il advient d'un fichier une fois envoyé à une API cloud américaine. Une alternative existe, moins connue mais de plus en plus accessible : faire tourner le modèle d'IA directement sur son propre matériel, sans jamais transmettre la moindre donnée à un tiers.

À Retenir

• 26 % des TPE-PME françaises utilisent l'IA générative en 2025, contre 13 % en 2024, une adoption qui pose de plus en plus la question de la confidentialité des documents transmis
• 41 % des employés utilisent des outils IA non approuvés par leur entreprise, et 11 % des données collées dans ChatGPT en contexte professionnel sont confidentielles
• Un LLM local traite les documents entièrement sur l'infrastructure de l'entreprise, sans appel API externe ni risque lié au Cloud Act américain
• Le retour sur investissement d'une installation locale se situe autour de 14 mois face à un usage cloud intensif

Pourquoi les PME s'inquiètent-elles de l'IA générative pour leurs données ?

Le problème n'est pas hypothétique. Selon une étude Cyberhaven relayée par IA Cyber Sécurité, 11 % des données collées dans ChatGPT en contexte professionnel sont de nature confidentielle : extraits de contrats, données clients, code source, informations RH. Pire, une étude Gartner de 2025 relayée par la même source indique que 41 % des employés utilisent des outils d'IA non validés par leur entreprise, et que dans 72 % des cas, ces usages échappent totalement au contrôle du département IT.

Concrètement, cela signifie qu'une partie de vos documents les plus sensibles peut déjà transiter par des serveurs tiers, sans que personne dans l'entreprise n'en ait une vue d'ensemble. Ce n'est pas nécessairement de la malveillance : c'est souvent un collaborateur qui cherche à gagner du temps sur une tâche répétitive, sans mesurer où finit le fichier qu'il vient de coller dans une interface de chat.

Qu'est-ce qu'un LLM local, concrètement ?

Un LLM (Large Language Model) local est un modèle de langage installé et exécuté directement sur le matériel de l'entreprise — un serveur interne, un poste de travail puissant, voire un simple Mac Mini récent — plutôt que sur les serveurs distants d'un fournisseur comme OpenAI, Google ou Microsoft. Le principe est simple : au lieu d'envoyer une requête sur Internet et d'attendre une réponse générée ailleurs, le calcul se fait en mémoire vive, localement, sans aucune connexion sortante nécessaire une fois le modèle installé.

Plusieurs modèles open source sont aujourd'hui suffisamment performants pour un usage professionnel courant, avec des besoins matériels raisonnables pour une PME :

• Mistral 7B, modèle français réputé pour ses bonnes performances sur les documents juridiques en français
• Llama 3.1 8B, bilingue français-anglais, polyvalent
• Gemma 2 9B, alternative légère développée par Google mais distribuée en open source

Ces modèles n'égalent pas les plus grands modèles propriétaires sur des tâches très complexes, mais ils couvrent largement les besoins courants d'une PME : résumer un document, extraire des informations, trier des e-mails, répondre à des questions sur une base de connaissances interne.

Cloud Act et RGPD : le vrai risque juridique des API IA américaines

Au-delà du risque de fuite accidentelle, il existe un risque structurel propre aux fournisseurs d'IA américains : le Cloud Act. Cette loi autorise les autorités américaines à exiger l'accès aux données détenues par une entreprise américaine, y compris lorsque ces données sont physiquement stockées en Europe. Autrement dit, héberger vos échanges avec ChatGPT ou Copilot sur un serveur européen d'OpenAI ou de Microsoft ne vous met pas à l'abri d'une réquisition américaine (IA Cyber Sécurité).

Pour une PME qui traite des données clients, des dossiers RH ou des documents couverts par un secret professionnel, ce point mérite d'être pris au sérieux, indépendamment de la qualité des clauses contractuelles proposées par les éditeurs. Un LLM local élimine structurellement ce risque : les données ne quittent jamais l'infrastructure de l'entreprise, donc aucune autorité étrangère ne peut légalement les réclamer à un tiers qui ne les détient pas. Cela simplifie aussi la conformité RGPD, puisqu'aucun accord de sous-traitance ni transfert hors UE n'est nécessaire pour ce traitement.

RAG et LLM local : interroger ses documents internes en toute confidentialité

L'intérêt d'un LLM local devient particulièrement concret lorsqu'il est associé à une technique appelée RAG (Retrieval-Augmented Generation, ou génération augmentée par récupération). Le principe : plutôt que de se contenter des connaissances générales du modèle, on lui donne accès à une base documentaire propre à l'entreprise — contrats, procédures internes, historique de devis — et il répond en s'appuyant sur ces documents précis.

Combiné à un LLM local, le RAG permet d'interroger en langage naturel une base de plusieurs dizaines de contrats ou de milliers de pages de documentation, sans qu'aucun de ces fichiers ne transite jamais par une API externe. C'est le cas d'usage le plus fréquemment cité pour les PME : un assistant interne capable de répondre à « quelles sont les clauses de résiliation de nos contrats fournisseurs ? » en s'appuyant directement sur les vrais documents de l'entreprise, avec citation de la source exacte.

Combien coûte une IA locale pour une PME ?

C'est souvent le point qui fait hésiter, mais les chiffres méritent d'être mis en perspective. Selon une estimation détaillée de Cap Numerik, pour une cinquantaine d'utilisateurs actifs, le coût total sur trois ans d'une solution cloud (consommation API mensuelle comprise) atteint environ 95 800 €, contre environ 47 000 € pour une infrastructure locale équivalente — soit près de 48 800 € d'écart sur la période. Le point de bascule financier, c'est-à-dire le moment où l'investissement local devient rentable face à l'abonnement cloud, se situe généralement autour du 14ᵉ mois d'usage.

Pour une structure plus modeste qui veut simplement tester l'approche, l'investissement de départ reste accessible : un Mac Mini M4 Pro avec 24 Go de RAM coûte environ 1 400 €, et un petit serveur équipé d'une carte graphique NVIDIA RTX 4060 revient entre 1 200 € et 2 000 €. Ces montants restent ensuite fixes, alors qu'un abonnement cloud continue de croître avec le volume d'usage et le nombre de collaborateurs.

Comment démarrer : matériel, modèles et sécurité

Se lancer ne nécessite pas une équipe IT dédiée, mais quelques précautions s'imposent :

1. Choisir le bon matériel selon le volume d'usage prévu : un poste puissant suffit pour une équipe de quelques personnes ; un serveur GPU dédié devient pertinent au-delà d'une vingtaine d'utilisateurs simultanés.
2. Sélectionner un modèle adapté à la langue et au domaine principal de l'entreprise (Mistral 7B pour le français juridique, par exemple).
3. Ne jamais exposer le port de l'API sur Internet. Les outils courants comme Ollama (port 11434) ou Open WebUI (port 3000) doivent rester accessibles uniquement en réseau interne ; l'accès pour les collaborateurs en télétravail doit passer par un VPN chiffré.
4. Prévoir la maintenance : mise à jour régulière du modèle, supervision de la charge serveur, sauvegarde de la base documentaire utilisée en RAG.

Ce dernier point rejoint un sujet plus large : quelle que soit la solution choisie, une infrastructure mal sécurisée expose l'entreprise à des risques bien réels, comme le montre notre article sur la faille WP2Shell qui a touché des milliers de sites WordPress. Le LLM local ne dispense pas d'une hygiène de sécurité de base.

LLM local ou API cloud : comment trancher selon votre usage ?

Le choix dépend avant tout de la sensibilité des données traitées et du volume d'usage, pas d'un principe absolu. Pour une entreprise qui utilise l'IA ponctuellement, sur des tâches génériques et sans document confidentiel, une API cloud reste souvent le choix le plus simple et le plus économique à court terme. En revanche, dès que l'usage porte sur des données clients, des dossiers juridiques, des données de santé ou des informations couvertes par un secret professionnel, ou dès que le volume d'usage devient régulier avec plusieurs collaborateurs, la trajectoire la plus robuste combine généralement LLM local, RAG et gouvernance interne claire sur les usages autorisés.

Chez Le Linter, c'est la première question que nous posons à un client qui souhaite exploiter l'IA sur ses données internes : quelle sensibilité, quel volume, quel budget de démarrage. Cette clarification en amont évite le scénario le plus fréquent que nous constatons — une entreprise qui s'équipe en cloud par défaut, sans avoir mesuré ce que cela implique pour ses documents les plus sensibles.

Cette réflexion s'inscrit dans une démarche plus large d'adoption raisonnée de l'IA en entreprise, que nous détaillons dans notre guide d'évaluation en 5 étapes. Elle complète aussi notre guide sur l'IA pour les PME, qui aborde les usages courants avant même la question de l'hébergement, et fait écho à notre retour d'expérience sur les agents IA en développement web, où la même question de confiance et de contrôle se pose sur le code produit.

Vous vous interrogez sur la meilleure façon d'intégrer l'IA à votre activité sans exposer vos données sensibles ? Parlons-en : un échange de 15 minutes suffit pour clarifier vos priorités.

En résumé

• 26 % des TPE-PME françaises utilisent déjà l'IA générative en 2025, et une part croissante de ces usages échappe au contrôle de l'entreprise
• Un LLM local élimine le risque de transfert de données vers des serveurs tiers et simplifie la conformité RGPD, en évitant l'exposition au Cloud Act américain
• Combiné au RAG, il permet d'interroger sa propre base documentaire en langage naturel, sans jamais exposer les fichiers à l'extérieur. Pour un comparatif plus complet sur où héberger vos données (cloud américain vs cloud souverain), consultez notre dossier sur le Cloud Act et la souveraineté des données
• Le point de bascule financier face à un usage cloud intensif se situe autour de 14 mois
• Le choix entre local et cloud dépend avant tout de la sensibilité des données traitées et du volume d'usage, pas d'un principe absolu