Pourquoi combiner LLM et IA spécialisée ? (cas simple)

Introduction : un duo plus puissant que chaque pièce prise isolément

Cet article est le deuxième de la série consacrée à la construction d’IA internes modernes. Après avoir clarifié la différence entre LLM et IA spécialisée, on va maintenant voir comment ces deux briques travaillent ensemble dans un cas d’usage très concret — et surtout très courant dans les entreprises : la détection d’une anomalie sur un colis.

L’objectif est simple : montrer, étape par étape, qui fait quoi, et pourquoi un LLM seul ou une IA spécialisée seule ne suffisent pas. C’est leur combinaison qui crée une solution opérationnelle fluide.

Rappel rapide : LLM vs IA spécialisée

Avant de plonger dans le scénario, un rappel en une phrase chacun :

• Le LLM est le cerveau conversationnel.
  Il comprend la demande de l’utilisateur, reformule, contextualise, choisit la bonne action et orchestre les appels API.

• L’IA spécialisée est le moteur métier.
  Elle calcule, détecte, classe ou prédit avec précision à partir de données internes.

On peut le résumer ainsi :
👉 Le LLM comprend et organise
👉 L’IA spécialisée analyse et calcule

Ce duo forme la base de ce qu’on appelle une IA composite, désormais incontournable dans les architectures modernes.

Cas simple : détection d’anomalie sur un colis

Prenons un exemple volontairement simple, mais représentatif de centaines de cas rencontrés en entreprise : un salarié constate un problème sur un colis — choc, déchirure, étiquette illisible… — et souhaite signaler l’anomalie.

Aujourd’hui, sans IA, ce processus est lourd : il faut remplir un formulaire, décrire le problème, sélectionner un type d’anomalie, envoyer des photos, parfois contacter un superviseur, etc.

Avec une IA composite, le workflow devient beaucoup plus fluide : le salarié prend une photo, décrit rapidement ce qu’il observe… et l’IA s’occupe du reste.

Voici comment se déroule la chaîne complète :

• L’utilisateur envoie une photo et une courte description
  → “Le colis semble abîmé sur le côté.”

• Le LLM analyse la demande
  Il comprend qu’il s’agit d’un signalement d’anomalie sur un colis et qu’une analyse visuelle est nécessaire.

• Le LLM appelle l’IA spécialisée
  Grâce aux tools/API qui lui sont fournis, il envoie l’image au modèle dédié à la détection d’anomalies.

• L’IA spécialisée exécute la tâche
  Elle identifie la zone endommagée, classe le type d’anomalie et renvoie un résultat fiable.

• Le LLM reformule et génère l’action métier
  Il traduit la réponse technique en message compréhensible, propose les étapes suivantes, et peut même créer automatiquement un ticket avec les bonnes informations.

Le salarié n’a rien eu à paramétrer, rien eu à comprendre. L’IA n’a rien fait d’autre que son rôle. Et le système fonctionne grâce à la collaboration entre les deux.

Ce cas simple suffit à mettre en évidence un point fondamental : le LLM et l’IA spécialisée ne jouent pas dans le même registre, mais se renforcent mutuellement.

Le rôle exact du LLM dans ce workflow

Dans ce scénario, le LLM n’est pas un “cerveau magique” qui devine tout : il joue un rôle précis, circonscrit, mais absolument essentiel pour rendre l’expérience fluide et naturelle. Son travail peut se résumer en quatre missions clés.

1. Comprendre le besoin de l’utilisateur

Lorsque l’utilisateur envoie une photo accompagnée d’un message sommaire — “le colis est abîmé”, “il y a un problème ici”, “c’est déchiré sur le côté” — le LLM interprète l’intention.
Il identifie :

• qu’il s’agit d’un problème sur un colis,

• qu’une analyse visuelle est nécessaire,

• et qu’un workflow de déclaration d’incident doit être déclenché.

C’est une étape que l’IA spécialisée ne pourrait jamais accomplir.

2. Appeler la bonne API ou le bon modèle métier

Le LLM ne “sait” rien faire par lui-même : il choisit l’outil adapté.
Grâce aux tools qui lui sont fournis (API exposant le modèle d’analyse d’image, service interne, base de données, etc.), il décide quelle action exécuter.

Il ne devine pas l’API : il utilise celles qu’on lui a explicitement autorisées.

3. Reformuler la réponse de l’IA spécialisée

L’IA spécialisée renvoie une réponse brute et technique, par exemple :

{
  "type_anomalie": "déchirure_latérale",
  "confiance": 0.92,
  "zone": [128, 240, 350, 480]
}

Le LLM transforme cela en langage humain : “J’ai détecté une déchirure latérale sur le colis, avec un fort niveau de confiance.” Il peut même préciser si l’information nécessite confirmation.

4. Générer une action métier

Une fois la classification validée, le LLM peut :

• créer automatiquement un ticket,

• pré-remplir un rapport d’incident,

• notifier un service,

• ou guider l’utilisateur dans la procédure suivante.

C’est la partie “orchestration” : le LLM ne calcule pas, mais il organise, enchaîne et automatise.

Le rôle exact de l'IA spécialisée

Si le LLM est le cerveau conversationnel, l’IA spécialisée est, elle, le moteur métier. Elle ne dialogue pas, ne reformule pas, ne comprend pas l’intention : elle exécute. Et elle le fait avec une précision qu’aucun LLM ne peut garantir.

Dans notre exemple de colis endommagé, son rôle est composé de quatre fonctions essentielles :

1. Calculer à partir de données brutes

L’IA spécialisée reçoit une image, pas une phrase. Elle transforme des pixels en chiffres, des contours en probabilités, des formes en catégories. C’est un traitement technique, mathématique, mesurable.

2. Détecter les anomalies

Grâce à son entraînement sur des milliers (ou millions) d’images similaires, elle identifie :

• zones suspectes,

• ruptures de texture,

• chocs,

• déchirures,

• défauts structurels.

Là où un humain doit zoomer ou hésiter, elle voit en quelques millisecondes.

3. Classer le type de problème

Ce n’est pas seulement repérer “quelque chose d’anormal” : c’est distinguer quel type d’anomalie se trouve sur l’image :

• choc,

• déchirure,

• perforation,

• écrasement,

• mauvaise étiquette,

• etc.

Cette classification est essentielle pour automatiser la suite du processus.

4. Fournir une précision impossible à obtenir avec un LLM

L’IA spécialisée est calibrée, validée, testée. On peut mesurer sa performance : sensibilité, exactitude, faux positifs, faux négatifs… Son objectif n’est pas d’improviser ou d’interpréter : c’est de fournir un résultat fiable, identique pour une même entrée.

Ainsi, dans ce workflow :

• le LLM comprend, orchestre et dialogue;

• l’IA spécialisée analyse, détecte et classifie.

Deux rôles totalement différents, mais parfaitement complémentaires.

Pourquoi ce cas illustre tout ?

Ce scénario de colis endommagé peut sembler simple, mais il résume à lui seul toute la logique de l’IA moderne. C’est un cas d’école pour comprendre pourquoi LLM et IA spécialisée ne s’opposent pas, mais forment un duo incontournable. Voici les trois enseignements essentiels.

1. La complémentarité : chacun excelle dans ce que l’autre ne sait pas faire

Le LLM est imbattable pour comprendre une description vague du salarié : “Le colis a un souci je crois, je t’ai mis la photo.”

Mais complètement inadapté pour analyser une image avec précision.

L’IA spécialisée est imbattable pour détecter et classer une anomalie visuelle… Mais incapable de comprendre une phrase, d’interpréter un contexte ou de décider quoi faire ensuite.

Mettre les deux ensemble, c’est tirer parti du meilleur de chaque monde.

2. La séparation des responsabilités : un principe d’architecture fondamental

Ce cas montre que chaque brique a une responsabilité claire :

• Le LLM : interpréter, choisir l’outil, orchestrer, reformuler.

• L’IA spécialisée : analyser, calculer, détecter, classer.

Ce découpage rend les systèmes :

• plus fiables,

• plus maintenables,

• plus auditables,

• plus contrôlables (sécurité, conformité, gouvernance).

Ce n’est pas un détail : c’est ce qui distingue une démo sympathique d’une solution industrielle réellement exploitable.

3. L’architecture moderne : l’ère des IA composites

Ce workflow illustre parfaitement la tendance lourde de l’industrie : les systèmes d’IA performants ne reposent plus sur un seul modèle, mais sur une combinaison orchestrée de modèles.

• Le LLM devient la couche d’intelligence conversationnelle.

• L’IA spécialisée devient la couche métier.

• Et l’entreprise assemble ces briques pour créer des processus fluides, automatisés, alignés sur ses besoins.

C’est exactement ce que l’on observe aujourd’hui dans :

• la logistique,

• la maintenance industrielle,

• la finance,

• l’assurance,

• le support client,

• les opérations internes.

Ce cas n’est pas une exception. C’est un modèle.

A suivre : "Qui configure quoi ?"

Dans le prochain article, on va répondre à une question essentielle — et souvent mal comprise : qui configure réellement l’orchestrateur ?

Tu découvriras :

• pourquoi l’IA ne “devine” pas toute seule quelles API utiliser,

• ce que fait un humain (architecte, dev, data) dans la boucle,

• et comment le LLM orchestre intelligemment… mais toujours dans un cadre défini.

Un épisode clé pour comprendre la réalité des projets IA internes — loin des fantasmes d’autonomie totale.