Un assistant répond avec des liens vers votre documentation et paraît immédiatement plus fiable. Pourtant, la présence d’une source ne garantit ni que le bon passage a été trouvé ni que la réponse le respecte. Une architecture RAG associe une recherche de documents à une génération de texte. Elle peut améliorer l’accès à des informations spécifiques, mais ajoute plusieurs étapes à examiner. Pour juger le résultat, il faut regarder ce qui a été récupéré, ce que la source dit exactement et la manière dont l’assistant relie cette preuve à sa réponse.
En bref : distinguez qualité de recherche, fidélité à la source et exactitude de la conclusion. Une citation pertinente en apparence ne valide pas à elle seule les trois étapes.
La recherche précède la rédaction
Le système commence généralement par identifier des éléments pertinents dans un ensemble de documents, puis les fournit au modèle avec la demande. Microsoft explique ce principe dans sa présentation du RAG. La réponse dépend donc d’abord des contenus accessibles et de la façon dont ils sont sélectionnés. Une information absente de l’index ne peut pas être retrouvée par cette étape.
Un document peut être découpé en passages pour faciliter la recherche. Ce découpage risque de séparer une règle de son exception, un chiffre de son unité ou une consigne de sa date d’application. La préparation des documents doit conserver les relations utiles. Ajouter toujours plus de fichiers ne corrige pas automatiquement un découpage qui détruit le contexte nécessaire.
Les mots du lecteur et ceux de la documentation peuvent également différer. Un système doit retrouver le concept utile, parfois à travers des formulations proches. Le bon passage n’est pas toujours celui qui partage le plus de termes avec la question. Les essais doivent inclure des demandes naturelles, des variantes et des questions dont la réponse exige une exception bien localisée.
Une citation doit soutenir la phrase qui l’accompagne
Un lien peut viser le bon document tout en accompagnant une affirmation qui dépasse ce qu’il contient. Le modèle peut généraliser, combiner deux règles incompatibles ou omettre une condition. Ouvrez le passage cité et confrontez-le à la proposition précise. Une source authentique ne devient pas la preuve d’une interprétation qu’elle ne formule pas.
La citation est un chemin de vérification, pas un certificat automatique. Une réponse qui expose ses limites et distingue les cas peut être plus utile qu’un texte affirmatif entouré de liens. Lorsque la source ne permet pas de trancher, le système devrait signaler l’incertitude ou demander une précision plutôt que remplir le vide avec une conclusion plausible.
L’actualité du contenu compte aussi. Deux versions d’une procédure peuvent coexister dans l’index. Si l’assistant récupère l’ancienne, sa réponse peut être fidèle au passage et néanmoins inadaptée aujourd’hui. Le statut, la date et le périmètre doivent être conservés et exploités. Cette question de maintenance existe avant même l’étape de génération.
Évaluer les étapes séparément
Construisez un petit ensemble de questions dont vous connaissez les documents utiles et les critères de réponse. Pour chaque essai, notez si les bonnes sources ont été retrouvées, si les éléments essentiels sont présents et si les conclusions respectent les conditions. Vous pourrez ainsi distinguer un problème d’indexation d’un problème de formulation ou de raisonnement.
La documentation Microsoft sur les évaluations RAG sépare notamment des dimensions liées à la recherche et à l’ancrage des réponses. Des scores peuvent aider à suivre une évolution, mais ils doivent correspondre à votre usage. Un résultat moyen satisfaisant peut masquer l’échec sur quelques questions importantes pour vos utilisateurs.
Incluez des cas sans réponse disponible. Ils permettent d’examiner si le système reconnaît une limite ou produit une explication inventée. Testez aussi les questions qui demandent un rapprochement entre documents et celles qui comportent une prémisse fausse. Un assistant conçu uniquement autour d’exemples faciles peut sembler fiable jusqu’à la première demande ambiguë.
Le lieu du traitement est une question supplémentaire, indépendante de la présence de citations. Notre dossier sur l’IA locale, distante et hybride aide à examiner le trajet des documents avant leur recherche et leur utilisation par le modèle.
Organiser l’accès et la mise à jour
La recherche doit respecter les droits sur les documents. Une réponse ne doit pas rendre accessible un contenu réservé parce qu’il se trouve dans le même index. Vérifiez le filtrage avec plusieurs profils représentatifs, sans vous limiter à l’apparence du menu. La disponibilité d’un document pour le système et son accessibilité pour l’utilisateur sont deux conditions à relier.
Prévoyez enfin un cycle de remplacement et de retrait des sources. Une procédure supprimée de son emplacement d’origine peut rester dans un index mal mis à jour. Documentez l’origine, la version et la manière de vérifier le passage utilisé. Le RAG apporte sa valeur lorsqu’il rend les informations retrouvables et contrôlables ; les liens visibles ne doivent pas masquer ce travail de préparation et d’entretien.
