Peut-on faire confiance à une IA médicale ? Ce que révèle la première étude clinique française sur MedGPT
L'étude ASIMOV-Pilot, est la première évaluation clinique d'une IA générative en contexte réel réalisée en France.
108 paires de questions-réponses extraites de l'usage quotidien des professionnels de santé, relues chacune par trois médecins indépendants à l'aveugle. Ces trois experts n'ont identifié aucune erreur majeure, aucune hallucination majeure. Et dans 94 % des cas, les réponses ont été jugées utiles, fiables et complètes sur un critère délibérément choisi très strict.
Avant d'intégrer un outil IA dans sa pratique, tout professionnel de santé se pose la même question : est-ce que je peux lui faire confiance sur de vraies questions cliniques ?
ASIMOV-Pilot y répond avec de vraies données issues de la pratique, évaluées par des médecins indépendants.
C'est la première évaluation clinique sur une IA générative dans un contexte clinique réel menée en France. Ce sont des résultats préliminaires, présentés le 3 juillet au Wonca Europe 2026.
L'étude complète sera publiée dans une revue scientifique à l'automne.
Voici ce qu'on a trouvé, et ce que ça veut dire.
Comment l'étude a été conduite
L'étude repose sur 108 paires de questions-réponses extraites de l'usage réel de MedGPT par des professionnels de santé.
Des questions anonymisées, posées en conditions réelles, couvrant un large spectre : questions thérapeutiques, diagnostiques, de suivi, dans des domaines allant de la médecine générale à la cardiologie en passant par la psychiatrie.
Chaque paire a été soumise à trois médecins indépendants en aveugle :
- le Dr Driss Berdaï, pharmacologue clinicien du CHU de Bordeaux,
- le Pr Jean-Philippe Joseph, médecin généraliste universitaire du CHU de Bordeaux,
- le Dr Pierre-Clément Thiébaud, médecin urgentiste de l'AP-HP.
Chacun a évalué chaque cas de façon indépendante, sans connaissance des notes des deux autres.
Leur grille d'évaluation couvrait plusieurs dimensions :
- l'utilité clinique globale de la réponse,
- sa complétude,
- l'actualité des connaissances médicales mobilisées,
- la pertinence des références citées,
- la présence d'éventuelles erreurs ou hallucinations.
Le critère d'acceptabilité combinait trois exigences simultanées : une utilité clinique jugée bonne ou excellente, aucune erreur majeure, aucune hallucination majeure.
Un seuil volontairement exigeant : une réponse n'est jugée acceptable que si elle satisfait les trois conditions simultanément.
Au total, 324 évaluations individuelles ont été produites. Les résultats ont été agrégés cas par cas, par vote majoritaire des trois relecteurs.
Les résultats
Sur la sécurité des réponses, le résultat est sans ambiguïté : aucune erreur majeure, aucune hallucination majeure n'a été identifiée par vote majoritaire sur l'ensemble des 108 cas.
➡️ C'est dans ce cadre que s'inscrit le résultat : 94 % des réponses ont été jugées utiles, fiables et complètes.
Que représentent les 6 % restants ?
Ce sont des réponses qui n'atteignent pas le niveau d'excellence du critère d'acceptabilité volontairement fixé très haut :
- une réponse juste mais qui est jugée incomplète,
- une réponse qui n’apporte pas une utilité clinique probante,
- une erreur modérée ou mineure.
➡️ Mais parmi ces 6 % aucune réponse n'a atteint le seuil d'une erreur ou d'une hallucination majeure et la sécurité est à 100 %. Ces réponses ne sont aucunement fausses ou dangereuses, ce sont des réponses imparfaites.
➡️ Les résultats secondaires vont dans le même sens : 100 % des réponses ont été jugées à jour.
➡️ Enfin, les trois relecteurs étaient d'accord dans 87 % des cas sur l'évaluation globale, un niveau de concordance élevé pour une évaluation subjective par des cliniciens.
Ce que ça change pour la pratique
ASIMOV-Pilot apporte une réponse concrète à la question de confiance : sur de vraies questions cliniques évaluées par de vrais médecins, aucune erreur ou hallucination majeure n'a été identifiée et 94% des réponses ont été jugées utiles, fiables et complètes.
Pour un professionnel de santé, ça change la nature de la question.
Ce n'est plus "est-ce que cet outil peut se tromper ?" : tout outil peut se tromper, tout clinicien aussi. C'est "est-ce que je peux m'appuyer sur MedGPT pour aller plus vite, mieux sourcer, vérifier rapidement une information en consultation ?" Les résultats suggèrent que oui.
Une précision s'impose : MedGPT est un outil d'aide à la décision, pas un outil de décision. La réponse qu'il génère est un point d'appui et non une conclusion.
L'étude pointe une deuxième chose importante pour la pratique. Quand les réponses ne sont pas à la hauteur, c'est souvent parce que les questions sont mal posées.
Une IA médicale n'est jamais aussi bonne que la question qu'on lui soumet. Apprendre à bien interroger l'outil fait partie de l'usage.
La qualité de la réponse commence avec la qualité de la question.
Ce que l'étude ne mesure pas encore
ASIMOV-Pilot est une première étape. Ses résultats sont solides, mais ses limites sont assumées et importantes à comprendre.
L'étude a été conduite dans le contexte médical français, sur des questions posées par des professionnels de santé utilisant MedGPT. Elle ne dit rien sur les performances de l'outil dans d'autres contextes, d'autres langues, d'autres systèmes de santé.
Elle ne mesure pas non plus l'impact réel sur les patients. Savoir qu'une réponse est jugée utile et complète par trois médecins experts ne dit pas si elle a changé une décision clinique, amélioré un suivi ou évité une erreur en aval. C'est une question différente, qui fera l'objet d'une seconde étude prospective.
Enfin, ASIMOV-Pilot n'est pas une étude comparative. Elle évalue MedGPT sur ses propres mérites, sans le confronter à d'autres outils disponibles sur le marché. Cette comparaison reste à faire.
L'étude complète sera soumise à une revue scientifique à l'automne. Elle apportera une analyse plus fine sur un échantillon finalisé de 150 cas et avec une publication en accès ouvert.
