Les symptom checkers IA ne dépassent pas 60% de précision diagnostique en conditions réelles
J’ai testé une douzaine d’applications de ce type sur les deux dernières années, parfois sur de vrais symptômes, parfois sur des cas cliniques publiés pour calibrer mes attentes. Le constat revient toujours au même : la promesse dépasse ce que ces outils livrent réellement.
Une étude publiée dans le BMJ en 2015 a évalué 23 applications de vérification des symptômes. La fourchette de précision diagnostique observée se situe entre 50 et 60% selon les méthodologies retenues. Ce que ça signifie concrètement : sur deux suggestions de diagnostic, une seule est statistiquement fiable. L’autre est fausse, incomplète ou trompeuse. Mais ce chiffre recouvre des réalités très différentes selon que l’on teste des symptômes simples (mal de gorge, fièvre modérée) ou des tableaux cliniques complexes (douleurs thoraciques avec fatigue chronique). Les méthodologies varient tellement d’une étude à l’autre qu’aucune comparaison directe ne tient vraiment.
Pour mettre ce taux en perspective : la littérature médicale situe la précision d’un généraliste humain lors d’une consultation initiale au-delà de 85%. L’écart n’est pas marginal. Il est structurel.
Et les chiffres de 2015 ont peut-être évolué. Les architectures d’IA ont radicalement changé depuis. Mais les données indépendantes et vérifiables pour la période 2023-2026 restent difficiles à obtenir. Les éditeurs publient peu sur leurs performances réelles. Ce silence n’est pas anodin.
Il faut aussi distinguer deux notions que les applications confondent volontiers : le taux de correspondance partielle (la bonne pathologie figure dans la liste proposée) et le diagnostic certifié (la bonne pathologie est citée en premier et uniquement elle). Les études utilisent rarement la même définition. Ce flou arrange les éditeurs.
Ada, Babylon, Buoy : trois approches très différentes pour un même problème
Ces trois applications dominent le marché grand public en 2026. Mais leur logique est radicalement différente et la confusion entre elles coûte cher en termes d’attentes.
| Application | Modèle tarifaire | Public cible | Français disponible | Approche technologique | Transparence algorithmique |
|---|---|---|---|---|---|
| Ada Health | Gratuit (B2C) / B2B non public | Grand public + institutions | Oui | Questionnaire adaptatif | Faible – métriques internes non publiées |
| Babylon Health | B2B uniquement, tarif non communiqué | Assureurs, employeurs, systèmes de santé | Non (marché anglo-saxon) | Chatbot conversationnel intégré | Très faible – aucune donnée publique |
| Buoy Health | Gratuit (utilisateur final) | Grand public | Non | Arbre de décision conversationnel | Faible – modèle propriétaire |
Ada et Buoy ne coûtent rien à télécharger. Mais cette gratuité repose sur un modèle économique où les vrais clients ne sont pas les utilisateurs. Les partenariats avec des assureurs, des mutuelles ou des systèmes de santé nationaux constituent l’essentiel des revenus. Les données symptomatologiques agrégées ont une valeur considérable pour ces acteurs. L’utilisateur n’est pas le client. Il est la source des données.
Babylon a pris un chemin différent : l’application grand public a progressivement disparu au profit d’un modèle entièrement B2B, intégré dans des systèmes de prise en charge médicale. Ce n’est plus un outil que l’on télécharge librement.
Aucune de ces trois applications n’est un outil de diagnostic au sens réglementaire européen. Conséquence directe : en cas d’erreur, la responsabilité est quasi impossible à engager. Les conditions générales le précisent soigneusement, en petits caractères.
ChatGPT comme outil de triage médical : JAMA Internal Medicine a ouvert une boîte de Pandore en 2023
Une étude publiée dans JAMA Internal Medicine en 2023 a marqué un tournant dans ce débat. Pour la première fois, un LLM généraliste – non spécialisé dans la santé, non certifié, non entraîné sur des données médicales structurées – était évalué dans un cadre académique rigoureux sur des cas cliniques de triage.
Les implications sont profondes. Si un outil généraliste comme ChatGPT atteint des performances comparables à celles des applications spécialisées (la fourchette des 50-60% évoquée plus haut), alors la logique de développer des applications dédiées coûteuses et propriétaires mérite d’être questionnée. Pourquoi investir dans une infrastructure médicale spécifique si un modèle de langage universel fait aussi bien ?
Mais la comparaison a une limite structurelle majeure : ChatGPT répond différemment selon la formulation de la question. Posez le même symptôme de deux façons légèrement différentes, on obtiendrez des réponses sensiblement différentes. Aucune application médicale certifiée ne peut se permettre cette variabilité. La reproductibilité est une condition non négociable en médecine.
Ateev Mehrotra, chercheur à Harvard spécialisé dans l’évaluation des symptom checkers, a contribué à cadrer méthodologiquement ce type d’étude bien avant l’arrivée des LLM. Ses recherches soulignent précisément la difficulté de définir ce qu’est un « bon » résultat dans ce contexte.
Mais il y a un paradoxe : l’IA générative progresse si vite que les études publiées risquent d’être dépassées avant même de sortir en revue. Une évaluation de GPT-4 datée de 2023 ne dit rien sur les capacités réelles de 2026. La recherche académique poursuit un objet qui change constamment de forme.
5 situations où utiliser ces applications peut aggraver votre prise en charge médicale
Situations à risque réel :
- Symptômes thoraciques ou neurologiques soudains: douleur dans la poitrine, engourdissement brutal, trouble de la parole. Les applications ont tendance à minimiser les alertes pour éviter d’engorger les urgences. Ce biais de calibrage peut coûter des minutes cruciales lors d’un infarctus ou d’un AVC.
- Symptômes chez l’enfant de moins de 3 ans: les données d’entraînement de ces modèles sous-représentent massivement la pédiatrie précoce. Un nourrisson ne rentre pas dans les modèles statistiques construits sur des adultes.
- Maladies rares ou combinaisons de symptômes atypiques: les modèles favorisent les diagnostics statistiquement fréquents. Si son tableau clinique est rare, l’algorithme on orientera vers le diagnostic le plus probable pour la population générale – pas pour on.
- Automédication prolongée sur base des suggestions IA: aucune de ces applications ne détecte les interactions médicamenteuses avec ses traitements en cours, faute d’accès à son historique réel.
- Contexte d’hypocondrie ou de vulnérabilité psychologique: les applications peuvent amplifier l’anxiété en proposant systématiquement plusieurs hypothèses diagnostiques, dont certaines graves, sans hiérarchisation clinique réelle.
Usages où elles apportent une valeur réelle :
- Préparer une consultation en structurant la description chronologique des symptômes.
- Trier un symptôme bénin un dimanche soir pour décider si cela peut attendre le lundi.
- Mieux formuler une plainte au médecin, avec un vocabulaire plus précis.
Rappel : avec 50 à 60% de fiabilité en conditions réelles, ces outils se trompent une fois sur deux sur les cas complexes.
Le cadre réglementaire européen de 2026 oblige enfin les applis santé à prouver leur efficacité
Le cadre réglementaire européen s’est densifié. Deux textes structurent désormais l’espace des applications de santé numérique.
Le règlement sur les dispositifs médicaux (MDR 2017/745) est pleinement en vigueur. Il soumet les logiciels de santé à une classification par classe de risque. Mais les applications de symptômes ont longtemps évité cette classification en formulant leurs sorties comme des « informations » plutôt que des « diagnostics ». La nuance est juridique, pas médicale.
L’AI Act, adopté en 2024 et progressivement applicable, change l’équation. Les systèmes d’IA qui influencent une décision à impact sur la santé sont désormais soumis à des exigences de transparence renforcées. Concrètement, en 2026 :
- les éditeurs doivent publier des informations sur les données d’entraînement utilisées ;
- les limites de performance connues doivent être documentées ;
- les biais identifiés dans les résultats doivent être signalés.
Mais la fourchette de 50 à 60% de précision citée dans les études académiques n’est toujours pas une donnée que les éditeurs publient spontanément sur leurs stores. L’écart entre l’obligation réglementaire et la pratique réelle reste significatif.
Les applications qui franchissent la ligne du conseil diagnostique doivent obtenir une certification CE de classe IIa. Pour vérifier si une application est réglementairement encadrée :
- chercher la mention « dispositif médical de classe IIa » ou le marquage CE dans les mentions légales ;
- vérifier si l’éditeur publie un document de performance clinique accessible ;
- consulter la base de données EUDAMED (registre européen des dispositifs médicaux).
Ni Ada, ni Buoy ne se présentent comme des dispositifs médicaux certifiés au sens du MDR. Ce positionnement est délibéré.
Bon à savoir – AI Act et santé numérique : l’AI Act classe les systèmes d’IA destinés à influencer des décisions médicales comme systèmes à « haut risque » (annexe III). Cela implique des obligations de documentation technique, d’évaluation de conformité et de supervision humaine. Les applications qui restent en deçà du seuil du « diagnostic » formellement formulé naviguent dans une zone grise que les prochaines lignes directrices de la Commission devront clarifier.
Toutes vos questions sur la fiabilité des applis IA santé
Une appli IA santé peut-elle remplacer une consultation médicale ?
Non et ce n’est pas leur fonction réglementaire. Avec 50 à 60% de précision diagnostique selon les études disponibles, elles constituent un premier filtre, pas un verdict. Elles ne peuvent pas ausculter, intégrer un historique médical complet, ni détecter ce que seul un examen physique révèle – un souffle cardiaque, une masse palpable, une réaction pupillaire. Ce sont des outils de triage informationnel. Les confondre avec un second avis médical est une erreur que les interfaces, trop rassurantes, encouragent involontairement.
Ada Health est gratuite, mais mes données sont-elles protégées ?
Ada fonctionne sur un modèle B2B où les partenariats institutionnels constituent l’essentiel du revenu. La politique de confidentialité mérite une lecture attentive, en particulier les clauses relatives au partage de données avec des tiers – assureurs, employeurs, systèmes de santé nationaux – selon les pays et les versions de l’application. En Europe, le RGPD offre des protections concrètes : droit d’accès, droit à l’effacement, obligation de consentement explicite pour les données de santé (catégorie spéciale au sens de l’article 9). Mais les transferts hors UE – vers des partenaires américains ou asiatiques – restent une zone de vigilance. Vérifier si l’application mentionne des clauses contractuelles types ou un accord d’adéquation dans ses mentions légales.
Comment ces applications ont-elles évolué depuis l’étude BMJ de 2015 ?
Les architectures ont radicalement changé. En 2015, la majorité des applications fonctionnaient sur des arbres de décision fixes. En 2026, les modèles de langage et l’apprentissage supervisé sur de larges corpus médicaux ont remplacé cette logique. Mais les études de validation indépendantes restent rares. Les éditeurs communiquent peu – voire rien – sur leurs métriques internes de performance actuelles. Impossible donc de dire avec certitude si la fourchette 50-60% s’est améliorée, maintenue ou dégradée pour certaines classes de symptômes. L’opacité est la constante, quelle que soit la génération technologique.
Mon verdict : utiles le dimanche soir, dangereuses si on les croit sur parole
Je vais être direct, parce que ce sujet le mérite.
Ces applications ont une valeur réelle dans un usage précis et limité : calmer l’anxiété face à un symptôme banal à 23h un samedi, quand aucun cabinet n’ouvre avant lundi matin. Ou structurer la description de symptômes confus avant une consultation, pour ne pas repartir avec « j’avais oublié de dire que ». Sur ce terrain étroit, Ada et Buoy méritent leur place sur un téléphone.
Mais je suis catégorique sur ce qu’elles ne sont pas. Une précision de 50 à 60% signifie qu’elles se trompent une fois sur deux sur les diagnostics complexes. Aucun dispositif médical certifié n’accepterait ce bilan. Un test de dépistage avec ce taux d’erreur serait retiré du marché.
La gratuité totale pour l’utilisateur final doit systématiquement alerter. Quand un service de santé ne coûte rien, les données symptomatologiques – parmi les plus sensibles qui soient – sont le produit réel. Lire les conditions générales de Babylon, même dans sa version B2B actuelle, est instructif.
Et l’arrivée de ChatGPT dans cet espace crée une illusion dangereuse : un texte fluide, empathique et structuré ressemble à un avis médical sans en être un. La forme rassure là où le fond reste incertain.
Le vrai progrès attendu n’est pas technique. Il est réglementaire : forcer les éditeurs à publier leurs taux d’erreur réels, classe par classe de symptômes, comme les laboratoires pharmaceutiques publient leurs résultats d’essais cliniques. Jusqu’à ce que cette transparence soit obligatoire et vérifiée, traiter ces applications comme ce qu’elles sont – un Wikipedia médical interactif, pas un médecin.
En résumé pratique : utiliser Ada ou Buoy pour trier un symptôme bénin ou préparer une consultation, c’est raisonnable. Les utiliser pour décider si une douleur thoracique ou un symptôme neurologique peut attendre – c’est prendre un risque que leur taux de fiabilité réel ne justifie pas. En cas de doute sur un symptôme soudain ou inhabituel, le 15 (SAMU) reste l’outil le plus précis disponible et il est lui aussi gratuit.
